# 自動化の皮肉 ## 定義 Bainbridge (1983) "Ironies of Automation" が提示したジレンマ。制御システムが高度になるほど人間のオペレーターの貢献がより重要になる(高度なシステムを高度な考え方で扱う必要があるため)が、高度な自動化により普段やることがなくなった人間の能力は低下していく。(Source: [[@2025__IOTS2025__SREはサイバネティクスの夢をみるか]], p.61) 坪内(IOTS2025)は、超知能による運用の完全自動化への期待に対し、現行 AI の延長線上では「自動化の皮肉」から免れられない可能性を指摘した。METR の性能予測によれば現状の AI は「人間が 31 分要するタスクを 80% の精度で実行可能」だが、運用は数年単位の一貫したコンテキスト維持を必要とする複雑なタスク集合であり、丸投げは現実的ではない。 ## 横断的知見 - **AIOps の診断自動化は、解くべき複雑性を置換するだけではない**: 2022 年講演は、複雑なソフトウェア運用に適応するため人間の認知処理を AI で自動化する一方、AI という別種の複雑なソフトウェアを新たに運用することになると結んだ。IOTS2025 の完全自動化批判と並べると、診断自動化は人間の作業を消すのでなく、モデル・データ・失敗時の復旧を含む新しい運用対象を増やす。(Source: [[@2022__SRE NEXT 2022__AIOps研究録―SREのためのシステム障害の自動原因診断]], [[@2025__IOTS2025__SREはサイバネティクスの夢をみるか]]) - **Cook (1998) の人間の適応的役割との相補性**: [[複雑システム障害論]] 命題 12（「人間の実践者は複雑システムの適応的要素」）と命題 17（「人々が継続的に安全性を創る」）は、自動化の皮肉と深く共鳴する。Bainbridge が「自動化するほど人間に高度スキルが必要になる」という皮肉を指摘したのに対し、Cook は人間の適応能力を「システムが機能し続けるための中核メカニズム」として肯定的に位置づけた。両者を合わせると「システムに自動化が増えるほど、その自動化が失敗したときに回復できる人間能力が求められるが、その能力はまさに自動化の浸透によって失われていく」という二重のジレンマが明確になる。(Source: [[@1998__CtL__How Complex Systems Fail]] 命題 12・17, Bainbridge 1983) - [[@2025__IOTS2025__SREはサイバネティクスの夢をみるか]] と [[@2024__SRE NEXT 2024__工学としてのSRE再訪]] を並べると、自動化の皮肉は SRE 文脈で三重構造を持つ。Bainbridge (1983) の原論文が提示した「自動化するほど人間に高度スキルが必要になる」第一の皮肉に加え、Strauch (2018) が「2018 年でも未解決」と報告し、さらに SREcon19 Asia (Tanner Lund) が「自動化システムが人間の能力不足を隠蔽する」第二の皮肉を追加した。坪内 (IOTS2025) は AI エージェントの文脈でこの皮肉を再参照し、現行 AI では「数年単位のコンテキスト維持を必要とする運用の丸投げ」が非現実的であると指摘した。35 年以上にわたり構造的に解消されていないことが確認できる。(Source: [[@2024__SRE NEXT 2024__工学としてのSRE再訪]], [[@2025__IOTS2025__SREはサイバネティクスの夢をみるか]]) ## 未解決の問い - AIOps の診断器自体が誤った因果関係や誤検知を出したとき、SRE がモデルの失敗を検知・説明・復旧するための運用データと手順はどう設計すべきか。 - AI エージェントが運用の大部分を自動化した場合、残された人間のオペレーターはどのようにスキルを維持するか。[[カオスエンジニアリング]]による意図的な実験がスキル維持の手段になりうるか。 - METR の性能予測は対数スケールで表示されており、実際には指数関数的に長時間タスクの実行能力が向上している。どの時点で「数年単位のコンテキスト維持」が AI の射程に入るか。 ## 関連 - [[サイバネティクス]] — 自動化の皮肉が生じる複雑系の思想的背景 - Bainbridge, L. (1983) "Ironies of Automation." *Analysis, Design and Evaluation of Man-machine Systems*, Pergamon. ## 出典 - [[@2024__SRE NEXT 2024__工学としてのSRE再訪]] - [[@2025__IOTS2025__SREはサイバネティクスの夢をみるか]]