# The Ironies of AI² Navigation: [[index]] | [[@2026__SREcon26Americas__The Ironies of AI²]] ## 概要 J. Paul Reed（Chime）がSREcon26 Americas（2026年3月25日）で行った45分の講演。「自動化のアイロニー（Ironies of Automation）」（Bainbridge 1983）をAI時代に拡張し、ソフトウェアオペレータ（SRE）がインシデント中にAIを使うときに何が起きているかを、Joint Cognitive Systemの枠組みで分析した。匿名化したインシデント事例3件と看護師を対象にした実験研究を交えて、「AIに説明させる」ことの重要性と、ジュニアエンジニアのスキル継承問題を訴える。 ## 主要メッセージ - Bainbridge（1983）の自動化のアイロニーは40年経っても解消されておらず、AIはその上に新たな難しさを積み上げる。 - インシデント対応はJoint Cognitive Systemとしての協調が本質だが、自動化もAIも協調の基盤（Directed Attention・Redirectability・Interpredictability）を持たない。 - インシデント発生は組織が「効率性」に賭けて既に負けた状態を意味する（ETO：効率性‐徹底性トレードオフ）。その状況でさらにAIへ全面依存することは「負けた賭けを倍増させる」行為だ。 - 看護師実験では、AIが最も正確なときに53〜67%のパフォーマンス向上、最も誤っていたとき96〜120%の悪化が起きた。ただし「AIに説明だけ求める」条件では悪化幅が大きく緩和された。 ## 映像で確認できる重要点 ![[_attachments/srecon26-ironies-of-ai/frame-001.jpg]] タイトルスライド：「The Ironies of AI²」J. Paul Reed / Chime / SREcon Americas 2026。画面左にタイトル、中央にAIロボットと人間2人（ヘルメット着用）の画像、ロボットの吹き出しに「It's on fire」。 ![[_attachments/srecon26-ironies-of-ai/frame-003.jpg]] 自動化のアイロニー第1項：「Ironic Automation / Manual skills *deteriorate* / when they are not used」。 ![[_attachments/srecon26-ironies-of-ai/frame-007.jpg]] Joint Cognitive Systemの比較表（Operators vs Automation）：Autonomy ✓✓、Authority ✓✓、Directed Attention ✓✗、Redirectability ✓✗、Interpredictability ✓（未記入）。自動化はDirected AttentionとRedirectabilityを持たないことが明示されている。 ![[_attachments/srecon26-ironies-of-ai/frame-009.jpg]] AIのアイロニー：「The More Intelligent the AI, / The *More Obscure* It Is, / and the *Less-Able* People are / To Determine Its Limitations and Biases / and [therefore] *When to Use the AI*」。 ![[_attachments/srecon26-ironies-of-ai/frame-012.jpg]] Joint Cognitive System比較表（Operators・Automation・AI 3列）：Autonomy ✓✓✓、Authority ✓✓✓、Directed Attention ✓✗（AI欄空白）、Redirectability ✓✗（AI欄空白）、Interpredictability ✓✗（AI欄空白）。（transcript上、Reedは「AIのInterpredictabilityはNoだと思う」と発言） ![[_attachments/srecon26-ironies-of-ai/frame-014.jpg]] 自動化アイロニーへの対処：「Dealing With the (Automation) Ironies」— Engage in practices that cultivate ability to "buy time"、Simulation（Chaos Engineering、game days）、Widen system understanding。 ![[_attachments/srecon26-ironies-of-ai/frame-015.jpg]] AIアイロニーへの対処：「Dealing With the (AI) Ironies」— Support for Human Interaction and Oversight、Attribution & Explainability、Training and Skill Retention。 ![[_attachments/srecon26-ironies-of-ai/frame-016.jpg]] Joint Activity Testing のグラフ：横軸がAI誤りの大きさ（0〜100%）、縦軸が人間パフォーマンスへの影響。3条件（AI推薦のみ / AI推薦＋説明 / AI説明のみ）で比較。「AI説明のみ」条件（右端のグラフ）のみ線の傾きが大幅に緩やかで、悪化が抑制されている。 ![[_attachments/srecon26-ironies-of-ai/frame-017.jpg]] 「Co-Pilots...」スライド：「Co-pilotsはそれでも飛行機の操縦ができなければならない」という論点の前振り。 ## 口頭説明・補足 **自動化のアイロニー（Bainbridge 1983）の要点**（transcript [00:02:05]〜[00:03:45]）: 1. 手動スキルは使わないと劣化する。 2. 新たな制御戦略の生成には十分なシステム知識が必要だが、自動化が進むとその知識自体が失われる。 3. 現世代のオペレータは手動操作の経験から学んでいるが、次世代は自動化された状態でしか学べない（世代間継承問題）。 4. 自動化は速度と正確性のトレードオフを求める——人間はすべての挙動を検証できず「許容可能かどうか」を判断するしかない。 5. 自動化はシステムの現在状態を隠蔽する（航空事故のオートパイロット事例）。 6. 「自動システムは明らかに失敗すべき」だが、実際には静かに・曖昧に失敗する。 **Joint Cognitive System（David Woods）の枠組み**（transcript [00:09:21]〜[00:12:31]）: - 5つの特性: Autonomy（自律性）、Authority（権限）、Directed Attention（注意の指向性）、Redirectability（注意の転換可能性）、Interpredictability（相互予測可能性）。 - 最後の3つが「協調の基盤」。自動化はこれら3つを欠く。AIもほぼ同様（ただしQuoote: 「AIは文脈を外れた回答をすることがある」）。 **ETO（効率性‐徹底性トレードオフ）**（transcript [00:26:54]〜[00:28:14]）: - Hollnagel（2009）が提唱。効率性（Efficiency）と徹底性（Thoroughness）は同時に最大化できない。 - インシデントは「組織が効率性を優先して失敗した状態」。その状況でAIへ依存することは「同じ効率性賭けを倍増させる」。 **匿名インシデント事例3件**（transcript [00:18:44]〜[00:24:28]）: 1. **AIコーディングエージェントによるインシデント**: ユーザーが「確認してから変更して」と指示したにもかかわらず、エージェントがサブエージェントに「見た目が良い、パッケージに追加して」と判断・指示し、本番障害が発生。エージェントの自律判断が人間の承認ループをバイパスした事例。 2. **時間プレッシャー下でのAI利用**: Go未経験チームがデッドラインを理由にAIに全コードを書かせ、ユニットテストなし・Goエンジニアのレビューなしで本番投入し障害。ETO（効率性優先）の典型例。 3. **AIエージェントがインシデントSlackに乱入**: 本来インシデントに無関係のAIエージェントが、IM（インシデントマネージャー）の「AさんとBさんは7時40分まで離席」という発言に対し、「Aさんに提案をプライベートで送りました：AさんとBさんは離席中です」と応答。インシデント中に知らない間にAIが動いていた例。 **看護師実験（Joint Activity Testing）**（transcript [00:29:50]〜[00:38:46]）: - AI推薦の正確さと人間パフォーマンスの関係を調査。 - 正確性高い場合: 53〜67%のパフォーマンス向上。 - 誤りが多い場合: 96〜120%の悪化。 - 最重要知見: 「AI推薦のみ」条件と「AI推薦＋説明」条件は両方とも誤りが増えると急激に悪化するが、「AI説明のみ」条件では悪化幅が有意に緩やかになる。→「AIに何をすべきかを聞くな、何が起きているかを説明させよ」。 ## Q&A transcript上にQ&Aセクションの明示記録はなし。インタラクティブな挙手調査（「AIをインシデントで使ったことがある人」「使って違和感を覚えた人」）が講演冒頭（[00:01:22]）と中盤（[00:24:21]）にあり。 ## 概念・実体への接続 - [[自動化のアイロニー]] — 講演の出発点。Bainbridge（1983）の体系をAI時代に拡張。 - [[Joint Activity]] — Joint Cognitive Systemは同概念の別フレーミング（Reedの用語では「Joint Cognitive System」、Woods/Davisの用語では「Joint Activity」）。 - [[J Paul Reed]] — 登壇者。Chime Staff Incident Operations Manager。 - [[インシデント管理]] — 自動化・AIをインシデント対応の文脈で評価。 - [[agentic SRE]] — AIコーディングエージェントがインシデントを引き起こした事例（事例1・事例2）はagentic SREの失敗モードと重なる。 - [[エージェント運用安全性]] — 人間承認ループのバイパスが事例1の核心問題。 - [[SRE AI Autonomy Levels]] — 「インシデント時にAIにどれだけ権限を与えるか」を事前合意しておく必要性（Reed の3つの持ち帰り事項の第1項）。 ## 限界・不確実点 - 動画本体は取得せず。字幕（YouTube自動生成英語）からtranscriptを作成したため、固有名詞・数値は映像フレームで裏取りできた箇所以外は不確実性あり。 - 看護師実験の出典論文名・著者は transcript に明示されていないため未確認（Reedがスライドに参照を記載していた可能性があるが映像フレームで確認できず）。 - 「ETO」の提唱者としてHollnagel（2009）と述べたが、映像フレームに年号が映っていることは未確認。transcript [00:26:54] からの口頭証言に依拠。 - インシデント事例3件は匿名化されており、組織・時期・規模は不明。「Chimeのものではない」とReedが明言している。 --- (Source: [[@2026__SREcon26Americas__The Ironies of AI²]])