# Trade-Offs Under Pressure - Chapter 2: Literature Review > 前: [[@2015__MSc__Trade-Offs Under Pressure - Chapter 1 Background]] | 次: [[@2015__MSc__Trade-Offs Under Pressure - Chapter 3 Research Design]] | 全体: [[Trade-Offs Under Pressure]] ## 要約 第2章は本論文の理論的土台を築く文献レビュー章である。冒頭で著者は、安全科学(safety science)の視点から見て、ウェブ・インターネット運用の領域には「チームに基づく異常対応(team-based anomaly response)」を扱う研究が欠乏している(dearth)と述べる一方、高テンポ・高帰結の状況下でチームが異常を理解し解決する行為そのものは、医療・航空・宇宙運用・軍事といった他領域では既に研究されてきたパターンがあると位置づける(p.13)。 この出発点から、章はチームワークと分散認知、認知システム工学(Cognitive Systems Engineering)と共同活動(joint activity)における調整、コンピュータ媒介コミュニケーション(CMC)、判断ヒューリスティック、自然主義的意思決定(NDM)、エスカレーションという複数の理論的系譜を順に辿る。最後の節「A Gap Found: software, software, everywhere, but not a human to think」で、これらの系譜がなぜソフトウェア運用の異常対応研究にとって必要な理論的資源であるかを論じ、Synthesis(統合)と Thesis Question(研究設問)で章を締めくくる(p.20-22)。 研究設問(p.22): "How do judgment heuristics influence Internet engineers' team coordination to resolve escalating large-scale outage scenarios?"(判断ヒューリスティックは、エスカレートする大規模障害の解決に向けたインターネットエンジニアのチーム協調にどう影響するか)。この設問は、第5章・第6章で扱われる診断ヒューリスティックの発見(本 wiki 内の他章担当が積み増す)の理論的な出発点にあたる。 ## 分類軸(理論的枠組みの系統) 本章が辿る理論的系譜は、単一の学派ではなく、互いに参照し合いながらも異なる出自を持つ複数の研究群からなる。 ### 1. チームワークとチーム知識(Klein, 2006; Patterson et al., 1998) Gary Klein (2006) は、個人よりチームが問題検知に優れる4つの理由(注意範囲の広さ・専門性の幅・解釈の多様性・活動再編成能力・並行作業能力)を挙げる一方、「チームと組織の強みが並行してタスクを分担する能力にあるなら、その限界は並行した経験を統合するために必要な追加の労力にある」(Klein, 2006)と、協調・通信コストという裏面を指摘する(p.13)。Emily Patterson・David Woods・Nadine Sarter・Jennifer Watts-Perotti (1998) は5年間・7研究の統合から、協調的認知が現れる6つのパターン(驚きに signaled される協調破綻、監視プロセス内の予期しない事象に続く活動のエスカレーション、効果的な通信を支える共有理解への投資、現場担当者による遠隔監督者の計画の適応、予期しない状況での追加人員招集、異常対応時の認知過程の機能的分散)を報告する(p.13-14)。 ### 2. 分散認知(Hutchins, 1995; Neisser, 1976) Edwin Hutchins の分散認知(distributed cognition)理論的枠組みは、認知が「世界の中(out in the world)」にあり、心の中だけに閉じないと主張する。Maglio, Kandogan, & Haber (2008) は「協調的なトラブルシューティングは人々と他の情報源からの活動と情報を調整することを含む」(p.146)とし、分散認知が「人と人工物のある種の配置を認知システムとして扱い、表現(言語・計算機コマンド)を媒体(空気・画面)を越えて伝達することで機能を計算している」(p.146)ものと見る(p.14)。 ### 3. 認知システム工学と共同活動における調整(Klein, Feltovich, Bradshaw, & Woods, 2005; Hollnagel & Woods, 2005) Hutchins の枠組みが「どこで(where)」を問うのに対し、認知システム工学(Cognitive Systems Engineering, CSE)は「何を(what)」問うべきかを深める。Klein, Feltovich, Bradshaw, & Woods (2005) は共同活動(joint activity)の要件として**相互予測可能性(Interpredictability)**・**共通基盤(Common Ground)**・**方向付け可能性(Directability)**の3つを挙げる(p.14)。Hollnagel & Woods (2005) はこれをさらに5命題に展開する: (1) 認知は単一個人に閉じず複数の自然・人工的認知システムに分散する、(2) 認知は事象直前の短い瞬間ではなく活動の流れの一部である、(3) 活動中の認知システムは制約と資源を与える社会的環境に埋め込まれる、(4) 活動レベルは一定でなく遷移と発展を持つ、(5) ほぼすべての活動は個人という単位を越えた何か・誰か(人工物)によって支援される(p.141)(p.14-15)。 David Woods は動的障害管理(dynamic fault management)という語を CSE に導入し(Woods, 1995a; 1995b; Woods & Sarter, 2010)、異常対応の認知的活動には集合的な推論パターンがあると主張する: 診断中の最良の説明に基づく行動計画、成功を監視される是正行動を含む応答計画、監視から得た異常認識の応答計画へのフィードバック、異常な振る舞いを抑え込む safing 行動とそこから得る追加情報、そして予期しない振る舞いによる診断の更新——これらの活動間には明確な境界がなく、互いに融け合う(p.15)。この過程は図1(Woods & Hollnagel, 2006)として図示されるが、本章に割り当てられた図表はなく画像は取り込んでいない。 Woods はさらに、この推論パターンを阻害しうる要因として、データの過負荷・過少負荷(Patterson, 1999; Woods, Patterson, & Roth, 2002)、不透明で「不器用な(clumsy)」自動化が発するシグナル(Woods, 1999)、注意の方向付けとアラームに関わるパラドックス(Woods, 1995b)を挙げる(p.15-16)。麻酔科医のチーム作業を調べた Johannesen et al. (1994) の研究——チームメンバーが互いに関連活動をどう伝え合うか、監視対象の解釈をどう伝達するか、それが一般的な「説明」概念とどう関係するか、という3つの研究設問を持つ——は、本論文と最も近い先行研究として位置づけられる(p.16)。IBM Almaden 研究所のシステム管理者研究(Kandogan, Maglio, Haber, & Bailey, 2012)、なかでも「crit-sit(critical situation)」事象を扱う Haber, Kandogan, & Maglio (2010) は、ソフトウェア運用領域で本論文に最も近いデータ収集・分析手法を採るが、判断ヒューリスティックや暗黙知には焦点を当てない(p.16)。 ### 4. コンピュータ媒介コミュニケーション(CMC) Rogers (1992) は計算機の日常業務への導入がチームの成功と失敗の両方に同時に影響しうることを、設計支援の効率化と新たな調整問題の発生という両面から論じる。軍事の指揮統制環境でチャットを協調手段として使う強み・弱みを分析した Knott, Nelson, & Brown (2007) の研究も参照される(p.16)。Klein, Armstrong, Woods, Gokulazschandra らは、チームが共通基盤を失う理由として、通信の予期しない喪失やその修復スキルの欠如、メッセージ確認の未監視による「誰が何を知っているか」の混乱を挙げる(p.16-17)。 ### 5. 判断ヒューリスティック(Kahneman & Tversky, 1974; Hollnagel, 2012; Dörner, 1980) 情報量とその生成速度がチームの注意制御能力を圧倒的に上回る環境では、ヒューリスティック(短絡的な認知戦略)への依存が対処戦略として現れる。Kahneman & Tversky (1974) は不確実性下の判断におけるヒューリスティックの使用を研究の中心に据えた最も著名な系譜である。Hollnagel (2012) はこれとは別に、複数の対立目標と不確実性が同時に存在する状況で働く7つの判断ヒューリスティックを挙げる: 類似性マッチング、頻度ギャンブリング、代表性、availability(利用可能性)、focus gambling(仮説間の機会主義的切り替え)、conservative focusing(段階的な仮説構築)、simultaneous scanning(複数仮説の同時試行)。Hollnagel はこれらを状況の複雑性を縮減するための方略と位置づけ、効率性と徹底性のトレードオフ(ETTOの原理)の現れであると論じる(p.17-18)。 Dietrich Dörner (1980) は focus gambling の陥穽として **thematic vagabonding**(話題から話題へ表面的にしか扱わず彷徨うこと)と **encystement**(特定の解釈への認知的固着で、入ってくる矛盾するシグナルを排除してしまうこと)という2つのパターンを挙げる。これらはデータ過負荷と状況の曖昧さが同居する環境で特に警戒すべき陥穽とされる(p.18)。 ### 6. 自然主義的意思決定(Naturalistic Decision Making, NDM) Gary Klein (1993) が主導する NDM コミュニティは、熟練した直感が、構造の悪い問題・不確実で動的な環境・変化する目標・行動-フィードバックループ・時間的プレッシャー・高い利害・複数プレイヤー・組織的な目標と規範という8特性を持つ状況で認識されるキュー(手がかり)から生じると強調する。この認識は記憶に蓄積されたパターンとのマッチングと、解が「十分に機能するか」を精神的にシミュレーションして評価する過程からなり、Klein はこれを **recognition-primed decision-making(RPD)** と呼ぶ(p.18-19)。RPD は一見 Kahneman & Tversky のヒューリスティック概念と類似するが、両者は同一視できない異なる研究共同体であり、Kahneman と Klein 自身が両アプローチの異同を共同で検討している(Kahneman & Klein, 2009)。本論文は Herbert Simon (1992) の熟練した直観の定義——「状況が手がかりを与え、その手がかりが記憶に蓄積された情報へのアクセスを専門家に許し、その情報が答えを与える。直観とは認識(recognition)以上でも以下でもない」——を、この「ヒューリスティックか、熟練した直感か」という分岐を扱う簡潔な立場として採用する(p.19)。 ### 7. エスカレーション(Woods & Patterson, 2001; Bergström, Dahlström, & Henriqson, 2010) Woods の言うエスカレーションとは、「状況が定型的・教科書的なものから非定型的、さらに例外的なものへと移行する過程」であり、「問題が連鎖するにつれて認知的・協調的要求のエスカレーションを生み、支援の不足という代償を露わにする」(Woods & Patterson, 2001, p.291)関係を捉える概念である。海事(船橋)シミュレーション研究(Bergström, Dahlström, & Henriqson, 2010)は、エスカレートする状況下で高いデータ負荷に対処するには、利用可能なデータをすべて提示するのでなく、データを分類・優先順位付けする過程が必要であること、逆に継続的なデータ共有そのものにチームの認知作業が集中すると、意思決定者が事後対応型(reactive)の行動に囚われうることを示す(p.19)。 ## 代表手法・システムの比較 各理論的系譜の中心的主張・提唱者・本論文との接続点を整理する。 | 系統 | 中心的提唱者 | 中心的主張 | 本論文への接続 | |---|---|---|---| | チームワークと知識 | Gary Klein (2006); Patterson, Woods, Sarter, Watts-Perotti (1998) | チームは検知能力で個人に勝るが、並行活動の統合に追加コストを要する | 機能的に分散したチームの協調エピソード分析の出発点 | | 分散認知 | Edwin Hutchins (1995) | 認知は個人の内部でなく人と人工物の配置に分散する | 「どこで協調が起きるか」を問う枠組み | | 認知システム工学・共同活動 | Klein, Feltovich, Bradshaw, & Woods (2005); Hollnagel & Woods (2005) | 共同活動には相互予測可能性・共通基盤・方向付け可能性が要る | [[Joint Activity]]・[[Common Grounding]] のコーディングスキームの理論的原典(第5・6章で使用) | | 動的障害管理 | David Woods (1995a; 1995b) | 診断・応答計画・監視・safing・再診断は明確な境界を持たず融け合う | 異常対応時の集合的推論パターンの理論的テンプレート | | CMC | Rogers (1992); Knott, Nelson, & Brown (2007) | 計算機媒介の通信は成功と失敗を同時にもたらす | チャット等のツールを介した協調の技術的文脈 | | 判断ヒューリスティック | Kahneman & Tversky (1974); Hollnagel (2012); Dörner (1980) | ヒューリスティックは効率性-徹底性のトレードオフの現れであり、固着や彷徨という陥穽を伴う | 第5・6章の診断ヒューリスティック発見の理論的先行研究(本ページでは深入りしない) | | NDM | Gary Klein (1993); Herbert Simon (1992) | 熟練した直感は記憶中のパターンとのマッチングと精神的シミュレーションから生じる(RPD) | ヒューリスティック研究と並ぶもう一つの「認知的近道」の理論的系譜 | | エスカレーション | Woods & Patterson (2001); Bergström, Dahlström, & Henriqson (2010) | 状況の非定型化は認知的・協調的要求のエスカレーションを生む | 本論文が対象とする「エスカレートする大規模障害」という現象そのものの理論的定義 | ## 傾向と未解決課題 ### ギャップ論証(A Gap Found) 章の後半は、ここまで概観した理論的系譜がなぜソフトウェア運用の異常対応研究に必要かを、明示的なギャップ論証として展開する。著者はまず、この分野における研究の「欠乏」は可用性・信頼性・レジリエンスに関する研究への無関心を意味しないと断る。むしろこれらの領域には成長を続ける研究の蓄積がある(p.19-20)。 インターネットソフトウェア運用工学は、計算機科学やソフトウェア工学とは区別される比較的新しい学問領域であり(Deshpande & Hansen, 2001)、その主な焦点はインターネットシステムの設計と運用にある。これらのシステムは複数の点で扱いにくい(intractable)ものであり(Allspaw, Andersen, & Romanski, 2012)、異常対応を困難な課題にする(p.20)。この領域の文献の大部分は、障害の**回復(recovering)ではなく予防・検知**を扱う——分散データベースシステムの性能・特性(Hellerstein & Stonebraker, 2005)、分散システムのフォールトトレランスと一貫性(Gilbert & Lynch, 2002)、システムのスケーラビリティ(Chawathe & Brewer, 1998)、分散システムの信頼性(Ahmed & Wu, 2013)が代表例として挙げられる(p.20)。 著者はこれらの研究群を「設計視点からは合理的だが、安全性に関しては不完全」だと評価する。安全な航空・発電・外傷外科支援システムをどう設計すべきかという問いだけでは足りないのと同様に、これらの研究群だけでは足りない。これらの領域は安全科学の視点から研究されており、障害・予期しない結果・事故はソフトウェア・ハードウェア・手順・方針の技術設計だけに依存するのではなく、エスカレートし不確実な状況下でも問題を解決する人間チームの成否にも依存すると認められてきた(Woods, 1999)(p.20)。 著者はこの対比を2つの問いとして定式化する(p.20-21): > 「破滅的な障害を防止・限定するシステムの設計には何が必要か?」(既存研究が問うてきた問い) > 「予防設計が失敗したとき、オペレータのチームはどのようにして破滅的な事態を解決するのか?」(本論文が問う、まったく異なる問い) 本論文は後者の問いに焦点を当て、人間要因・安全科学からインターネットソフトウェア工学・運用への橋渡し研究(bridging research)であると自らを位置づける(p.21)。 Jens Rasmussen が1981年のIEEE会議で述べた「オペレータの仕事は設計者の仕事の穴を埋めることである」(Woods & Hollnagel, 2006 経由)という言葉は、予防設計と複雑システム障害の現実との間隙(gap)を指す(Cook, 1998)。本論文はこの間隙をオペレータが実際にどう埋めているか、特にどのようなヒューリスティックや「経験則(rules-of-thumb)」を用いるかを理解することを目指す。この「穴を埋める」専門知識は必ずしも明示的な知識や上位戦略の形を取らず、暗黙知(tacit knowledge)や微妙な知覚的スキルの結果でありうる(Klein & Hoffman, n.d.)(p.21)。 Woods & Hollnagel (2006) の **Law of Fluency(流暢性の法則)** は、この問いの難しさを次のように述べる: 「よく適応した認知的作業は、要求の解決と葛藤の調整の難しさを感じさせない流暢さで生じる。適応の過程は、適応対象となっている要因や制約を隠してしまう。流暢な遂行が解決している制約や、流暢さへの限界・脅威を明らかにするには、複数の視点を対比させる必要がある」。よって本論文の課題は、ソフトウェアエンジニアが障害の診断・解決のために行う適応、とりわけ用いるヒューリスティックを明らかにすることになる(p.21)。 ### Synthesis(統合)と研究設問 章の締めくくりで、著者は本研究の当初の3つの期待を振り返る(p.21): 1. エンジニアが不確実な状況をどう認識し進んでいくかを、より焦点を絞り鋭く描くこと。 2. 判断ヒューリスティックや熟練した直感が、エンジニアが共通基盤を維持し、認識を伝え合い、行動を協調させるうえでどのような役割を果たすかを理解すること。 3. 得られた知見を、こうした不確実な状況下でオペレータを支援する人工物の設計を前進させる形に翻訳すること。 これに基づき文献レビューは、本研究の理論的な出発点を次のように要約する(p.21-22): (1) インターネットサービスにおけるソフトウェア運用の領域は、環境の不透明さと働く認知的要求ゆえに、他の高テンポ・高帰結領域と同様のレンズで見ることができる。(2) グローバル規模の障害に対処するためにエンジニアチームが取る決定と行動は、不確実性下の人間の意思決定と推論が、そうした事態を防ぐためのソフトウェア設計と同じくらい重要であるという理解を反映している。(3) インターネットサービスの成功裏の設計にはフォールトトレランスや想定された障害シナリオを生き延びる工夫に多くの注意が払われてきたが、専門知識がものを言うのは**想定されていない**シナリオである。(4) 異常対応・disturbance and dynamic fault management・共同活動における共通基盤といった概念は、エンジニアが用いうる認知的方略を探るための有用な参照枠を提供する。 これらを踏まえ、章は本論文の研究設問(Thesis Question)を提示する(p.22)。人間同士の協調はチームにおける異常対応の核心にあり、この協調はチームの全メンバーの間で生じる、という前置きのうえで: > **How do judgment heuristics influence Internet engineers' team coordination to resolve escalating large-scale outage scenarios?** > (判断ヒューリスティックは、エスカレートする大規模障害の解決に向けたインターネットエンジニアのチーム協調にどう影響するか) この研究設問は、判断ヒューリスティック(Kahneman & Tversky, 1974; Hollnagel, 2012)と、Joint Activity・共通基盤(Klein, Feltovich, Bradshaw, & Woods, 2005)という本章が整理した2つの理論的系譜を、単一の設問の中で結びつける。第5・6章の診断ヒューリスティックの発見(本 wiki の他章担当が積み増す)は、この研究設問への直接の応答にあたる。 ## 関連 - [[Trade-Offs Under Pressure]] — 論文全体のハブ entity - [[John Allspaw]] — 著者 - [[David D. Woods]] — 動的障害管理・アノマリー応答理論・Law of Fluency の提唱者 - [[Erik Hollnagel]] — 認知システム工学の5命題・7判断ヒューリスティック・ETTOの原理の提唱者 - [[Gary Klein]] — Joint Activity 3要件・NDM/RPD の提唱者 - [[Joint Activity]] — 本章が導入する共同活動の3要件が、第5・6章のコーディングスキームの理論的原典になる - [[Common Grounding]] — 共同活動の3要件の一つとして本章で導入される - [[複雑システム障害論]] — Rasmussen の「オペレータは設計者の仕事の穴を埋める」という一節を介して Cook (1998) と接続する ## 出典 - Allspaw, J. (2015). *Trade-Offs Under Pressure: Heuristics and Observations of Teams Resolving Internet Service Outages*. MSc thesis, Lund University, Chapter 2(p.13-22).