# Trade-Offs Under Pressure ## 概要 John Allspaw による Lund University の修士論文(2015、MSc in Human Factors and System Safety)。オンラインマーケットプレイス Etsy で実際に発生した機能障害を単一事例として取り上げ、プロセストレーシング法で障害対応中のエンジニアの認知過程を分析した。障害を**設計で防ぐ**研究が厚い一方、**防ぎきれなかった障害に人がどう対処するか**の研究が薄い、という欠落を埋めることを狙う。同定された 3 つの診断ヒューリスティックと 1 つの協調ヒューリスティックは、その後の SRE 分野におけるインシデント分析(Learning from Incidents、VOID)の系譜の出発点にあたる。 > [!abstract] 概要(abstract の日本語訳) > インターネットサービスにおけるソフトウェアアプリケーションとアーキテクチャの複雑さの増大は、停止や性能劣化が生じたときにそれを診断し解決する任にあたるオペレータの推論に困難を突きつける。これらのシステムをより頑健で耐障害性の高い設計にすることで障害をいかに防ぐかに焦点を当てた文献は増えつつあるが、そうした予防的設計が破れ、想定されていなかった筋書きに対してエンジニアが自ら考えて反応せざるをえなくなったときに直面する認知的な難しさを探究した研究は乏しい。 > 本研究は、ビジネス上重要なインターネットサービスにおいて停止や性能劣化の筋書きに直面したとき、エンジニアがどのようなヒューリスティック(経験則)を用いるかを探究する。事例研究の手法を採り、人気のオンラインマーケットプレイスにおける購買活動が活発な時間帯に実際に起きた機能の停止に焦点を当てた。ヒューリスティックとその他の暗黙知が同定され、訓練と将来のインターフェース設計の双方にとって有望な道筋を与える。 > 使用されている診断ヒューリスティックとして 3 つが同定された。(a) まず当該の挙動と、ソフトウェアに最近加えられた変更との相関を探す。(b) ソフトウェア変更との相関が見つからない場合、想定しうるあらゆる寄与要因へと探索を広げる。(c) 診断の方向を選ぶ際には、最も容易に思い浮かぶものへ焦点を絞ることで探索を狭める。それは症状が過去の診断困難な事象のものと一致するか、あるいは最近の事象のものと一致するからである。 > 第 4 のヒューリスティックは協調に関わる性質を持つ。望ましくない影響を緩和する、あるいは問題を完全に解決するためにソフトウェアへ変更を加えるとき、自動テストよりも(あるとしても)変更のピアレビューに依拠する。 ## 書誌情報 - 著者: John Allspaw - 大学・学位: Lund University / MSc in Human Factors and System Safety - 提出日: 2015-09-07 - URL: https://lup.lub.lu.se/student-papers/record/8084520 - 構成: 本編 8 章 + 付録 A〜E(全 88 PDF ページ)。本 wiki は本編 8 章と付録 A・B を取り込む(付録 C〜E は参加者タイムライン・ダッシュボード画像・ツール一覧のため対象外) - 原本: `.raw/theses/msc-allspaw-2015-tradeoffs-under-pressure/` ## 構成と主要テーマ 本論文は単一事例研究であり、「問題を立てる(第 1〜3 章)→ 事例を記述する(第 4 章)→ データを提示する(第 5 章)→ 解釈する(第 6〜8 章)」という質的研究の標準的な順序で進む。中心的発見である 4 つのヒューリスティックは第 5 章で生データとして現れ、第 6 章で定式化され、第 7 章で実践への含意に接続される。 ### 第 I 部相当: 問題設定(第 1〜3 章) → [[@2015__MSc__Trade-Offs Under Pressure - Chapter 1 Background]] — インターネットサービスが商取引・行政の基盤になった規模を数値で示し、その運用環境を「不透明な手術室(An Opaque Operating Theatre)」という比喩で提示する。複雑適応系としての特性と Cook(2010)の引用から、本研究の 2 つの根本的な問いを立てる。 → [[@2015__MSc__Trade-Offs Under Pressure - Chapter 2 Literature Review]] — 安全科学・認知システム工学の系譜(Joint Activity の 3 要件、Hollnagel & Woods の 5 命題、判断ヒューリスティック、自然主義的意思決定、エスカレーション)を辿り、**ソフトウェア運用領域には障害からの回復活動そのものを扱う研究が欠けている**という「A Gap Found」論証を経て研究設問に到達する。 → [[@2015__MSc__Trade-Offs Under Pressure - Chapter 3 Research Design]] — 事例研究法とプロセストレーシングを組み合わせ、行動プロトコル(システムログ等)と言語プロトコル(IRC 記録・刺激想起面接)を 8 名のエンジニアから収集する設計。分析的一般化・選定バイアス・インサイダー研究者バイアスを明示的に検討する。 ### 第 II 部相当: 事例とデータ(第 4〜5 章) → [[@2015__MSc__Trade-Offs Under Pressure - Chapter 4 Event Description]] — 2014 年 12 月 4 日、Cyber Monday の 3 日後に Etsy.com のサインイン済みホームページで発生した性能劣化を、検知(1:06pm)から根本原因特定・緩和(1:36pm)まで時系列で記述する。 → [[@2015__MSc__Trade-Offs Under Pressure - Chapter 5 Results]] — 8 名の IRC 発話・行動データ・面接をプロセストレーシングし、5 つの協調エピソードと 5 つの診断仮説の生成過程、擾乱管理活動(Woods 1995a)をコーディング・可視化する。**本論文の中心的な経験的発見の提示章**。 ### 第 III 部相当: 解釈(第 6〜8 章) → [[@2015__MSc__Trade-Offs Under Pressure - Chapter 6 Analysis]] — 第 5 章の生データを解釈し、**4 つのヒューリスティックを定式化**する。ヒューリスティック 4 は Etsy 社内アンケート(n=32、29 名が Yes)で、仮説生成過程は Woods(1995a)のアブダクション推論の 3 ステップへの写像で裏づけられる。 → [[@2015__MSc__Trade-Offs Under Pressure - Chapter 7 Discussion]] — 知見を Woods(1995a)の異常対応モデル・是正対応の 4 様式へ接続し直し、プロセストレーシング手法自体を検証したうえで、訓練とインターフェース設計への含意、研究の限界、4 つの未解決の問いを述べる。 → [[@2015__MSc__Trade-Offs Under Pressure - Chapter 8 Conclusions]] — 4 つのヒューリスティックを提示し、**対応の成功の主因はソフトウェアの疑似知能ではなくエンジニアの専門知識と暗黙知にある**というメタ的結論で締めくくる。 ### 付録(取り込み分) → [[@2015__MSc__Trade-Offs Under Pressure - Appendix A Initial coding schema]] — IRC トランスクリプト分析用の初期 12 コードと、first-order code へのグルーピング、別コーダーによる一致率 79.6%(コード別 60.8%〜92.5%)の信頼性検証。 → [[@2015__MSc__Trade-Offs Under Pressure - Appendix B Coordinative Episodes Coding Schema]] — 協調エピソードに SoA/RFF・FoA/Art・AS の 3 コードを付与する分析戦略を、協調エピソード #1 の全 26 発話を例に提示する。 > [!note] 付録 C〜E は取り込み対象外 > 付録 C(参加者タイムライン)・D(ダッシュボードのスクリーンショット)・E(分析に用いたツール一覧)は生の資料・図版であり、本文の主張に直結しないため source 化していない(原本は `.raw/theses/msc-allspaw-2015-tradeoffs-under-pressure/` に保持)。 ## 同定された 4 つのヒューリスティック | # | 性質 | 内容 | |---|---|---| | 1 | 診断 | まず当該の挙動と、ソフトウェアに最近加えられた変更(デプロイ)との相関を探す | | 2 | 診断 | ソフトウェア変更との相関が見つからない場合、想定しうるあらゆる寄与要因へ探索を広げる | | 3 | 診断 | 診断の方向を選ぶ際、最も容易に思い浮かぶものへ焦点を絞る(過去の診断困難な事象、または直近の事象との症状の類似) | | 4 | 協調 | 緩和・解決のためにソフトウェアへ変更を加えるとき、自動テストよりも同僚によるレビューに依拠する | ## 位置づけと影響 - **この論文の寄与は、安全科学の枠組みをソフトウェア運用へ「適用した」ことではなく、運用現場の一次データからヒューリスティックを取り出したことにある**。第 2 章が導入する ETTO 原理・動的故障管理モデルは抽象的な枠組みにとどまるが、第 5〜6 章はそこに「診断の初手は何か」「探索が行き詰まったらどう振る舞うか」という具体的な手続きを与える。 - **最も強く共有されたヒューリスティックが、最も言語化されない**。ヒューリスティック 1(相関確認)は 8 名全員が独立に「最初に取る行動」と証言した一方、IRC トランスクリプト中の直接的な言及は 2 回しかなかった。これは Woods & Hollnagel(2006)の Law of Fluency(適応された認知的作業はその困難さを覆い隠す)の具体例にあたり、**運用の暗黙知を発話ログだけから復元することの限界**を同時に示している。 - **章分割して初めて見えたこと**: 第 5 章(生データ)と第 6 章(定式化)を別ページに分けたことで、両者の距離が可視化された。第 6 章がヒューリスティック 4 をアンケート(n=32)で補強し Hollnagel の ETTO ルールの文言へ対応づける操作は著者による事後的な解釈であり、第 5 章の "lgtm" 発話という局所的証拠から直接は導かれない。同様に、第 6 章がアブダクション推論の 3 ステップへ写像する際、妥当性基準(他の仮説が観察を同程度によく説明しないこと)までは検証していない。 - **vault 内の接続**: 方法論面では [[プロセストレーシング]] を通じて Maguire(2020)の博士論文と対になる(単一事例 1 件 対 62→14→5 件のコーパス)。理論面では [[Joint Activity]]・[[Common Grounding]]・[[複雑システム障害論]] を経て安全科学の系譜へ、実務面では [[診断ヒューリスティック]] を通じて後続のインシデント分析(Learning from Incidents、VOID)へつながる。 ## 関連 - 概念: [[診断ヒューリスティック]] / [[Common Grounding]] / [[Joint Activity]] / [[複雑システム障害論]] ## 出典 - John Allspaw, *Trade-Offs Under Pressure: Heuristics and Observations of Teams Resolving Internet Service Outages*, MSc thesis, Lund University, 2015.