# 診断ヒューリスティック ## 定義 診断ヒューリスティックとは、インターネットサービス障害の診断・対応にあたるエンジニアが、不確実で時間切迫的な状況下において、網羅的な原因探索の代わりに用いる暗黙の経験則(rule-of-thumb)を指す。[[John Allspaw]] の修士論文(Lund University, 2015)は、Etsy の実際の障害を対象としたプロセストレーシング(IRC トランスクリプト・システムログ・8名への半構造化インタビュー)によって、次の4つのヒューリスティックを同定した。(Source: [[Trade-Offs Under Pressure]]) 1. **相関確認ヒューリスティック**: まず直近のソフトウェア変更(デプロイ)との相関を確認する。8名全員が独立に「最初に取る行動」と証言した、最も暗黙的で、かつ最も強く共有されたヒューリスティック。 2. **探索拡張ヒューリスティック**: 相関が見つからなければ、想定しうる要因へ探索範囲を広げる("all bets are off")。ProdEng2 はこの遷移を「幅優先探索から深さ優先探索への切り替え」と自己記述した。 3. **収束的探索ヒューリスティック**: 拡張された探索を、過去の診断困難事例、または直近の出来事と症状が類似するものへ収束的に絞り込む。類似性マッチング(Hollnagel 2012)に基づき、時に Dörner (1980) のいう認知的固着(encystement)を伴う。 4. **協調ヒューリスティック(同僚レビュー優先)**: 本番変更への確信は、自動テストの完了を待つことよりも、同僚による迅速なレビュー("lgtm")に依拠する。Etsy 社内アンケート(n=32)でも大勢が確認された。 ## 横断的知見 - **診断ヒューリスティックは Hollnagel の ETTO 原理(efficiency-thoroughness trade-off)の具体的なインスタンスであると同時に、Woods の動的故障管理モデル(診断⇄対応計画⇄異常認識の円環)の内部で実際にどう働くかを埋める経験的知見である**: Allspaw の論文は文献レビューで ETTO 原理・動的故障管理モデルの両方を理論的枠組みとして導入するが、4つのヒューリスティックはこの抽象的な枠組みに「診断の初手は何か」「探索が行き詰まったらどう振る舞うか」という具体的な手続きを与える。特にヒューリスティック1(相関確認)が IRC 上で明示的に言語化されることがほとんどなかった(全8名が証言する一方、トランスクリプト中の直接的言及は2回のみ)という観察は、Woods & Hollnagel (2006) の「Law of Fluency(流暢さの法則: 適応された認知的作業はその困難さを覆い隠す)」を裏付ける具体例である。(Source: [[Trade-Offs Under Pressure]]) - **第5章の生データは、第2章の文献レビューが引用する類似性マッチング(Hollnagel 2012)・認知的固着(Dörner, 1980)という理論的概念を、実際の5つの仮説の起源として具体的に裏づける一次データである**: 第2章は探索が行き詰まった際に過去の類似事例への収束(ヒューリスティック3)が生じることを理論的に導入するにとどまるが、第5章の「仮説生成とその起源」節は、5つの主要仮説(CDN/ロードバランサ変更・ネットワーク変更・外部ホストのブログ・凍結ショップ・データベーススキーマ変更)それぞれについて、参加者が過去の類似障害をどう想起して仮説へ変換したかをインタビュー引用で具体的に示す。ProdEng3・InfraEng5 はCDN仮説について「This matched a pattern that we saw earlier」、InfraEng3 はデータベーススキーマ仮説について「You know that feeling when you have seen a problem recently, so it's like primed in your head as a possible problem?」、ProdEng3 はブログ仮説について「it's an endpoint that had caused us trouble in the past」とそれぞれ独立に類似性マッチングを言語化しており、ヒューリスティック3が単一の抽象的傾向ではなく、5件中3件で独立に確認される頑健なパターンであることを示す。(Source: [[@2015__MSc__Trade-Offs Under Pressure - Chapter 5 Results]], [[@2015__MSc__Trade-Offs Under Pressure - Chapter 2 Literature Review]]) - **第5章が導入する「擾乱管理(disturbance management)」活動という第3カテゴリ(Woods, 1995a)は、既存の横断的知見が引用する Woods の動的故障管理モデル(診断⇄対応計画⇄異常認識の円環)のうち「対応計画」の極を、単一の参加者(InfraEng4)の一連の状態確認発話として初めて具体的な発話データで裏づける**: 第2章の文献レビューは動的故障管理モデルを理論的枠組みとして導入するのみだが、第5章はInfraEng4の "is there a rush to get this deployed today? should we slow down?" "what is our current state?" といった一連の発話を、診断的活動・協調的活動のいずれとも異なる独立したコーディングカテゴリとして提示する。InfraEng4 自身は「slow is fast」という理念をこの発話群の動機として語っており、これは診断ヒューリスティックそのものではないが、ヒューリスティックが適用されるペースを外側から調整しようとする、対応管理側の並行した実践として位置づけられる。ただし、この活動類型が InfraEng4 という単一参加者の発話に集中している点は、単一事例研究としての限界でもある。(Source: [[@2015__MSc__Trade-Offs Under Pressure - Chapter 5 Results]]) - **第6章は、第5章が生データとして提示した5つの仮説生成過程(CDN・ネットワーク・Wordpress・凍結ショップ・データベーススキーマ変更)を、Woods (1995a) のアブダクション(仮説形成推論)の形式的な3ステップ(D=観察の集合、H が D を説明する、他にDをHほどよく説明する仮説がない ⇒ H はおそらく真)へ明示的に写像する**: 第5章は仮説がどう生成されたかをインタビュー引用で記述するにとどまるが、第6章はこれを「エンジニアは単に思いつきで仮説を挙げているのではなく、アブダクション推論という一貫した論理構造に沿って仮説を評価している」という解釈へ格上げする。ただし第6章自身がこの解釈をアブダクションの妥当性基準(ステップ3: 他の仮説がDをHほどよく説明しないこと)まで検証しておらず、記述的な当てはめにとどまる点は本ページの限界としても記録する。(Source: [[@2015__MSc__Trade-Offs Under Pressure - Chapter 5 Results]], [[@2015__MSc__Trade-Offs Under Pressure - Chapter 6 Analysis]]) - **ヒューリスティック4(同僚レビュー優先)は、第5章では2つの協調エピソード中の "lgtm" 発話という局所的な事例証拠にとどまっていたが、第6章はEtsy社内アンケート(n=32、質問1で29名がYes)によってこれを単一事例を超えた組織的傾向として補強し、さらにHollnagelの「Work-Related ETTO Rules」(2009)の具体例("it has been checked earlier by someone else"、"this way is much quicker")に明示的に対応づける**: これにより、既存の横断的知見が指摘する「診断ヒューリスティックはETTO原理の具体的インスタンスである」という一般的な理論的対応づけが、ヒューリスティック4については特定のETTOルールの文言レベルまで具体化される。ただし第6章自身が指摘するとおり、この対応づけは著者による事後的な解釈であり、アンケート回答者がETTOという枠組みを念頭に置いて回答したわけではない。(Source: [[@2015__MSc__Trade-Offs Under Pressure - Chapter 5 Results]], [[@2015__MSc__Trade-Offs Under Pressure - Chapter 6 Analysis]]) - **第6章が協調エピソード5件を横断して抽出する「対応の主眼は根本原因の完全解明ではなく、グレースフルデグラデーション制御をより軽度な状態へ段階的に引き上げることにある」というテーマは、ヒューリスティック1〜3(診断)の適用と時間的にどう関係するかを明示しない**: 第5章の各エピソードは独立した事象として記述されるが、第6章はこれらを1つの共通テーマとして束ね、ProdEng2の「まず引き上げ、その後さかのぼって原因を追及する」という証言で裏づける。診断ヒューリスティックの適用(相関確認→探索拡張→収束的探索)と、劣化状態を引き上げる協調的な行動が並行して進むのか、後者が前者を一時停止させるのかは、第5・6章のいずれのデータからも明示的に読み取れない。(Source: [[@2015__MSc__Trade-Offs Under Pressure - Chapter 5 Results]], [[@2015__MSc__Trade-Offs Under Pressure - Chapter 6 Analysis]]) - **第7章は、第6章が示すヒューリスティック1(相関確認)を支えるデプロイ線ツール(Figure 17)と、プロセストレーシング自体が生む可視化(Figure 10〜16 等のタイムライン・診断マップ)という、性質の異なる2種類の可視化を、訓練・事後探索という異なる用途へ接続する**: 第6章のデプロイ線は本番運用中にエンジニアがヒューリスティックを適用するのを支える現場向けツールであるのに対し、第7章が言及するプロセストレーシングの可視化は研究者(著者)がデータ分析中に新たな仮説を発見し前提を反証するために使ったものであり、両者は用途も生成主体も異なる。しかし第7章は後者について、事後探索の道具にとどまらず「訓練・教育のための新たな教材・方向性」を提供しうると述べており、デプロイ線(現場の意思決定支援)とプロセストレース可視化(教育目的の教材)という、ヒューリスティックを支える2つの異なる介入点(運用時のツール設計 / 事後の教育設計)が本論文全体で示唆されていることになる。ただし第7章はこの教育活用の具体的な設計や効果を検証しておらず、可能性の指摘にとどまる。(Source: [[@2015__MSc__Trade-Offs Under Pressure - Chapter 6 Analysis]], [[@2015__MSc__Trade-Offs Under Pressure - Chapter 7 Discussion]]) ## 未解決の問い - ヒューリスティック1〜3(診断)は同定されたが、著者自身が「対応そのもの(是正行動の選び方)にも固有のヒューリスティックがあるのではないか」という問いを未解決のまま残している。グレースフルデグラデーション(段階的な劣化状態への遷移)自体がヒューリスティックの一形態かどうかは、本論文だけでは裏付けが不十分。 - 経験年数(4〜17年)・組織上の立場(プロダクト vs インフラ、IC vs マネージャ)が、どのヒューリスティックをどの順序で適用するかにどう影響するかは、著者が明示的に将来課題として残している。 - ヒューリスティック4(同僚レビュー優先)は Etsy 社内の組織文化(迅速な "lgtm" 文化、プッシュキューの HOLD/解除という明確な儀式)に依存する可能性がある。異なる組織文化(例: 承認フローが重い組織)でも同じヒューリスティックが観察されるか。 - 4つのヒューリスティックの相互作用(例: ヒューリスティック3の「認知的固着」が、ヒューリスティック4の同僚レビューによってどの程度是正されうるか)は、単一事例研究の粒度では十分に検証できていない。 - 第5章の仮説4(凍結ショップ)は InfraEng2 のみが到達し、他のエンジニアには共有理解として広がらなかった。ヒューリスティック3(類似事例への収束)が「誰の記憶にある類似事例か」に依存して個人差を生む場合、その個人差はヒューリスティック4(同僚レビュー)によってどの程度補われるのか、第5章のデータだけでは判定できない。 - 擾乱管理活動(disturbance management)とヒューリスティックの適用ペースの関係は未検証である。InfraEng4 の「slow down」要求が、実際に他の参加者の診断ヒューリスティックの適用(例: ヒューリスティック2への遷移のタイミング)に影響したかどうかは、第6章(Analysis)でも第7章(Discussion)でも扱われず、本論文全体を通じて未検証のまま残る。(Source: [[@2015__MSc__Trade-Offs Under Pressure - Chapter 7 Discussion]]) - 著者自身が第7章末尾で今後の研究方向として提示する問い: 自身が持たない専門知識を要する場面で、オペレータが他者への支援・助力を求める判断に至るのはどのようなヒューリスティック(信号)によってか。本論文が同定した4つのヒューリスティックはいずれも個人・チーム内で完結する診断・協調の手続きであり、「いつ・どの信号で外部へ助けを求めるか」という境界条件は本論文の範囲外に残されている。(Source: [[@2015__MSc__Trade-Offs Under Pressure - Chapter 7 Discussion]]) - ヒューリスティック1(相関確認)は全参加者が「最初に取る行動」と証言する一方、トランスクリプト上の直接言及はわずか2回にとどまるという乖離を、第6章は「暗黙性の強さ」の証拠として解釈する。しかしこの乖離は「証言バイアス(想起時の後付け合理化)」あるいは「デプロイ線という既存ツールにより確認行為自体が発話を要さない自動化された作業になっていたこと」でも説明可能であり、本論文はこれらの対立仮説を比較検討していない。いずれの説明が妥当かは未解決である。 - ヒューリスティック4を裏づけるアンケート(n=32)はEtsy社内のCONFIGデプロイに限定される。他の変更種別(フルコードデプロイ)や、Etsy以外の組織文化(承認フローが重い組織等)でも同じ傾向が観察されるかは未検証。 - 協調エピソードのテーマ(グレースフルデグラデーション制御をより軽度な状態へ段階的に引き上げること)と、診断ヒューリスティック1〜3の適用が、時間的に並行するのか、一方が他方を一時停止させるのかは、第5・6章のいずれからも読み取れない。 ## 関連 - [[Trade-Offs Under Pressure]] — 本概念の一次資料 - [[John Allspaw]] — 著者 - [[複雑システム障害論]] — Cook の命題12・17(人間の適応的役割)を経験的に裏付ける関係 - [[Joint Activity]] — ヒューリスティック4(協調)が Interpredictability・Common Ground の3段階コーディングとして観察される - [[ヒューリスティック探索]] — Simon の選択的探索理論との対比(問題の論理構造による枝刈り vs 類似性マッチングによる収束) - [[トレードオフ意思決定]] — ETTO 原理という共通の理論的基盤 - [[David D. Woods]] — 動的故障管理モデル・アブダクション推論の枠組みの提供者 - [[インシデント管理]] - [[@2015__MSc__Trade-Offs Under Pressure - Chapter 5 Results]] — 5つの仮説の起源・擾乱管理活動という、ヒューリスティックの経験的基盤となる生データを提示する章 - [[@2015__MSc__Trade-Offs Under Pressure - Chapter 6 Analysis]] — 4つのヒューリスティックそのものを定式化し、アブダクション推論・ETTOルール・アンケート結果によって裏づける章 - [[@2015__MSc__Trade-Offs Under Pressure - Chapter 7 Discussion]] — ヒューリスティックが依拠する Woods(1995a)の理論的枠組みへ知見を接続し直し、訓練・事後探索という応用可能性と今後の研究方向を提示する章 ## 出典 - [[Trade-Offs Under Pressure]] - [[@2015__MSc__Trade-Offs Under Pressure - Chapter 5 Results]] - [[@2015__MSc__Trade-Offs Under Pressure - Chapter 2 Literature Review]] - [[@2015__MSc__Trade-Offs Under Pressure - Chapter 6 Analysis]] - [[@2015__MSc__Trade-Offs Under Pressure - Chapter 7 Discussion]]