# 先見性(Foresight) ## 定義 先見性(foresight)とは、組織が過去の成功を自信の理由付けに使うのではなく、成功の裏に潜むリスクを見つけ出し、システムがどのように成功しどのように失敗するかについてのメンタルモデルを再構成する能力を指す。これを実現するには、各組織が後知恵バイアス(hindsight bias、物事が起きた後にそれが予測可能だったと考える傾向)に惑わされずに振り返りができる必要がある。カオスエンジニアリングの事前準備・事後処理フェーズは、専門知識を抽出し先見性を育てる手段として位置づけられる。(Source: [[@2022__OReillyJapan__カオスエンジニアリング - Chapter 9 先見性を生み出す]] 冒頭) ## メンタルモデルの可視化としての実験 インシデントは、あるチームメンバーが持つシステムへのメンタルモデルが他のメンバーとどう違うかを観察する機会である。この機会が成立するのは、インシデントがシステムの動き方やリスクへの対処法に対する思い込みを裏切ってくれるタイミングだからである。しかし実際の障害発生中は心理的安全性が低く、この違いをオープンに議論しにくい。カオス実験は実際の障害が発生していないぶん心理的安全性が高く、結果として起こるシステムの振る舞いへの恥ずかしさや不安感を減らした状態で、メンタルモデルの違いを議論できる。(Source: [[@2022__OReillyJapan__カオスエンジニアリング - Chapter 9 先見性を生み出す]] §9.2.1) ## 認知面接とファシリテーションによる専門知識の抽出 航空・医薬品・海運などの業界のインシデント調査手法では、インシデント中・インシデントに至る過程で何が起きたとチームメンバーが考えているかの詳細を抽出するため、認知面接(cognitive interviews)を行う第三者のファシリテータを参加させる。これは唯一の正当なストーリーを得るためではなく、メンバーごとのメンタルモデルの違いそのものが本当の問題のありかを教えてくれるという前提に立つ。この手法はカオス実験の特徴づけにも応用できる。ファシリテータはグループ方式でチームメンバーにインタビューを行い、仮説はファシリテータ自身ではなくチームメンバーが構築すべきである。(Source: 同章 §9.4) David Woods の流暢の法則(Law of Fluency)は「専門家がその専門領域で非常に高いスキルを持つと、その専門知識を認識したりどのくらい深いのか判断できなくなってしまう」と述べる。専門知識が、仕事にかけられた労力を隠してしまうため、ファシリテータの役割はこの隠された労力を明らかにし広めることにある。この観点から、質問はまず社歴の短いメンバーから始め、より経験の長いメンバーへ順に問いかけるとよい。Gary Klein の観察によれば、新入社員はシステムが動いていた時ではなく、システムが正常に動かなくなった時を想像できる——新鮮な視点と分かりやすい後知恵バイアスの両方を持つ。(Source: 同章 §9.4.1) ## 自動化と先見性のトレードオフ Netflix の ChAP 開発チームは、故障注入シナリオを本番環境で自動生成・自動実行する技術的な成功を収めたが、実際にツールを使い続けたのは作成者であるカオスエンジニア4人にとどまり、自動化は他チームへの専門知識の広がりを浅くする結果になった。最終的に、自動化のプロセスそのものより、副産物として生まれたダッシュボード(システムのどの部分を安全に故障させられるかをチームに可視化する)がメンタルモデル更新の最大の価値をもたらしたと総括される。自動化を数週間動かした後、最終的には自動化自体を停止する判断がなされた。(Source: 同章 §9.3, §9.5) ## 横断的知見 - 現時点で本ページのソースは『カオスエンジニアリング』9章1件のみであり、複数ソースの突き合わせによる横断的知見はまだない。[[自動化の皮肉]]・[[心理的安全性]]・[[レジリエンスエンジニアリング]] など隣接概念との突き合わせは、それぞれのページ側の横断的知見として記録した(§関連参照)。 ## 未解決の問い - 認知面接という手法は本章では航空・医薬品・海運の実践からの借用として紹介されるのみで、これらの業界における一次資料での定義・実施手順は本 wiki に未収載である。手法の詳細(質問設計・記録方法・訓練プロセス)を裏付ける一次資料は何か。 - 流暢の法則(David Woods)と Gary Klein の新入社員/熟練者研究は、[[レトロスペクティブファシリテーション]] が集約する「Why/You から How/What への言語変換」という知見と同じ「専門知識の言語化・抽出」という主題を扱うように見えるが、両者が対象とする局面(カオス実験の事前準備 vs ポストモーテムの事後処理)は異なる。両者の技法はどこまで相互転用可能か。 - ChAP のダッシュボードが自動化そのものより価値をもたらしたという知見は、[[自動化の皮肉]] が集約する「能力不足な自動化(clumsy automation)」パターンとどう対応するか。ChAP の事例は自動化を完全に否定するものではなく段階的縮小(自動化を止めてもダッシュボードは残す)だったが、この縮小判断がどのような基準でなされたのかは本章に明記されていない。 ## 関連 - [[カオスエンジニアリング]] — 先見性を育てる手段としてカオス実験を位置づける親概念 - [[レジリエンスエンジニアリング]] — Sidney Dekker の定義(「効果的かつ安全に適応できる前向きな能力を特定し広げる」)が本概念の理論的背景をなす - [[心理的安全性]] — カオス実験がメンタルモデルの違いを議論しやすい理由としての心理的安全性 - [[自動化の皮肉]] — ChAP の自動化が専門知識の広がりを浅くした事例との接続 - [[情報処理システムとしての人間]] — メンタルモデル・専門知識の認知的基盤 - [[レトロスペクティブファシリテーション]] — ポストモーテムにおける類似のファシリテーション技法 - [[@2022__OReillyJapan__カオスエンジニアリング - Chapter 9 先見性を生み出す]] — 本概念の一次資料 - [[Netflix]] / [[ChAP]] / [[Casey Rosenthal]] ## 出典 - [[@2022__OReillyJapan__カオスエンジニアリング - Chapter 9 先見性を生み出す]] — Casey Rosenthal, Nora Jones, 「先見性を生み出す」, Casey Rosenthal・Nora Jones 編『カオスエンジニアリング ― 回復力のあるシステムの実践』, オライリー・ジャパン, 2022, 9章.