# Trade-Offs Under Pressure - Chapter 3: Research Design > 前: [[@2015__MSc__Trade-Offs Under Pressure - Chapter 2 Literature Review]] | 次: [[@2015__MSc__Trade-Offs Under Pressure - Chapter 4 Event Description]] | 全体: [[Trade-Offs Under Pressure]] ## 要約 第3章は、本研究がどのように設計され、どのようなデータをどう収集・分析したかを記述する方法論の章である。研究対象は Etsy.com で発生した大規模障害 1 件であり、この単一事例を対象に事例研究法(case study approach)を採用し、事例内部の探索にはプロセストレーシング(process tracing)という認知システム工学由来の分析手法を用いた(p.23)。データ源は IRC 記録・システムログ・アラートログ・デプロイログという行動プロトコル(behavioural protocol)と、半構造化面接という言語プロトコル(verbal protocol)の 2 系統からなり、オープンコーディングと内容分析を反復させて診断・対応中に働いていたヒューリスティックの識別へと絞り込んだ(p.23-28)。章末では一般化可能性・バイアス・妥当性という、質的単一事例研究に固有の限界を検討する(p.29-30)。 ## 問題設定 ヒューリスティックは「意図せず用いられることが多く、実務者にとって第二の天性となっているため、結果がすぐに得られない場合には別のヒューリスティックへ切り替える」(Hollnagel, 2009)という性質を持ち、実務者自身にも研究者にも暗黙的(tacit)であり続けやすい。これが本研究の中心的な課題となる(p.23)。 また障害(および他の異常対応の状況)は「複雑で、豊富で、多面的な」(Woods, 1993)出来事であり、実験室ではなく世界の中で起きる。この文脈依存性こそが、実験室実験ではなく自然主義的研究(naturalistic study)としての方法論を要請する(p.23)。 事例として選ぶ障害には要件がある。Flanagan (1954) のクリティカルインシデント(critical incidents)概念によれば、インシデントが「クリティカル」であるためには、行為の目的や意図が観察者にとって十分に明確であり、かつその帰結について疑いの余地がほとんどないほど明確である必要がある。本研究が対象とする障害は、検知そのものは大きな問題ではなかった一方、初期の兆候がパターンとして認識されず、根底のメカニズムへの洞察を得にくい、高い不確実性を参加者に感じさせる事例として選定された(p.25)。 ## 提案手法(研究設計と手法) ### 事例研究法の選択 事例研究法を選んだ理由は 2 つある。第一に、Yin (2013) が整理する社会科学的探究の基準——(1) 主要な研究設問が「how」または「why」型であること、(2) 研究者が行動上の出来事をほとんど制御できないこと、(3) 研究対象が(完全に歴史的なものではなく)同時代的な現象であること——のいずれにも本研究が合致する(p.24)。第二に、研究の焦点が「1 つの出来事・プログラム・活動、あるいは複数の個人」を対象に「詳細な記述と分析」を行うことにある点で、事例研究が適合する(Creswell, 2012)(p.24-25)。ナラティブアプローチ(個人の経験の探究)、エスノグラフィ(集団文化の探究)、グラウンデッドセオリー(理論構築)は、いずれも本研究の目的(特定の障害対応中に働いた認知的方略の識別)に合致しないため除外された(p.25)。 ### プロセストレーシング 事例内部の探索には、行動主義的なシステムの挙動観察だけでも、実務者の言語報告だけでも、エンジニアの認知的方略を信頼できる形では明らかにできない(Bainbridge, 1979; Ericsson & Simon, 1984; Nisbett & Wilson, 1977)という前提から、プロセストレーシング([[プロセストレーシング]])、具体的には行動プロトコル分析(behavioural protocol analysis, Woods, 1993)が採用された(p.24)。この手法は次の 7 種のデータを組み合わせ、デジタルログという痕跡(artefact)で言語報告を補強する。(a) 参加者の行動の直接観察、(b) データ取得系列の痕跡、(c) 対象プロセスへの行為の痕跡、(d) 重要なプロセス変数の動的な挙動の記録、(e) チームメンバー間または公式のコミュニケーション媒体を介した言語コミュニケーションの記録、(f) 実施後の言語報告、(g) 他の当該領域の知識を持つ観察者による行動への注釈(p.24)。 **Figure 2: 研究デザイン全体の図解** ![[_attachments/msc-allspaw-2015-tradeoffs-under-pressure/ch03-fig2-methodology-overview.png]] (Figure 2. 事例研究(障害そのもの)の内部にプロセストレーシングが位置し、プロセストレーシングは行動プロトコル(タイムスタンプ付きシステムログ・アラート・ダッシュボードログ・アプリケーションエラー・コード変更のデプロイ)と言語プロトコル(IRC記録・半構造化面接記録)から構成される。これらを内容分析と(再)コーディングの反復サイクルで分析し、結果を妥当性検証(validate)と一般化(generalize)へつなげる、という全体構造を示す。) 言語報告には理論的に 2 系統ある。作業中に発話させる思考発話(think-aloud/concurrent)プロトコルと、事後の回顧的報告(retrospective report)である。本研究は障害がすでに完結した出来事であるため、回顧的な言語報告を、刺激想起(cued/stimulated recall)を伴う半構造化面接という形で採用した(p.25)。 回顧的な言語報告には妥当性への脅威があり、特に無意識のうちに報告を合理化してしまう「正当化バイアス(justification bias)」が課題となる(Schulte-Mecklenbeck, Kühberger, & Ranyard, 2011; Huber & Seiser, 2001)。同文献は、参加者が事前に回顧的言語報告を求められると知らされていない限り、この手続きは反応性を持たないと論じる(p.25)。そのため、面接に関する参加者への案内は、対象となる具体的な出来事や議論の形式を事前に知らせない形で行われた(p.26)。 刺激想起は、行動と言語行為の記録を参加者と共に「再生」しながら、タイムライン上の重要な分岐点で開かれた質問によってその推論を掘り下げる手続きである。本研究では、通常の刺激想起で用いられる録画映像の代わりに、行動プロトコル(システムログ)と言語行為(IRC記録)を組み合わせた記録を用いた(p.26)。面接の進め方は、タイムライン上の分岐を反復的に掘り下げてタシット・ナレッジ(暗黙知)を引き出す認知タスク分析手法、クリティカルディシジョン法(Critical Decision Method, CDM; Crandall, Klein, & Hoffman, 2006)に類似した方式を採用した(p.26)。 ### 参加者・データ源・手続き 8 名のソフトウェアエンジニア(インフラチーム 5 名、プロダクトチーム 3 名)が面接対象となった。面接時間の平均は 51 分で、障害発生の約 6 週間後に実施し、録音は文字起こしサービスに送付、その後コーディング前に校正された(p.26)。 収集されたデータ源は次のとおりである。(1) 複数チャンネルにわたる IRC チャット記録、(2) 障害中にエンジニアがブラウザで読み込んだダッシュボード・グラフのアクセスログ、(3) 障害中に行われたアプリケーションコード変更のタイムスタンプ、(4) 障害中に発報されたアラート(メール・テキストメッセージ通知)のログ、(5) 対応に関与した 8 名のエンジニアへの半構造化面接(p.26-27)。 IRC 記録は低遅延のコミュニケーション手段として、リモート勤務のエンジニアも含む関係者間の会話・調整・協働のあり方を「書き言葉」として時系列に残す点で、認知の外部化(externalization)として重視される(p.27)。システムログはシステム挙動とエンジニア主導の行為に関する時刻精度秒単位の記録であり、ダッシュボード/グラフのアクセスログ・カスタマーサポートアプリケーションの利用ログ・障害中の対象アプリケーションのアクセス/エラーログ・デプロイログ・アラート通知ログを含む。エンジニア間で共有されたスクリーンショットも補助的な痕跡として扱われた(p.27)。 手続きは次の順に進行した。(a) 研究トピックの概要を Etsy のエンジニアリング組織へ説明、(b) インフォームドコンセントの取得、(c) 事例とする障害の選定、(d)–(h) IRC 記録(関連する 3 チャンネル)・アクセスログ・デプロイログ・アラートログを Etsy の本番サーバーから抽出しアーカイブ、(i) IRC 記録に対する初期のテーマ別オープンコーディング、(j) 1 名のエンジニアへの刺激想起を用いたパイロット面接、(k) パイロット結果に基づくコーディングスキームの改訂、(l) 残る 7 名への刺激想起を用いた半構造化面接、(m) 行動データ(システムログ)・会話データ(IRC 記録)・言語報告(面接)を共通テーマの発見によって統合し、障害中に用いられたヒューリスティックについて推論を行う分析(p.28)。 **Figure 3: 行動プロトコル・言語プロトコルから知見への変換の全体像** ![[_attachments/msc-allspaw-2015-tradeoffs-under-pressure/ch03-fig3-process-tracing-procedure.png]] (Figure 3. Event を起点に IRC記録(what they said in situ)とシステムログ(dashboard access log・alert log・application error log。what they did in situ)へ分岐し、IRC記録はオープンコーディング → パイロット面接 → コーディングスキーム改訂という経路を経て半構造化面接へ合流する。システムログは半構造化面接へ直接合流するとともに Synthesis へも接続し、半構造化面接の結果も Synthesis へ合流したうえで、ヒューリスティックの識別・妥当性検証・デザインへの示唆という 3 種の知見が生成される流れを示す。) ## 考察・限界(一般化可能性・バイアス・妥当性) ### 一般化可能性 本研究は統計的一般化(statistical generalizability)を目指すものではない。焦点は分析的一般化(analytic generalizability, Yin 2013)であり、文献レビューから統合された基礎理論の構成概念が、本事例研究によってどのように解釈・提示されうるかを示すことにある(p.29)。 ### バイアス 参加者選定の基準は 2 つ設定された。(1) 障害対応に加わったグループに属していたこと、(2) 対応に有意に貢献したこと(貢献度は主に #warroom の IRC 記録における発言量で判断した)。選定された参加者は、#warroom の IRC 記録全体の発言量の 68.4% を占める(p.29)。 調査者自身は「インサイダー研究者」であり、これは事例に関わる技術的詳細や隠語(argot)への精通、参加者の実務への経験という利点をもたらす一方で、(1) どの行動データを収集・分析するか、(2) 面接でどの質問をするか、(3) プロセストレースの表現にどのツールを使うか、(4) プロセストレースのデータをどう解釈しヒューリスティックについて推論するか、という 4 つの局面にバイアスと意見を持ち込みうる(p.29-30)。 ### 妥当性 妥当性を確立するための取り組みとして次の 4 点が挙げられる。(1) 証拠の連鎖(chain of evidence)の確立——認知的活動を推論するプロセストレースの構築にとって重要である、(2) データ源の三角測量(triangulation)——参加者の外部化された記録を他の参加者の記録と突き合わせることで検証を補強する、(3) コーディング体系のテーマ的な精緻化——協働的コーディングとコーダー間信頼性(inter-coder reliability)の確認の双方を含む、(4) 参加者による報告草稿のレビュー(p.30)。 ## 関連 - [[Trade-Offs Under Pressure]] — 本章が属する修士論文のハブ entity - [[@2015__MSc__Trade-Offs Under Pressure - Chapter 2 Literature Review]] — 本章が依拠する文献レビュー(ヒューリスティック概念・複雑システム障害論の理論的土台) - [[@2015__MSc__Trade-Offs Under Pressure - Chapter 4 Event Description]] — 本章の手続きに従って収集されたシステム構成・障害イベントの記述 - [[プロセストレーシング]] — 本章が採用する中核的分析手法。既存の一次ソースである Maguire (2020) のより後年・大規模な実装と、本章に見る 2015 年時点での比較的小規模な実装を突き合わせられる - [[研究方法論における妥当性概念]] — 本章の一般化可能性・バイアス・妥当性の議論と横断的に関連する概念 ## 出典 - Allspaw, J. (2015). *Trade-Offs Under Pressure: Heuristics and observations of teams resolving Internet service outages* (MSc thesis, Lund University). https://lup.lub.lu.se/student-papers/record/8084520