# Measuring Reliability Culture to Optimize Tradeoffs: Perspectives from an Anthropologist Navigation: [[index]] | [[sources/_index]] > [!note] スライド原本なし > USENIX 公式ページにスライド PDF が掲載されておらず、Web 検索でも本講演専用のスライド共有ページは見つからなかった。代わりに YouTube 動画([[SREcon24 Americas]] 公式チャンネル公開)を主 source として取り込んだ。動画にはオンステージの登壇スライドが映るため、スライド上のテキスト・図はフレーム画像で裏取りしている。文字起こしは手動字幕が存在しないため YouTube 自動生成英語字幕(auto-caption)を使用した。 ## 概要 [[Kathryn Bouskill|Kathryn (Casey) Bouskill]]([[Meta]] Reliability Engineering チームの人類学者)による SREcon24 Americas(2024-03-20)の20分講演。Meta が「move fast and break things」から「move fast with stable infrastructure」への文化的転換を進めるにあたり、エンジニアの信頼性関連業務への現場レベルの認識を人類学的手法(インタビュー→サーベイ→施策→バランス調整)で体系的に測定した取り組みを報告する。(Source: 公式ページ抄録、映像 0:00:01-0:03:36) ## 主要メッセージ - 講演者は「人類学者(anthropologist)」という肩書きを冒頭で強調し、文化変容の理解を「アウトサイダー視点(リーダーシップの優先事項・業界標準・標準作業手順)」と「インサイダー視点(現場の優先事項・認識された価値と評価・ワークフロー上の摩擦)」の2つのレンズで捉えるフレームワークを提示する。両者が乖離すると、悪くすれば重大な障害につながると説明する。(Source: 映像フレーム003, 0:03:36-0:04:38) - 手法は4段階: (1) 40人超への半構造化インタビューでインサイダー/アウトサイダー双方の視点を収集し、(2) その知見を数分で回答できる軽量サーベイに変換して定点観測し、(3) エンジニアのニーズに施策で応え、(4) 「トレインが速すぎても遅すぎてもカーブで脱線しうる」という比喩で信頼性への過剰投資と過小投資の両方を戒めるバランス調整を行う、というサイクルである。(Source: 映像フレーム004/007/008、0:12:55-0:13:25) - インタビューでは、テニュア・地域・職位(IC からディレクターまで)を横断する代表性のあるサンプルを意図的に構成し、質的データ分析ソフト MaxQDA を用いて「信頼性の定義」「障壁と促進要因」「評価・認知」「信頼性に関する誤解」などのコードを約1000ページのインタビューデータに付与した。講演者はこれを「研究者の言葉をそのまま信じるのでなく、コーディングの跡を誰でも遡って検証できる」透明性のある手法と位置づける。(Source: 映像 0:07:14-0:07:46) - サーベイ4波の集計から: 回答者の78%が自チームは信頼性を重視していると回答した一方、約半数が「どの信頼性ギャップに取り組むべきか判断しづらい」と回答した。障壁として最も多く挙げられたのは「競合する優先事項」「依存関係」「基盤システムの複雑さ」「信頼性の測定の難しさ」である。自由記述では、信頼性関連業務への評価・インセンティブ構造を機能出荷と同等に位置づけてほしいという声が多かった。(Source: 映像フレーム006、0:09:50-0:10:52) - 研究結果は3つの具体施策に反映された: (1) 全レベルの開発者の評価基準に信頼性への貢献を明示的に組み込む、(2) 質の高いトップラインの SLO を得るための信頼性測定プログラムを制度化する、(3) ゼロから信頼性プログラムを立ち上げる/既存プログラムを拡張するためのガイダンスとして、複数カテゴリ・複数成熟度段階のアクション集合から成る「信頼性プログラム成熟度モデル」を新設する。(Source: 映像フレーム009、0:11:23-0:12:55) - 講演終盤では、信頼性投資(変更安全性・災害復旧対応力・過負荷保護・オンコール健全性・インシデント管理)を、エンゲージメント・収益・コストというビジネス指標に接続する ROI フローを次のステップとして示す。「エクストラナイン」がいつから追加リターンを生まなくなりチームの負担だけを増やすかを、エンジニアの認識(生産性向上の実感、アウテージが起きなかったことの反事実的な証明の難しさ)込みで評価する必要があると述べる。(Source: 映像フレーム010、0:13:25-0:14:57) - 締めくくりの Recap は「Interviews(現場の声を聞き、標準と照らし合わせる)→ Surveys(高レベルの軽量な知見を定点観測する)→ Actions(文化的データをリスク分析と併用して施策・優先順位を導く)→ Balance(『エクストラナイン』が他機会に照らして最適かを検討する)」の4語に要約される。(Source: 映像フレーム011) ## 映像で確認できる重要点 ![[_attachments/srecon24americas-bouskill-reliability-culture/frame-001-title.jpg]] タイトルスライド。講演者は "Kathryn 'Casey' Bouskill"、肩書きは "Researcher, Meta"。SREcon Americas・USENIX のロゴが並ぶ。 ![[_attachments/srecon24americas-bouskill-reliability-culture/frame-002-mantra-shift.jpg]] 「Move Fast and Break Things」から「Move Fast with Stable Infra」への標語転換を示すスライド。両者の間に Messenger・News Feed・Workplace・Safety Check・Videos といった Meta の主要プロダクト群のアイコンが並び、この転換が全社的に及ぶことを視覚化する。 ![[_attachments/srecon24americas-bouskill-reliability-culture/frame-003-insider-outsider.jpg]] 「Culture change requires attention to the insider and outsider perspectives」と題したベン図。Outsider(Leadership's priorities / Industry standards / Standard Operating Procedures)と Insider(On-the-ground priorities / Perceived value and recognition / Friction in workflows)の重なりを "Reality" と位置づける。 ![[_attachments/srecon24americas-bouskill-reliability-culture/frame-006-key-themes.jpg]] "Key Themes" スライド。4つのアイコンで「スケールが大きいほど信頼性は必要」「信頼性はイノベーションを促進すべきでブロックすべきでない」「現行体制は少数の信頼性チャンピオンへの依存が大きい」「信頼性業務のインパクトの立証と報酬付けが必要」という4テーマを示す。 ![[_attachments/srecon24americas-bouskill-reliability-culture/frame-009-outcomes.jpg]] 3つの成果(メダル・上昇グラフ・旗のアイコン)を示すスライド:「エンジニアリング評価基準を信頼性を明示的に含む形へ変更」「質の高いトップライン SLO を得るための信頼性測定プログラムの制度化」「信頼性プログラムを導き優先順位づけする成熟度モデルの新設」。 ![[_attachments/srecon24americas-bouskill-reliability-culture/frame-010-roi-flow.jpg]] "Keeping people in mind as we track the ROI of Reliability" と題したフロー図。信頼性投資(変更安全性・災害復旧対応力・過負荷保護・オンコール健全性・インシデント管理)が Developer Productivity・Risk Mitigation を経由して Product Reliability・Service-Level Objectives に接続し、最終的に Engagement・Revenue・Costs というビジネス指標に至る経路を示す。左端には Value, Rewards, Ease という縦軸のラベルがある。 ![[_attachments/srecon24americas-bouskill-reliability-culture/frame-011-recap.jpg]] "Recap" スライド。Interviews / Surveys / Actions / Balance の4カードにそれぞれ短い説明が付く(本文「主要メッセージ」に引用)。 ## 口頭説明・補足 - 講演者は Meta 入社の経緯として、2年前に信頼性エンジニアリングのリーダーたちが「文化を信頼性向上の後付けでなく基盤的側面として捉える」ビジョンを持ち、自分を招いたと説明する。(Source: 映像 0:03:04-0:03:36) - 人類学101として、文化変容の理解は「誰がこの変化を主導しているのか、トップダウンかグラスルーツか」を問うことが核心にあると述べる。(Source: 映像 0:03:36-0:04:07) - インタビューの冒頭は「Meta の信頼性と聞いて何を思い浮かべますか」という単純な質問から始め、多くの場合これだけで信頼性の定義の複雑さ、実践の困難さ、もっとやりたいという願望、十分に取り組めない理由についての豊かな議論が引き出されたと述べる。ただし、質問者と回答者の間に明示・暗黙の上下関係があると、回答者が本音を語りにくくなる点にも言及する。(Source: 映像 0:06:12-0:06:44) - 2022年から着手して以降、最初または2番目に行ったインタビューで、あるプロダクトチームのソフトウェアエンジニアが語った「信頼性の仕事は好きだが、それに取り組むことに苛立ってもいる。十分に評価されず、難易度が高く、ツールの出来が悪い」という発言が、その後学んだことの多くを象徴する引用として紹介される。(Source: 映像 0:08:17-0:08:47) - 講演の最後で、講演の数週間前に Meta 社内で実際に起きたアウテージ(internal ツールへのログインができなくなった経験)に言及し、一瞬「レイオフの予兆か」と身構えたエピソードを語る。信頼性エンジニアリングチームの一員としての自己認識のユーモラスな挿話として、常にトレードオフを完璧にはこなせないことを認めつつ、迅速な対応と失敗からの学習を強調する。(Source: 映像 0:14:57-0:15:58) - 締めくくりとして、講演者は「人類学者を雇う必要は必ずしもない」が、信頼性研究プログラムへの投資をリーダーシップに説得する価値はあり、それ自体は「思っているほど高くつかない」と述べる。(Source: 映像 0:15:58-0:16:29) ## 概念・実体への接続 - [[Kathryn Bouskill]] — 本講演の単独登壇者。新規 entity として作成。 - [[Meta]] — 講演者の所属。信頼性エンジニアリングチームの文化測定の取り組みとして追加。 - [[SRE文化]] — インタビュー・サーベイ・評価制度改定・成熟度モデルという「信頼性文化を定量的に測定し施策へ変換する」具体的な方法論を追加。 - [[組織の信頼性マインドセット]] — 信頼性プログラム成熟度モデルという新しい成熟度枠組みの存在を追加。 ## 限界・不確実点 - スライド PDF 原本が USENIX 公式ページに掲載されておらず、視覚的根拠は動画から抽出した1090秒あたり90秒間隔・計12枚の代表フレームに限られる。フレーム間の未撮影区間にある図表・数値は未確認である。 - 文字起こしは手動字幕でなく YouTube 自動生成英語字幕(auto-caption)であり、固有名・数値の一部(例: サーベイの母数、インタビュー人数の正確な内訳)は口頭説明のみに依拠し、字幕の音声認識精度に依存する。誤認識の可能性がある語("W up speaking" 等の断片)は本文に転記していない。 - サーベイの実施頻度・各波の正確なサンプルサイズ、インタビューの正確な人数(「40人超」以上の精度)、成熟度モデルの具体的なカテゴリ・段階の詳細は口頭説明・フレーム画像のいずれからも確認できず、不明のまま扱う。 - 質疑応答セッションの有無・内容は動画に含まれておらず不明。