# エンドユーザメトリクス ## 定義 エンドユーザメトリクスは、システム内部の状態(CPU・メモリ・ディスク等)ではなく、訪問者が実際に感じる体験を対象にした計測指標群である。『ウェブオペレーション』11章は、これを4種類に分類する。(1) **ウェブ解析**: 訪問者の利用状況を追跡し望む行動を取っているか確認する(マーケッター・マーチャンダイザ・プロダクトマネージャが使用)。(2) **ウェブパフォーマンス**: サイトの健康状態を外部から計測する(IT オペレータ・サービスレベル責任者が使用)。(3) **ウェブインタラクション解析(WIA)**: 訪問者がどのようにサイトとやり取りしているかを追跡する(ユーザインタフェイスデザイナ・QA チームが使用)。(4) **顧客の声(VOC)**: 調査・属性データ・フィードバックで訪問者の満足度を測る(カスタマサポート・プロダクトマネージャが使用)。ウェブオペレータはパフォーマンス(可用性・遅延)には責任を持って取り組み、他の3種は支援する立場を取る。根拠は、監視ツール自体の保守協力を求められること、パフォーマンスとビジネス影響を結び付けるには解析データが要ること、メトリクスが問題発見の手がかりになることの3点である。(Source: [[@2011__OReillyJapan__ウェブオペレーション - Chapter 11 訪問者の気持ち：ユーザ対面メトリクス]] 冒頭, §11.1) エンドユーザメトリクスに突発的な問題が起きれば、それはインフラに何らかの問題があるという兆候だとされる。つまりインフラの健康状態とユーザエクスペリエンスは別のシグナルだが、両者は無関係ではなく、片方の異常が他方の異常の手がかりになる。(Source: ch.11 冒頭) ## 横断的知見 - **エンドユーザメトリクス(4種類)とインフラ・アプリケーションメトリクス(3層)は「誰が何を見るか」という切り口が異なる直交した分類である**: 3章([[@2011__OReillyJapan__ウェブオペレーション - Chapter 3 インフラとアプリケーションのメトリクス]])はメトリクスをビジネス(日次)・アプリケーション機能(イベント単位)・システム/サービス(15〜60秒間隔)という**収集タイミングと保存先**で3層に分類するのに対し、11章はウェブ解析・ウェブパフォーマンス・WIA・VOCという**誰が何の目的で使うか**で4種類に分類する。両者は同じ「メトリクス」という対象を別の軸で切り出しており、例えば11章の「ウェブパフォーマンス」は3章の「システム/サービスのメトリクス」の外部計測版(統合監視・RUM)にほぼ対応し、11章の「ウェブ解析」は3章の「ビジネスメトリクス」(日次バッチ集計されるユーザ行動データ)とほぼ重なる。3章がインフラ側からの視点(何が起きているか)、11章がユーザ側からの視点(何を感じているか)という相補的な立場を取ることで、同じ現象(サイトの遅延)を異なる責任者(オペレータ対マーケッター等)がそれぞれの指標で捉える構図が浮かび上がる。ただし3章はこの4分類に明示的に言及しておらず、対応関係は本ページによる推論である。(Source: [[@2011__OReillyJapan__ウェブオペレーション - Chapter 3 インフラとアプリケーションのメトリクス]] §3.3, [[@2011__OReillyJapan__ウェブオペレーション - Chapter 11 訪問者の気持ち：ユーザ対面メトリクス]] 冒頭, §11.1) - **両章とも「メトリクスをビジネス成果に結び付ける」ことの難しさを独立に指摘するが、示す処方箋は異なる**: 3章はメトリクス収集と監視(アラート)を分離しツールを使い分けることを処方箋とするのに対し、11章はパフォーマンスと解析(ビジネス成果)を同一グラフに時系列で重ねる素朴な方法の限界(平均値依存・交絡要因・計測対象のズレ)を指摘したうえで、RUM ログと解析ログをユニークキー(クッキー・ユーザ名)で個別訪問者単位に突き合わせるという、より精緻な処方箋を示す。3章の「アラートの分離」が運用側の設計論であるのに対し、11章の「ユニークキーでの突き合わせ」はデータ分析側の設計論であり、両者はメトリクスとビジネスの結び付けという同じ課題への異なる解像度からのアプローチとして補完関係にある。(Source: [[@2011__OReillyJapan__ウェブオペレーション - Chapter 3 インフラとアプリケーションのメトリクス]] §3.7, [[@2011__OReillyJapan__ウェブオペレーション - Chapter 11 訪問者の気持ち：ユーザ対面メトリクス]] §11.5.4-11.5.5) - **18章の「ご意見」フォームは、11章の4分類における顧客の声(VOC)の実例でありながら、11章が想定する受け手の範囲を超えて宛先を広げている**: 11章はVOCを「調査・属性データ・フィードバックで訪問者の満足度を測る」ものとし、使う人を「カスタマサポート・プロダクトマネージャ」に限定する。これに対し18章([[Cookpad|クックパッド]])の「ご意見」フォームは、サービス内に設置されたテキスト形式のフィードバック窓口という点でVOCそのものだが、投稿内容は「クックパッドの全スタッフ」へ送信され、インフラエンジニア自身が「遅いです。なんとかしてください」「最近速いですね」という声を直接受け取る。11章の分類では、ウェブパフォーマンス(遅延・可用性)の計測はIT オペレータの担当領域、VOCはカスタマサポート/プロダクトマネージャの担当領域として切り分けられているが、18章の運用はこの境界を実務レベルで融合させ、VOCのテキストデータがそのままインフラエンジニアのパフォーマンス改善へのフィードバックループ(モチベーションの原動力)として機能する例を示す。定量的なApdex・RUMのような計測技術と異なり、この経路は定性的な自然言語フィードバックが直接オペレータに届くという点で、11章が明示していない「VOCとウェブパフォーマンスの直接的な接続」の実例といえる。(Source: [[@2011__OReillyJapan__ウェブオペレーション - Chapter 11 訪問者の気持ち：ユーザ対面メトリクス]] 冒頭, §11.1, [[@2011__OReillyJapan__ウェブオペレーション - Chapter 18 日本の料理のインフラ]] §18冒頭) ## 未解決の問い - 11章の4分類(ウェブ解析・ウェブパフォーマンス・WIA・VOC)と、Google SRE の Four Golden Signals(レイテンシ・トラフィック・エラー・サチュレーション)や [[ビジネスモニタリング]] の5ゴールデンエレメント(総数・成功数・成功率・応答時間・失敗数)はどう対応するか。いずれも「システム内部でなく利用者側の成果指標」という点で共通するが、粒度と対象(訪問者個人 vs ビジネストランザクション)が異なる。 - 3章と11章の4分類/3層マッピングは本ページの推論であり、原著者(マット・マッシー/ジョン・オルスポー、アリステア・クロール/シーン・パワー)による明示的な対応付けではない。書籍横断の編集方針としてこの対応が意図されていたのか、それとも独立した執筆なのかは、原本からは確認できない。 - [[メトリクス削減]] が扱う大規模システムでのメトリクス選定(Sieve 等)は、エンドユーザメトリクスの4分類のような「目的別分類」を削減の単位として使えるか、それともメトリクス個々の統計的性質(分散等)のみで削減すべきか。 - 18章の「ご意見」フォームのような全スタッフ宛のVOCチャネルは、組織規模が大きくなっても機能するか。18章自身が§18.7で述べるとおり、クックパッドの情報共有はエンジニア数の少なさに支えられている面があり、VOCが全員に届く仕組みも同様にスケールの制約を受ける可能性がある。組織規模とVOCチャネルの直接性(誰に届くか)の関係を扱った文献は本wikiにまだない。 ## 関連 - 概念: [[統合監視]] / [[リアルユーザモニタリング]] / [[Apdex]](ウェブパフォーマンスの計測技法) / [[メトリクス削減]] / [[ビジネスモニタリング]](ビジネス層メトリクスとの対比) / [[ユーザー中心オブザーバビリティ]](検知起点をユーザー指標に置く後年の設計思想) - ソース: [[@2011__OReillyJapan__ウェブオペレーション - Chapter 11 訪問者の気持ち：ユーザ対面メトリクス]] / [[@2011__OReillyJapan__ウェブオペレーション - Chapter 3 インフラとアプリケーションのメトリクス]] / [[@2011__OReillyJapan__ウェブオペレーション - Chapter 18 日本の料理のインフラ]](VOCがインフラエンジニアに直接届く実例) - エンティティ: [[Alistair Croll]] / [[Sean Power]] / [[Matthew L. Massie]] / [[John Allspaw]] / [[Cookpad]] ## 出典 - アリステア・クロール、シーン・パワー, 「11章 訪問者の気持ち：ユーザ対面メトリクス」, 『ウェブオペレーション ―サイト運用管理の実践テクニック』, オライリー・ジャパン, 2011, 冒頭, §11.1, §11.5.4-11.5.5. - マット・マッシー、ジョン・オルスポー, 「3章 インフラとアプリケーションのメトリクス」, 同書, §3.3, §3.7. - 濱崎 健吾, 「18章 日本の料理のインフラ」, 同書, §18冒頭(「ご意見」フォームの実例)。