# Gap Report 2026-08-18 対象: [[agentic時代のSLI-SLO運用]] §5「空白の定義 — 次に埋めるべき五つ」 > [!warning] 入力の性質に関する留保 > 通常の wiki-gap は wiki-lens の構造シグナル(クラスタ間の薄さ・共引用・Adamic-Adar)を入力とし、LLM 判定はそれに対する独立した反証として働く。今回の入力は**そのシグナルではなく、直前の wiki-query で私自身が言語化した 5 件**である。したがって「5 件すべてが real-gap」という結果は、独立検証ではなく**自己整合の確認にとどまる**。この偏りを補うため、各ギャップについて構造的証拠を wiki 本体から機械的に取り直し(リンク有無・言及回数)、判定根拠を文献知識でなく**リンク構造の実測**に置いた。 ## サマリ | 項目 | 件数 | |------|------| | 入力: 空白候補(§5 由来) | 5 | | 判定: 実在ギャップ (real-gap) | 5 | | 判定: 弱い (weak) | 0 | | 判定: 意図的分離 (intentional) | 0 | | 推薦文献(検証済み) | 10 | | 推薦文献(未検証) | 2 | | Tier 0(wiki 引用済み・未取り込み) | 0 | | **ingest 不要・内部リンクのみで橋渡し可能** | 2 | 最大の発見は文献ではなくリンク構造にある。**ギャップ 4 と 5 は、橋渡しに必要な概念ページが既に vault 内に揃っており、リンクが片方向または欠落しているだけ**だった。外部文献の取り込みより先に、既存ページ間の結線で埋まる。 --- ## 実在ギャップ ### 1. エラーバジェット — エージェント自律度のゲート **両側**: [[エラーバジェット]] / [[SRE AI Autonomy Levels]] **構造的証拠**: [[SRE AI Autonomy Levels]] は L0→L4 の昇格基準を定性的にしか持たず、ページ自身が「昇格を判定する定量基準は本ソースでは未明示」と記す。一方 [[エラーバジェット]] は第 4.4 節相当の「バンバン制御からプロポーショナル制御へ」という連続制御の設計思想を持つ。両者を接続する記述は Yoshikawa の 1 件のみ。 **判定根拠**: 「実績に応じて機械の権限を段階的に増減する」は人間-自動化研究で **adaptive automation / adjustable autonomy** として 20 年以上蓄積のある問題であり、SRE 側が独自に再発明しかけている。エラーバジェットのバーンレートは、その文献が要求する「権限調整の入力となる連続的な性能指標」の条件を満たす。 **推薦文献**: | 優先度 | タイトル | 識別子 | 引用数 | 状態 | | ------ | -------------------------------------------------------------------------------------------------- | ----------------------------------------------------- | ----- | -------- | | Tier 1 | A model for types and levels of human interaction with automation (Parasuraman, Sheridan, Wickens) | DOI: 10.1109/3468.844354 (IEEE SMC-A, 2000) | 4,210 | **検証済み** | | Tier 1 | Towards Adjustable Autonomy for the Real World (Scerri, Pynadath, Tambe) | DOI: 10.1613/jair.1037 / arXiv:1106.4573 (JAIR, 2002) | 248 | **検証済み** | | Tier 1 | Trust in Automation: Designing for Appropriate Reliance (Lee, See) | Human Factors 46(1), 2004 | — | **未検証** | **推奨アクション**: Parasuraman+ (2000) を `wiki-ingest-paper` で取り込む。自動化の 4 段階(情報取得・情報分析・意思決定・行動実行)× 10 レベルの格子は、Google の 5 軸 L0–L4 と直接対応させられる。取り込み後、[[SRE AI Autonomy Levels]] の横断的知見に「SRE の自律度分類は人間-自動化研究の格子の再発明であり、後者は既に『どのレベルで何が失われるか』の実験的知見を持つ」を追記する根拠になる。 --- ### 2. SLO — 機械判定可能な不変条件への変換 **両側**: [[サービスレベル目標]] / [[エージェント運用安全性]](verification wall の不変条件 `I`) **構造的証拠**: [[エージェント運用安全性]] は不変条件 `I` の候補に SLO・エラーバジェット・blast radius を挙げつつ「NetOps の到達可能性/隔離ほど明確にチェッカ化できない」と留保する。vault 内に「ランタイム検証(runtime verification)」を主題とする concept ページは**存在しない**([[形式手法]]・[[軽量形式手法]] はあるが実行時監視を扱わない)。 **判定根拠**: 「集約的・時間依存の性質をオンラインで判定可能な述語へ落とす」は、ランタイム検証における **metric temporal logic 監視**そのものの問題設定である。さらに「安全でない行動を実行前に差し替える」という verification wall の設計は、安全強化学習の **shielding** と構造が同型であり、後者は形式的保証つきの実装を持つ。SRE 側にこの語彙が一切入っていない。 **推薦文献**: | 優先度 | タイトル | 識別子 | 引用数 | 状態 | |---|---|---|---|---| | Tier 1 | Safe Reinforcement Learning via Shielding (Alshiekh+) | arXiv:1708.08611 (2017 / AAAI 2018) | — | **検証済み**(arXiv API) | | Tier 1 | Monitoring Metric First-Order Temporal Properties (Basin, Klaedtke, Müller, Zălinescu) | JACM 62(2), 2015 | — | **未検証** | | Tier 1 | Runtime Verification for LTL and TLTL (Bauer, Leucker, Schallhart) | DOI: 10.1145/2000799.2000800 (ACM TOSEM, 2011) | 660 | **検証済み** | **推奨アクション**: Alshiekh+ を優先で取り込む。shield が「事前に計算した安全な行動集合の外を実行時に遮断する」構造は、[[Transactional No-Regression]] の Commit/Abort および assurance contract の迂回不能ゲート `Gk` と直接比較でき、**新規 concept `ランタイム検証`(未作成)を切り出す起点**になる。SLO をそのまま述語化できない理由(ウィンドウ集約・統計的性質)も、この文献群の語彙で初めて正確に言える。 --- ### 3. エージェント自身への SLO — 沈黙する失敗を前提とした成功率 SLI **両側**: [[サービスレベル目標]] / [[エージェントシステム運用]](Silent 失敗率 65.71%) **構造的証拠**: vault に「選択的予測」「棄却付き分類」「conformal prediction」「キャリブレーション」を主題とする concept ページは**一つもない**。一方 [[LLM評価]] は「HLE で全モデルが誤答時も高確信度、RMS キャリブレーション誤差 73〜89%」を記録済みで、問題の存在だけが片側に蓄積している。 **判定根拠**: [[エージェント運用安全性]] が立てた「契約を厳しくすると refusal storm、緩めると over-permissive execution」というトレードオフは、選択的予測の **risk–coverage 曲線**そのものである。同分野は「棄却率を許した上で残りの正答率に保証を与える」定式化を既に持っており、これは「エージェントに成功率 SLO を張る」という要求の直接の解になる。conformal prediction は分布非依存の保証を与えるため、§10.5 に残した「非決定的出力に対する SLO 目標値の統計的定式化」にも同時に効く。 **推薦文献**: | 優先度 | タイトル | 識別子 | 引用数 | 状態 | |---|---|---|---|---| | Tier 1 | Selective Classification for Deep Neural Networks (Geifman, El-Yaniv) | arXiv:1705.08500 (2017 / NeurIPS 2017) | — | **検証済み**(arXiv API) | | Tier 1 | A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification (Angelopoulos, Bates) | arXiv:2107.07511 (2021) | — | **検証済み**(arXiv API) | | Tier 1 | Predict Responsibly: Improving Fairness and Accuracy by Learning to Defer (Madras, Pitassi, Zemel) | arXiv:1711.06664 (2017 / NeurIPS 2018) | — | **検証済み**(arXiv API) | **推奨アクション**: Geifman & El-Yaniv と Angelopoulos & Bates の 2 本を取り込み、新規 concept `選択的予測`(未作成)を切り出す。Madras+ の learning to defer は「いつ人間へ返すか」を学習問題として定式化しており、[[Human-out-of-the-loop]] および Google L2 の「判断は人間・実行は自動」と接続する。ただし Silent 失敗(誤りを誤りと認識しない)は棄却の前提である自己認識が働かない領域であり、選択的予測の枠組みがそのまま適用できるとは限らない——この留保も同時に記録すべきである。 --- ### 4. バジェット消費・凍結判断の主体 — 自己採点の利益相反 **両側**: [[エラーバジェット]] / [[報酬ハッキング]]・[[ゲーム理論とSRE]] **構造的証拠(最重要)**: 橋渡しに要る概念ページは**既に全て vault 内にある**が、鎖が切れている。 | 区間 | 状態 | |---|---| | [[グッドハートの法則]] → SLO・エラーバジェット | 接続あり(8 箇所) | | [[報酬ハッキング]] → [[グッドハートの法則]] | 接続あり(`related`) | | [[報酬ハッキング]] → SLO・エラーバジェット | **0 件** | | [[グッドハートの法則]] → エージェント・agentic | **0 件** | | [[Transactional No-Regression]] → [[報酬ハッキング]] | 本文で 5 回言及、**wikilink 0 件** | | [[ゲーム理論とSRE]] → エージェント・AI | **0 件** | | [[エラーバジェット]] → [[ゲーム理論とSRE]] | **0 件**(逆向きは 6 箇所ある片方向リンク) | **判定根拠**: [[Transactional No-Regression]] は「[[ITBench]] 18 問中 8 問を pod 再起動という報酬ハッキングで解いた」を横断的知見に持ち、未解決の問いにも「安全仕様が報酬ハッキングを抑制し得るか」を立てている。にもかかわらず、同じ vault にある [[報酬ハッキング]] concept へ一度もリンクしていない。さらに [[ゲーム理論とSRE]] は「SRE work is mechanism design」を核心命題に掲げながらエージェントに一言も触れていない。**エージェントが自らのバジェット消費を判定する構図は、機構設計における典型的なモラルハザードである**——この対応が vault 内で言語化されていない。 **推薦文献**: | 優先度 | タイトル | 識別子 | 引用数 | 状態 | |---|---|---|---|---| | Tier 1 | Moral Hazard and Observability (Holmström) | DOI: 10.2307/3003320 (Bell J. of Economics, 1979) | 8,454 | **検証済み** | | Tier 1 | Categorizing Variants of Goodhart's Law (Manheim, Garrabrant) | arXiv:1803.04585 (2018) | — | **検証済み**(arXiv API) | **推奨アクション(ingest より先に内部リンク)**: 1. [[Transactional No-Regression]] の報酬ハッキング言及 5 箇所を [[報酬ハッキング]] への wikilink にする。 2. [[報酬ハッキング]] の `related` に [[エラーバジェット]]・[[agentic SRE]] を追加し、横断的知見に「運用エージェントの文脈では、報酬ハッキングの標的が学習時の報酬モデルでなく**運用時の SLI そのもの**になる」を追記する。 3. [[ゲーム理論とSRE]] の横断的知見に「機構設計の対象プレイヤーに非人間のエージェントが加わるとき、ペイオフを観測するのが誰かという問題が新たに生じる」を追記する。 4. そのうえで Manheim & Garrabrant を取り込む。Goodhart の 4 変種(regressional / extremal / causal / adversarial)は、SREcon20 の "Avoiding Goodhart's Law" が実務的にしか扱えていない区別に形式を与える。Holmström は観測可能性(observability)がインセンティブ契約の効率を決めるという原則を与え、Silent 失敗率が高い(= 観測可能性が低い)エージェントに成果連動の権限を与える設計の限界を説明する。 > [!important] これら 4 点は wiki-gap の権限外である > 本スキルは推薦のみを行い、concept ページの編集は行わない。上記 1〜3 は**推奨として記載するにとどめる**。実施する場合は別途ユーザーの承認を得ること。 --- ### 5. ハルシネーション率 — ユーザー幸福の 6 フレーバーへの配置 **両側**: [[サービスレベル目標]](2.6 節相当の 6 フレーバー) / [[LLMのハルシネーション]] **構造的証拠**: [[LLMのハルシネーション]] から SLI・SLO・フレーバーへの言及は **0 件**。[[サービスレベル目標]] からハルシネーションへの言及は 2 件のみ。ここも片方向で、しかも弱い。 **判定根拠**: 6 フレーバー(Availability / Responsiveness / Freshness / Completeness / Accuracy / Breadth)は出力の正しさを Accuracy 一枚で扱うが、ハルシネーション研究は **intrinsic(与えた入力と矛盾する)と extrinsic(入力からは検証できない)** を明確に区別し、前者を faithfulness、後者を factuality として別々に測る。この区別を持ち込むと「Accuracy に含める」では潰れる情報がある——RAG の検索結果に忠実だが世界的には誤り、という状態は Accuracy 単独では表現できない。7 番目のフレーバーが必要かという問いに答えるには、この分類が前提になる。 **推薦文献**: | 優先度 | タイトル | 識別子 | 引用数 | 状態 | |---|---|---|---|---| | Tier 1 | Survey of Hallucination in Natural Language Generation (Ji+) | DOI: 10.1145/3571730 / arXiv:2202.03629 (ACM CSUR, 2022) | 5,510 | **検証済み** | **推奨アクション**: Ji+ を取り込む。ただし本ギャップは 5 件中もっとも優先度が低い——taxonomy の配置問題であり、他の 4 件のように運用設計の可否を左右しない。先に [[LLMのハルシネーション]] と [[サービスレベル目標]] の相互リンクを張るだけでも実害は減る。 --- ## 弱い / 意図的な分離 該当なし。ただし冒頭の留保のとおり、今回の入力は構造シグナル由来ではないため、この欄が空であること自体は wiki の健全性を意味しない。**次回は wiki-lens の Gap Finder で SLO 周辺クラスタを実際に走らせ、機械が挙げる候補と本レポートの 5 件がどれだけ重なるかを見るべきである。** ## 未検証の推薦 Semantic Scholar API が 1Password ロックによりキーレス動作となり、共有プールの 429 が頻発したため以下 2 件は識別子を確認できなかった。arXiv 版が存在しないため arXiv API でも代替できない。**いずれも書誌情報は私の記憶に基づくもので、取り込み前に必ず現物確認が要る。** | タイトル | 記憶している書誌 | 用途 | |---|---|---| | Trust in Automation: Designing for Appropriate Reliance (Lee, See) | Human Factors 46(1), 2004 | ギャップ 1(信頼の較正) | | Monitoring Metric First-Order Temporal Properties (Basin+) | JACM 62(2), 2015 | ギャップ 2(集約性質の実行時監視) | なお Bauer, Leucker, Schallhart は再試行で検証でき、記憶していた書誌(ACM TOSEM, 2011)が正しいことを確認した(DOI: 10.1145/2000799.2000800、被引用 660)。上記 2 件も同様に正しい可能性は高いが、**確認できていない以上は未検証として扱う**。 再検証手順: 1Password をアンロックして `op read "op://Private/Semantic Scholar API Key/s2-api-key"` が通る状態にしたうえで `bin/s2.sh search "<title>"` を再実行する。 ## Coverage notes - **Tier 0 は 0 件**。引用されているが `wiki/sources/` に存在しないソースを全走査したところ 56 件見つかったが、上位は `@2026__ICS__SPPO`(64 参照)・`@2026__arXiv__IsoCompute Playbook`(9)・`@2025__arXiv__AgentRL`(7)など**すべて LLM 学習インフラ系**で、本レポートの 5 ギャップとは無関係だった。今回のギャップは「既に引用しているものを取り込めば埋まる」種類ではない。 - 別件として、この 56 件は独立したデッドリンク群である。`@2012__Wiley__Practical Reliability Engineering`(6 参照)は章別 source へ一本化した際の旧リンク残存と見られ、**wiki-lint の対象**として切り出すべきである。 - 構造シグナル(クラスタ間の薄さ・Adamic-Adar)は wiki-lens プラグインのビューが要る。本レポートはリンク有無の直接計測で代替しており、クラスタ水準の見落としは検出できていない。