# LLMインシデント要約 ## 定義 LLMインシデント要約とは、セキュリティインシデント対応の最終段階――脅威指標・調査履歴・影響範囲といった調査詳細を、利害関係者・監査人・法務専門家向けに簡潔な文章へまとめる作業――にLLMを用いることを指す。[[@2025__SOUPS__Integrating Large Language Models into Security Incident Response]](SOUPS 2025)は、この作業を「LLMによる完全自動化」と「LLMと人間の協働(AI支援)」の2シナリオに分けて評価し、両者で成果が大きく異なることを実証した概念である。 ## 完全性・事実性・簡潔性・可読性の4軸評価枠組み 同論文は、セキュリティアナリストがAI要約と人間要約のどちらを好むかを比較する際に、選好理由を4つの軸に整理した。 - **完全性(completeness)**: 重要な詳細(修復手順・影響範囲等)を欠いていないか。 - **事実性(factuality)**: 事実誤認や「幻覚」を含んでいないか。 - **簡潔性(concision)**: 不必要な冗長さ("fluff")がないか。 - **可読性(readability)**: 読みやすく整理されているか。 211件の比較のうち、AI単独要約は完全性で35%、事実性で42%の頻度で問題を指摘され、人間要約(61%選好)に劣後する主因となった。一方、簡潔性・可読性ではAI要約が優位との指摘もあり(それぞれ11%・14%)、軸によって強み・弱みが異なることが分かる。(Source: [[@2025__SOUPS__Integrating Large Language Models into Security Incident Response]]) ## 横断的知見 - **自律要約と協働要約は成果が正反対に近い**: 同一のGemini 1.5 Flashと同一プロンプトを使っても、LLM単独の要約は人間要約に61%対39%で劣後する一方、人間がLLM出力を編集する協働要約は人間単独の要約に77%対11%で優位に立つ。単一の実装(モデル・プロンプト)であっても、人間をループに含めるかどうかで評価結果が逆転する点は、[[インシデントレスポンスAIレベル]]が論じる自律度(IR2: 判断支援・提案 vs IR3: 実行・監視責任もAI)の移行が単なる技術力の問題ではなく、事実性というボトルネック一つに強く依存することを裏付ける。(Source: [[@2025__SOUPS__Integrating Large Language Models into Security Incident Response]], [[インシデントレスポンスAIレベル]]) - **要約作成者本人の評価と第三者評価に乖離がある**: 要約を実際に編集した参加者自身は、AI支援が品質を高めるかどうかで意見が割れた(13名中、AI高評価5名・従来高評価5名・差なし3名)。一方、編集済みのAI支援要約と人間要約を独立に比較した第三者評価者は、AI支援要約を77%のケースで高品質と判定した。作成者自身は事実誤認のリスクを実態より過大評価している可能性がある。(Source: [[@2025__SOUPS__Integrating Large Language Models into Security Incident Response]]) - **ナラティブ品質を重視する既存のIR執筆規範と、LLM評価軸は補完関係にある**: [[インシデントレポート執筆]]がまとめる「テンプレート型 vs ナラティブ型」の対比軸(構造・読者性・学習の深さ)は、本論文の4軸(完全性・事実性・簡潔性・可読性)のうち特に完全性と可読性に対応する。ただし、LLM生成物特有の課題である事実性(42%の事実誤認)は、人間が書くナラティブ型IRでは比較的稀な問題(4%)であり、LLM導入時にIR品質管理へ新たに追加すべき検証観点であることを示す。(Source: [[@2025__SOUPS__Integrating Large Language Models into Security Incident Response]], [[インシデントレポート執筆]]) ## 未解決の問い - Gemini 1.5 Flash以外の、より新しい・より大規模なモデル(Gemini 2.0/2.5等)や、ファインチューニング・RAGを組み合わせた場合、完全性・事実性のギャップはどこまで縮小するか。 - 事実性の問題(42%)を、要約生成前の chain-of-thought 推論や自己検証(self-critique)によってどこまで削減できるか。同論文が言及するFACTS groundingやRAGは、本当に有効か実証されているか。 - 要約作成者本人が事実誤認リスクを過大評価する傾向があるとすれば、この認知バイアスは他のLLM協働作業(コードレビュー・インシデント対応の他段階等)にも一般化するか。 - 本論文はGoogle社内・5カテゴリの実インシデントに限定された実験である。他組織・他カテゴリのセキュリティインシデントでも同様の完全性/事実性トレードオフが成立するか。 ## 関連 - [[インシデントレポート執筆]] — ナラティブ品質・読者支援という人間執筆の規範との対比 - [[インシデントレスポンスAIレベル]] — 自律度(IR2/IR3)の移行における「AIに任せられる安全な操作」問題との接続 - [[インシデント管理]] — 要約作業が属する上位プロセス - `[[structures/AIOps - Fault Localization - MOC]]` — 関連 MOC ## 出典 - [[@2025__SOUPS__Integrating Large Language Models into Security Incident Response]] — 本概念の実証的基盤(18名のセキュリティアナリスト・50件の実インシデント)