# 誤報率と検知率のトレードオフ ## 定義 閾値に基づく検知システムでは、検知感度を上げるほど真の脅威を捉える確率(検知率)が上がる一方、誤報(偽陽性)も増える。逆に閾値を上げて誤報を減らせば見逃し(偽陰性)が増える。この感度と誤報率の間の相互制約は信号検出理論で receiver operating characteristic(ROC)と呼ばれ、警報システム・レーダー・侵入検知システムなど閾値ベースの検知全般に現れる構造的な問題である。対象物に近いセンサほど環境を制御しやすく誤報率を下げられるが、侵入者を遅延させ対応部隊到着まで持ちこたえる役割を持つ外周のセンサほどこの制御が効きにくく、皮肉にも最も頼りたい層が最も信頼できない層になる(Source: ch.13 §13.3.2, §13.3.5)。 ## 横断的知見 - **物理警報の誤報閾値と IT 運用のアラート疲労は、同一の応答劣化機構が異なる基質(警備員/オンコール担当者)に現れた同型の現象である**: 本書 ch.13 は「電子戦の経験では誤報率が約15%を超えるとレーダー操作員の性能が劣化する」「多くの警察は年間3〜5件の誤報で出動停止方針を取る」「TSA の手荷物検査テストでは1シフトに複数回テストすれば脅威の約20%しかすり抜けないが、1回しかテストしないと60〜75%がすり抜ける」という定量的な劣化の閾値を示す(Source: ch.13 §13.3.2, §13.3.5)。これは [[アラート疲労]] concept に蓄積された IT 運用の観察(大量の低品質アラートへの反復曝露でオペレータの応答性が低下する)と構造的に同一であり、[[@2016__SREcon16__Less Alarming Alerts|Treat SREcon16]] が医療 ICU・車の警報・虚偽緊急通報とともに航空管制の偽警報研究を並べて「IT 運用固有ではない汎用的な注意劣化」と位置づけたのと同じ主張を、本書は物理警報の実務データで裏付ける。両ソースを合わせると、この劣化機構が IT・航空・物理警備という異なる基質を横断して観察される、閾値検知システム一般の構造的性質であることが確認できる。(Source: ch.13 §13.3.2, [[@2016__SREcon16__Less Alarming Alerts]]) - **本書が示す「意図的に誤報を誘発する攻撃者」という角度は、既存の IT アラート疲労文献にはほぼ現れない対抗的(adversarial)な次元を追加する**: [[アラート疲労]] concept に蓄積された事例(Zynga・Baidu・GREE 等)はいずれも設定不備・環境変動・移行期のしきい値不整合など**偶発的**なノイズ過多を扱う。一方 ch.13 の「絵画泥棒(3)」は、Bruno が嵐の夜に警報をわざと作動させて証拠を残さず身を隠し、警備員の反応が鈍った頃合いを見て侵入する、という**意図的な**誤報誘発を描く。これは警報応答網に対する能動的なサービス拒否攻撃であり、IT 運用で言えば「攻撃者が実際の侵害の前に意図的にアラートを大量発生させて SRE のオンコール応答を疲弊させる」手口に相当するが、この対抗的な誤報誘発パターンは現時点で [[アラート疲労]] の蓄積ソース群には見当たらない。(Source: ch.13 §13.3.2) - **ch.13 の「検知の3層(近接センサ/外周センサ)」と ch.16 の「検査の3層(一次/二次/三次)」は、同じ本の異なる章でありながら独立した観察として、閾値ベースの検知・検査能力が層ごとに非対称であるという同型の構造を示す**: ch.13 は対象物に近いセンサほど環境を制御しやすく誤報率を下げられる一方、外周センサほど制御が効かず信頼性が下がると述べる(Source: ch.13 §13.3.2, §13.3.5)。ch.16 は偽造文書・封印の検査を一次(無訓練の一般人)・二次(訓練された現場担当者、携帯機材)・三次(発行者の研究所、本格設備)に分け、一次検査の突破は容易、三次検査の突破はほぼ不可能で、実務上の攻防が二次検査に集約されると述べる(Source: ch.16 §16.3.1)。さらに ch.16 は Sonia Trujillo の実験(2006年、改竄検知の専門家71名が食品・医薬品パッケージの改竄有無をランダム同然にしか見分けられなかった)を報告しており、これは ch.13 の「レーダー操作員の性能が誤報率15%超で劣化する」という定量的知見と同様に、**訓練された人間の検知能力そのものに構造的な上限がある**ことを異なる応用領域(物理警報 対 文書・パッケージ検査)で裏付ける。両章を合わせると、閾値検知・検査システムには「対象への近さ・検査の専門性」に応じた層構造があり、どの層でも人間の検知能力が構造的なボトルネックになるという知見が、書籍内の独立した2章から収束的に得られる。(Source: ch.13 §13.3.2, ch.16 §16.3.1, §16.5.6) - **ch.17(生体認証)は、同じROCトレードオフが人間の身体的・行動的特徴に基づく検知系にも及ぶことを示す、書籍内3例目の独立した実例である**: ch.13は物理警報(近接センサ/外周センサ)、ch.16は封印・偽造防止印刷の検査(一次/二次/三次)という文脈でROCトレードオフを描いたのに対し、ch.17は生体認証(指紋・虹彩・顔・声)という第三の全く異なる技術系列で同じ構造を報告する。生体認証文献はこのトレードオフを「詐欺率(fraud rate)/侮辱率(insult rate)」(銀行業界の呼称)または「type 1 error / type 2 error」(生体認証文献の呼称)と呼び、equal error rate(等誤り率)という共通の要約統計量を用いる点でch.13・ch.16のレーダー操作員・鑑定人の枠組みと完全に対応する。さらにch.17は「10,000件の生体データベースで false-accept rate が100万分の1でも、登録者数が1,000人を超えると誤マッチの確率が50%を超える」という誕生日のパラドックスに基づく定量的知見を追加しており、これは1対多の識別(identification)が1対1の認証(verification)よりはるかに難しいという、ch.13・ch.16にはなかった次元の観察である。(Source: ch.13 §13.3.2, §13.3.5; ch.16 §16.3.1, §16.5.6; ch.17 §17.2, §17.8) - **「無謬性の思い込みが慢心を生み、失敗を悪化させる」という教訓は、ch.13(警報)・ch.16(封印)に続き、ch.17(指紋鑑識)でも独立に確認される**: ch.17は英国の指紋鑑識が「16点一致は無謬」という前提のもとでほぼ1世紀運用され、McKie事件でこの前提が崩れた後も、警察組織が鑑定人4名を偽証罪で起訴してまで無謬性の体面を守ろうとしたと報告する。これは同concept が蓄積してきた「無謬だと信じられた機構ほど、失敗時の代償が大きくなる」という構造的パターンの3例目の実例であり、物理的検知(警報・封印)だけでなく、人間の専門的判断を伴うフォレンジック認証にも同型の慢心が生じることを示す。(Source: ch.17 §17.4.2) ## 未解決の問い - IT・SRE の現場で、攻撃者が実際の侵害に先立って意図的にアラート/ページングシステムを飽和させ、オンコール担当者を疲弊させてから本命の攻撃を仕掛けた事例(ch.13 の Bruno の手口の情報セキュリティ版)は報告されているか。 - レーダー操作員の「誤報率15%で性能劣化」に相当する、IT運用のオンコール担当者向けの定量的な劣化閾値(応答時間・見逃し率が有意に悪化する誤報率の水準)は測定されているか。 - 対象物との距離が近いほど誤報率を下げやすいという ch.13 の観察は、IT運用における「監視対象への近さ(シンボリック監視 vs ユーザー体験監視)と誤報率の関係」に類推できるか。[[アラート疲労]] の「単一ユーザー体験 SLI への集約」事例(Hidalgo)との対応関係を検証する価値がある。 - ch.16 の一次/二次/三次検査という3層モデルは、IT分野の多層防御(perimeter/host/application)や、アラート・エスカレーションの階層(一次対応/二次対応/専門チーム)と構造的に対応づけられるか。対応するなら、各層で許容される誤報率・見逃し率の設計指針を統一的に立てられる可能性がある。 - Sonia Trujillo の実験(2006)に相当する、IT運用のオンコール担当者やSREが実際の障害兆候とノイズを見分ける能力を定量的に測定した実証研究(ランダムとの有意差検定を含む)は存在するか。 - ch.17 の「識別(1対多)は認証(1対1)よりはるかに難しい」という誕生日のパラドックスに基づく知見は、IT運用のアラート相関・重複排除(多数のシグナルから単一の根本原因を1つだけ特定する識別問題)にも定量的に類推できるか。母数(監視対象の数)が増えるほど偶発的な誤相関が急増するという構造は、[[アラート疲労]] の知見と接続できる可能性がある。 - ch.13(警報)・ch.16(封印)・ch.17(生体認証)という3つの独立した物理的検知領域すべてで「無謬性の思い込みが慢心と失敗の悪化を招く」という同型のパターンが確認されたが、この構造はIT運用の「フェイルセーフだと信じられた自動復旧システム」にも一般化できるか、それとも人間の専門的判断が介在する場合に固有のパターンか。 ## 関連 - [[アラート疲労]] — IT 運用側で蓄積された同型現象。本 concept はその一般形(信号検出理論としてのROC)と、物理警備・電子戦分野での定量的な閾値データを提供する。 - [[封印と偽造防止印刷]] — 検査を一次/二次/三次に層化する枠組みを提供する隣接 concept。人間の検知能力が層ごとに構造的なボトルネックになるという点で本 concept と収束する。 - [[生体認証]] — ROCトレードオフの3例目の実例(指紋・虹彩・顔・声)。詐欺率/侮辱率・等誤り率という同型の統計量と、識別・認証の非対称性という新しい次元を提供する。 - [[@2020__Wiley__Security Engineering 3e - Chapter 13 Locks and Alarms]] — 本concept の初出ソース - [[@2020__Wiley__Security Engineering 3e - Chapter 16 Security Printing and Seals]] — 検査の3層モデルと Sonia Trujillo 実験の出典 - [[@2020__Wiley__Security Engineering 3e - Chapter 17 Biometrics]] — 生体認証における詐欺率/侮辱率・等誤り率・無謬性の思い込みの出典 ## 出典 - Ross Anderson, *Security Engineering: A Guide to Building Dependable Distributed Systems*, 3rd Edition, John Wiley & Sons, 2020, Chapter 13, §13.3.2, §13.3.5; Chapter 16, §16.3.1, §16.5.6; Chapter 17, §17.2, §17.4.2, §17.8.