## 定義 言語モデルのプロービングとは、モデルの内部表現(活性化ベクトル)を入力として、教師ありで対象概念(品詞・構文構造・地理座標・数値属性など)を予測する簡単な関数(プローブ)を学習し、その予測精度から内部表現に対象概念がどの程度エンコードされているかを調べる手法である。プローブの表現力はシンプルであるほど良いとされ、線形プローブが最も一般的である。(Source: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]]) 同義語である「プローブ効果(probe effect)」は計装がシステム動作に与えるオーバーヘッドを指すSRE/オブザーバビリティ文脈の別概念であり、本概念とは無関係である(該当ページ: [[プローブ効果]])。 ## 代表例 - Hewitt & Manning(2019)のStructural Probeにより、BERT/ELMoの各層で構文木情報がUUAS/DSpr.スコアとして層ごとに異なる精度でエンコードされていることが示された。 - Gurnee & Tegmark(2023)は線形プローブにより世界地図の緯度経度が言語モデル内部表現から予測可能であることを示した。 - Heinzerling & Inui(2024)は誕生年・死没年・人口・標高・緯度・経度などの数値属性がPLS(部分的最小二乗法)による2次元可視化で構造化されていることを示した。 (Source: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]]) ## 横断的知見 - プロービングは「情報が表現に含まれているか」を検証する手法だが、「その情報が実際に出力生成に使われているか」は別問題であり、後者の確認には[[活性化パッチング]]のような因果的介入が必要になる(Harding 2023)。(Source: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]]) ## 未解決の問い - プロービングで高精度が得られた対象概念のうち、実際にモデルの出力生成に使われている割合はどの程度か。 - 非線形プローブの方が高精度になる場合、それはモデルが実際に非線形にエンコードしている証拠なのか、プローブ自体が過学習して無関係な情報まで拾っているのかをどう切り分けるか。 ## 関連 - 概念: [[機構的解釈性]] / [[プラトン的表現仮説]] / [[活性化パッチング]] - ソース: [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]] ## 出典 - [[@2025__SpeakerDeck__言語モデルの内部機序：解析と解釈]] — プロービングの定義と複数の実例