# タスクベクトル（Task Vectors） Ilharco et al. (ICLR 2023) が提案した、ファインチューニングの成果をパラメータ差分ベクトルとして表現・操作する手法。ファインチューニング後のパラメータから事前学習済みパラメータを引いた差分 τ = θ_ft − θ_0 を「タスクベクトル」と呼ぶ。 ## 核心的な考え方 モデルパラメータ空間において、ファインチューニングは「ベースとなるパラメータ点からタスク方向へのベクトル移動」として解釈できる。この差分ベクトルを直接操作することでタスク能力を転移・削除・合成できる。 Word2Vec の単語類推（king − man + woman = queen）と同様の幾何構造がモデルパラメータ空間に存在する。 ## 操作の種類 | 操作 | 数式 | 効果 | |-----|------|------| | タスク追加 | θ_0 + τ | ベースモデルにタスク能力を注入 | | タスク削除（アンラーニング） | θ_0 − τ | ベースモデルからタスク能力を除去 | | マルチタスク合成 | θ_0 + τ_A + τ_B | タスク A と B を同時に解くモデル | | 類推演算 | θ_0 + τ_A − α_A + α_B | ドメイン A → B への能力転移 | ## NTK 理論による説明 Ortiz-Jimenez et al. (NeurIPS 2023) は Neural Tangent Kernel (NTK) 理論でタスクベクトルを説明する。 - ファインチューニング ≈ 訓練データ集合によるパルツェン窓の追加 - タスクベクトルはそのカーネル特徴量で表現される - 複数タスクの合成がゼロショットで機能することも NTK フレームで自然に説明できる ## パーミュテーション対称性との関係 MLP のニューロン並べ替え対称性 ([[GNN同変性]] 参照) により、異なる初期化から訓練された 2 つのモデルは同じ関数をパラメータ空間の異なる対称コピーとして表現することがある。この場合タスクベクトルの加算がうまく機能しない。Git Re-Basin (Ainsworth+ ICLR 2023) がパーミュテーションを揃えてからマージする手法として提案されている。 ## 関連ページ - [[モデルパラメータ算術]] — タスクベクトルを含む広義の算術的モデル操作 - [[GNN同変性]] — パーミュテーション対称性とモデルマージ障害の文脈 ## 参照ソース - [[joisino-モデルパラメータ算術-2024]] — タスクベクトルを中心にした入門的サーベイ記事