# 時間的映像グラウンディング Navigation: [[index]] | [[concepts/_index|concepts]] ## 定義 時間的映像グラウンディング(TVG: Temporal Video Grounding)は、自然言語クエリ q と映像 V を入力として、クエリが指す映像区間 [ts, te] を予測するタスクだ。長尺映像理解の中核であり、編集支援・監視映像解析・スポーツハイライト抽出・行動検出など多くの応用を持つ (Source: [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]])。手法は三世代に大別される: (1) 特徴量ベース(CLIP・I3D 等のエンコーダ + グラウンディングモジュール)、(2) LVLM の教師あり微調整(SFT)、(3) LVLM の RLVR 後訓練。 ## 横断的知見 - **SFT の偽陰性過剰ペナルティが TVG 固有の壁になる**。Time-R1 は予測 [1.9s, 3.9s] vs 正解 [2s, 4s] のような「ほぼ正解」のケースで自己回帰損失が高くなる構造を、SFT-LVLM が事前学習データを 100 倍以上持ちながら 9M パラメータの特徴量ベースモデルに劣る原因と特定した。RL で IoU を直接最適化することで本質的に解消できる (Source: [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]])。 - **RLVR が SFT を圧倒的なデータ効率で上回る**。Time-R1 は 2.5K サンプルで 339K サンプル(136 倍)の SFT-LoRA を超え、独自ベンチマーク TVGBench(800 件・11 クエリカテゴリ)で [email protected]=41.8 を達成し Gemini-2.5-Pro(39.1)を上回った。詳細は [[検証可能報酬による強化学習]] を参照 (Source: [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]])。 - **タイムスタンプ偏差ペナルティ付き IoU 報酬(tIoU)が学習信号として強い**。Time-R1 は単純な IoU 報酬では境界精度が伸びないことに気づき、境界の絶対偏差にペナルティを加える tIoU 報酬を設計した。 - **TVG 特化が一般的映像理解を犠牲にしない**。Time-R1 は VideoMME を 53.0 → 54.2 に改善しており、TVG への RLVR 後訓練が映像 QA 能力にも正の転移を与える。 ## 未解決の問い - 超長尺映像(hour-level)では報酬信号が希薄になる(正解区間が映像全体の数 % 以下)問題への対処は確立していない。階層的グラウンディング・カリキュラム学習が候補。 - TVGBench は 800 件・11 カテゴリで小規模だが、より大規模で多様なクエリ分布(否定形・複数イベントの順序関係・時間関係詞)で同じ RLVR の優位が成立するか未検証。 - 特徴量ベース、SFT、RLVR の三世代間のハイブリッド(例: 特徴量プリプロセスして LVLM に入力)が更なる性能を引き出すか。 - TVG の RLVR で得られた知見(tIoU・コールドスタート CoT・TimeRFT 動的ハードサンプリング)は時間軸を持つ他のタスク(音声・センサ系列・テキストの時間定位)に転移するか。 ## 関連 - 上位概念: [[ビジョン言語モデル]] - 接続: [[検証可能報酬による強化学習]](Time-R1 の核技術)・[[時系列推論]](時間軸の構造的扱いという共通課題) - 関連 entity: [[Qin Jin]]・[[Renmin University of China]]・[[MiLM Plus]] - MOC: [[structures/000 Index]] ## 出典 - [[@2025__NeurIPS__Time-R1 - Post-Training Large Vision Language Model for Temporal Video Grounding]] — TVG の三世代分類、tIoU 報酬、TVGBench、Time-R1 と TimeRFT