# Forge (5G Instruct Forge) Ait Said らが提案した5G運用保守(O&M)特化のデータエンジニアリングパイプライン(原論文: "5G INSTRUCT Forge: An Advanced Data Engineering Pipeline for Making LLMs Learn 5G", IEEE Transactions on Cognitive Communications and Networking, 2025)。3GPP 仕様を専門家レベルの5G O&M 質問に変換する。Eagle 論文([[@2026__FSE Companion__Eagle - Leveraging Operations Documents for Comprehensive Benchmark Question Generation]]、FSE Companion '26)が比較ベースラインとして採用。(Source: [[@2026__FSE Companion__Eagle - Leveraging Operations Documents for Comprehensive Benchmark Question Generation]]) Eagle のケース分析(Figure 9)では、短答式でモデルの記憶・知識想起能力を評価する方向に偏り、ベクトル化・類似度ベース検索メカニズムへの依存からモデル自身が答えられない質問を生成することがある点が指摘された。Eagle は UNIX/Redis/Zabbix の3データセットいずれでも合計ルーブリックスコア・勝率の両方で Forge を大差で上回った(Table 4)。 ## 関連 - ソース: [[@2026__FSE Companion__Eagle - Leveraging Operations Documents for Comprehensive Benchmark Question Generation]] - 比較対象: [[Eagle (OpsLLMベンチマーク)]] / [[Bonito]] - 概念: [[LLM評価]]