# Bonito Nayak らが提案した QA 生成フレームワーク(原論文: "Learning to Generate Instruction Tuning Datasets for Zero-Shot Task Adaptation", Findings of ACL 2024)。メタプロンプトを用い、ラベルなし技術文書から yes/no・抽出的・含意など多様な質問スタイルを合成する。Eagle 論文([[@2026__FSE Companion__Eagle - Leveraging Operations Documents for Comprehensive Benchmark Question Generation]]、FSE Companion '26)が比較ベースラインとして採用。(Source: [[@2026__FSE Companion__Eagle - Leveraging Operations Documents for Comprehensive Benchmark Question Generation]]) Eagle のケース分析(Figure 8)では、真偽判定・汎用質問生成・穴埋め形式など単純な質問を主に生成し、Ops 文脈との関連性が低い質問や無関係な質問が多く含まれることが示された。Eagle は UNIX/Redis/Zabbix の3データセットいずれでも合計ルーブリックスコア・勝率の両方で Bonito を大差で上回った(Table 4)。 ## 関連 - ソース: [[@2026__FSE Companion__Eagle - Leveraging Operations Documents for Comprehensive Benchmark Question Generation]] - 比較対象: [[Eagle (OpsLLMベンチマーク)]] / [[Forge (5G Instruct Forge)]] - 概念: [[LLM評価]]