# コード LLM ## 定義 コード LLM（Code LLM）とは、ソースコードの生成・補完・理解・変換に特化して学習された大規模言語モデルの総称である。大規模なコードコーパスでの事前学習、Fill-in-the-Middle（FIM）などのコード固有の学習目的関数、指示チューニングを組み合わせ、コード生成・コード補完・バグ検出・数学的推論のプログラム生成などのタスクを遂行する。代表的なモデルとして [[DeepSeek-Coder]]（1.3B〜33B、87 言語）、CodeLlama（7B〜34B）、StarCoder（15B）、code-cushman-001（12B、Codex）がある。(Source: [[@2024__arXiv__DeepSeek-Coder - When the Large Language Model Meets Programming]]) ## 横断的知見 - DeepSeek-Coder は「コードを理解・生成する」ワンショット型のコード LLM であるのに対して、ERA は「コードを反復的に書き換えて探索する」ツール（LLM を突然変異演算子として使う）として機能する。これは同じ「コード LLM」でもシングルショット生成 vs ループ内での反復変異という根本的に異なる使用パターンが存在することを示す。(Source: [[@2026__Nature__An AI system to help scientists write expert-level empirical software]], §Discussion—LLMs for Code Generation) - ERA（Table 1）では Gemini 2.5 Flash・Mistral Medium・Claude Sonnet 4.6・GPT-5・Gemini 3.1 Pro の 5 モデルで ERA vs Best-of-N=1000 比較を実施し、ほぼ全ての組み合わせで ERA が Best-of-N を上回った。これは「LLM の生成品質そのもの」より「探索戦略（木探索）」が品質向上に対してより大きな寄与をする場合があることを示唆する。(Source: Table 1, [[@2026__Nature__An AI system to help scientists write expert-level empirical software]]) ## 未解決の問い - データ品質がモデル規模を補う効果（DeepSeek-Coder 6.7B が CodeLlama 34B を上回る）は、コーパスの構成や品質管理のどの要素が最も寄与しているのか。リポジトリレベル構築と品質スクリーニングの寄与を分離した定量分析が必要である。(Source: [[@2024__arXiv__DeepSeek-Coder - When the Large Language Model Meets Programming]]) - FIM 学習の最適設定（PSM 50%）は 1.3B・Python サブセットでのみ検証されている。モデル規模・言語・タスクの変化に対する汎化がどこまで成立するか。(Source: [[@2024__arXiv__DeepSeek-Coder - When the Large Language Model Meets Programming]]) - 汎用 LLM からの継続事前学習（DeepSeek-Coder-v1.5）とスクラッチ学習のトレードオフは、より大規模なモデル（33B 以上）でも同様のパターンを示すか。(Source: [[@2024__arXiv__DeepSeek-Coder - When the Large Language Model Meets Programming]]) - コード LLM のオープンソース化が進む中、ベンチマーク汚染（LeetCode Contest データでの汚染リスクを著者が認めている）への対策として動的に更新されるベンチマーク設計はどうあるべきか。(Source: [[@2024__arXiv__DeepSeek-Coder - When the Large Language Model Meets Programming]]) ## 関連 - [[エージェント型コーディング]] — コード LLM を基盤とするエージェント型のソフトウェア開発自動化 - [[オープンLLM開発]] — オープンソース LLM 開発の方法論 - [[LLM分散学習]] — 大規模モデルの分散学習手法 ## 出典 - [[@2024__arXiv__DeepSeek-Coder - When the Large Language Model Meets Programming]] - [[@2026__Nature__An AI system to help scientists write expert-level empirical software]] — LLM を反復コード変異演算子として使う ERA の設計（§Discussion—LLMs for Code Generation）、複数 LLM での Best-of-N 比較（Table 1）