## Memo ## Memo with LLM ## Abstract 大規模言語モデル([[LLM]])は、ソフトウェア工学を含む様々な領域で研究の焦点となっており、その機能がますます活用されている。 最近の研究では、ソフトウェア開発ツールやフレームワークへのLLMの統合が検討され、テキストやコード関連のタスクのパフォーマンスを向上させる可能性が明らかにされている。 ログレベルは、ソフトウェア開発者がシステム実行時に記録される情報を制御できるようにするロギング文の重要な部分である。 ログメッセージはしばしば自然言語とコードのような変数が混在していることを考えると、LLMの言語翻訳能力は、ロギング文の適切な冗長レベルを決定するために適用することができる。 この論文では、ログレベル提案における12個のオープンソースLLMの性能に対する特性と学習パラダイムの影響を調査するために、詳細な実証分析を行う。 オープンソースモデルを選択した理由は、機密情報を効果的に保護し、データセキュリティを維持しながら、社内のコードを利用できるためである。 我々は、正確なログレベル提案のための最も効果的な組み合わせを特定するために、異なるLLMにわたって、ゼロショット、数ショット、および微調整技術を含むいくつかのプロンプト戦略を検証する。 我々の研究は、9つの大規模Javaシステムで行われた実験によって裏付けられている。 その結果、小規模なLLMは、適切な命令と適切な技術によって効果的に動作することができるが、ログレベルを提案する能力については、まだかなりの改善の可能性があることが示された。