## Memo
- ICLR'24の公開レビュー:[OWL: A Large Language Model for IT Operations | OpenReview](https://openreview.net/forum?id=SZOQ9RKYJu)
## Abstract
ITの急速な発展に伴い、大量のデータを効率的に管理・分析することがますます重要になってきている。自然言語処理(NLP)の技術は、名前付きエンティティ認識、機械翻訳、対話システムなど、様々なタスクで顕著な能力を発揮してきた。近年、大規模言語モデル(Large Language Models: [[LLM]])は、NLPの様々な下流タスクにおいて著しい改善を達成している。しかし、IT業務に特化したLLMは不足している。本論文では、我々が収集した幅広いIT関連情報を含むOwl-Instructデータセットを用いて学習させた大規模言語モデルOwlを紹介し、異なるドメインやタスク間でのパラメータ効率的なチューニングを改善するためにmixture-of-adapter戦略を提案する。さらに、我々が構築したOwl-BenchとオープンなIT関連ベンチマークでOwlの性能を評価した。OwlはITタスクにおいて優れた性能を示し、既存モデルを大幅に上回る。さらに、我々の研究成果が、特化されたLLMを用いたITオペレーションの技術に革命を起こすためのより多くの洞察を提供することを期待している。