佐藤 亮介(株式会社NTTフィールドテクノ) 白井 嵩士(株式会社NTTフィールドテクノ) 宮川　優一(日本マイクロソフト株式会社) |10:15|11:00 2024.11.122025.01.22 ### 概要 我々NTTフィールドテクノ ネットワークサービスオペレーションセンタ（NSOC）では, 24時間365日大規模なNW設備の監視・運用保守を行っております.大規模かつ成長し続けるNWを限りある人的リソースで保守するため, 自動化を含めた業務の生産性向上に取り組んでいる中で, 生成AI技術の活用に大きな期待をしており, 現在のNetwork Automationをより高度にし監視オペレータの業務を全面的に任せられるレベルにすることを目標とし現場で試行錯誤を重ねています. 本取り組みではJANOG54(※)での議論や, Microsoft様とのPoCなどを経てより実際の監視オペレーションに近いユースケースの実現に向けて検討を進めてきました. 下記のような技術的なポイントや, 難しいNWトラブルを生成AIに切り分けてもらうユースケースのデモを紹介させていただきながら, 「新たなNetworkの未来」の一つの理想として「生成AI（LLMエージェント）にオペレータを任せることはできるのか」というテーマについて議論をさせていただけたらと思います. 【技術的ポイント】 ■マルチエージェントの構成 NWトラブルの切り分けなど, オペレーションにおける判断は「一問一答」や事前に決められた調査手順では終わらず, 複数の調査手順を計画し, 結果に応じて途中で計画を修正するという自律的な判断が必要になることがあります. このような判断を可能にするのが, 複数のLLMエージェントを相互連携させるマルチエージェント構成であり, 今回はNWトラブルを切り分けるためのエージェント構成例を紹介させていただきます ■オペレーション所作の正確性の向上 GPT4oなどのLLMは広範な知識を有し, 応答精度も益々向上していますが, 特定ベンダのルーターのコマンド投入などオペレーションに必要となる所作を正確に行えるところまではカバーできていないようです. また誤った知識を尤もらしく出力してしまうこともあります.（ハルシネーション現象） これに対し, 実際のドキュメントを参照させるRAG（検索拡張生成）や専門知識を埋め込む手法(知識生成プロンプティング)を用いて正確性を高めるアプローチを紹介させていただきます など ※ JANOG 54 Meetingにて「[ネットワークオペレーションにおける生成AI技術の活用検討について](https://www.janog.gr.jp/meeting/janog54/genai/)」というテーマでKDDI様とともにプログラム発表 ### 議論ポイント 生成AIをネットワークの業務にどのように活用していますか？ 活用したいユースケースはありますか？ 生成ＡＩ活用に関して, どのような技術的・運用的ハードルを感じていますか？ など ### 場所 第3展示場A ### 日時 Day2 2025年1月23日(木) 10:15～11:00(45分) ### 発表者 佐藤 亮介 SATO RYOSUKE 株式会社NTTフィールドテクノ 白井 嵩士 Takashi Shirai 株式会社NTTフィールドテクノ 宮川 優一 Yuichi Miyakawa 日本マイクロソフト株式会社 ### 公開資料 [生成AIによるNetwork Automation ～LLMエージェントはネットワークオペレータになれるのか～(佐藤/白井/宮川)](https://www.janog.gr.jp/meeting/janog55/wp-content/uploads/2025/01/janog55-llm-sato-shirai-miyakawa-00.pdf) ## メモ - 実際の監視オペレーションに近いユースケースの実現 - 現状はAnsibleでやっている。 - ルータのソフトウェアエラーに対する自動リブート実施（Auto healing） - 判断をLLMへ - マルチエージェントの構成 - 単一のタスクの精度 - [[ReAct]] - オペレーションの全体統制（Orchestrator） - NW装置への操作実行（Network Operation） - トラブル原因の解析（Failure Analysis） 1. 精度や実行時間の網羅的な評価結果と、3つのエージェントのうちどこでうまくいかないか？ 2,3ケースうまくいきはじめた。 1. 知識アップデート 2. 2. メトリクスなどの時系列データを組み込む。自然言語データだけだと限界もある。 1.