# iKnow CUHK([[The Chinese University of Hong Kong]])と [[Huawei Cloud]] が共同開発した、クラウド運用質問応答(OpsQA)向け意図誘導型 RAG チャットボット。ASE 2025 に経験論文として発表された。(Source: [[@2025__ASE__iKnow - an Intent-Guided Chatbot for Cloud Operations with Retrieval-Augmented Generation]]) ## システム概要 標準 RAG フレームワーク(LangChain + FAISS)に以下 3 モジュールを追加する。 1. **意図検出・メタデータ抽出**: 原型ネットワーク(Prototypical Networks)で 5 種の OpsQA 意図に分類し、アプリケーション・バージョンのメタデータを抽出して適切なベクトルデータベースを選択する 2. **意図誘導クエリ書き換え**: LLM に意図別プロンプトを与えてクエリを構造化し、不完全クエリの問題を緩和する 3. **欠落知識検知**: 検索後に LLM がコンテキスト充足性を評価し、知識が不足する場合は縮退応答を返す 2 段階検索(ベクトル検索 → クロスエンコーダリランカー)を採用し、再現率と精度の両立を図る。 ## 展開状況 CloudA(大規模クラウドベンダー、非公開)に 6 ヶ月以上展開され、カスタマーサービス・オンコールエンジニア・DevOps エンジニア・クラウドテストエンジニアなど数千人のユーザーをサポートする。 ## 性能 - 平均回答精度: 65.8%(旧チャットボット)→ **81.3%**(iKnow) - 意図検出精度: 10 分割交差検証で 85.3% - 欠落知識検知: 適合率 94.3%・再現率 83.3%・F1 88.5% - エンドツーエンドレイテンシ: 22.5 秒(追加モジュールは全体の 19.1%) ## 実装 - 生成 LLM: Qwen-2.5-32B-instruct(ファインチューニングなし) - 埋め込み: BGE-M3 - リランカー: bce-reranker-base_v1 - ベクトルデータベース: FAISS - ハードウェア: Ubuntu 20.04、64 CPU、128 GB RAM、NVIDIA Tesla T4 16 GB - コード: https://github.com/Jun-jie-Huang/iKnow(プロンプト・モジュールのみ公開、データセットは非公開) ## 関連 - ソース: [[@2025__ASE__iKnow - an Intent-Guided Chatbot for Cloud Operations with Retrieval-Augmented Generation]] - 開発元: [[The Chinese University of Hong Kong]] / [[Huawei Cloud]] - 著者: [[Michael R. Lyu]] / [[Guangba Yu]] / [[Rui Ren]] - 概念: [[OpsQA]] / [[RAGベースクラウド運用支援]] / [[AIOps]]