[大規模言語モデルの知識を補完するための Retriever の紹介 - ACES エンジニアブログ](https://tech.acesinc.co.jp/entry/2023/03/31/121001) - 社内にある外部には出せない文書を元に顧客からの質問に答える質問応答のサービスを作りたい場合、[[ChatGPT]] のような [[notes/data-science/LLM]] の訓練にはそのようなデータは使われていないため、prompt として社内にある文書を LLM に与えて質問に答えさせることが必要 - 一方で、LLM に与えられる prompt の長さには上限があり、社内にある文書の量が膨大であった場合はそれらを全て prompt に含めることはできない - そこで、質問に関連する一部の文書だけを検索してきて prompt に追加する - [[RAG|Retrieval-augmented LM]] 言語モデルの知識を補完するために関連する文書を外部の文書集合から検索してきて言語モデルに入力として与えるような技術 - [[OpenAI]]のembedding - embedding の訓練に使われたデータとは異なるような特殊なドメインの文書が検索対象で、一般的にメジャーではない語彙が多い場合には Open AI の embedding では検索の精度が劣化してしまう可能性もある - そのため、特定のドメインの文書に特化した検索器 (= Retriever) を独自に訓練することで、その文書を有効に使えるようになり、競合他社との差別化になりうる