Azure OpenAI APIを活用したRAG FAQシステムの高速化と安定化を実現するPTUの実践検証 - Qiita

はじめに 生成AIブームの開始から１年以上経過し、OpenAIのAPIを利用して社内の業務の効率化を目指している企業や自社サービスをリリースしている企業も増えてきました。 各所で話を聞く限り、OpenAIのAPI利用で一番多いユースケースはRAG(Retrieval Augmented Generation)を利用した社内FAQの実装ですね。 RAGの実装でOpenAIのAPIを利用する場合、Embeddingではtext-embedding-ada,回答生成ではChatGPT(GPT-3.5‐Turbo),GPT-4を利用することが一般的です。 基本的にLLMの性能はモデルサイズに比例する関係上、高性能なモデルを使うとレスポンスが遅くなる傾向性があり、レスポンス速度と回答内容の正確性はトレードオフになります。 そして、GPT-4は非常に高性能ではあるのですが、回答生成の速度はGPT-3.