LangChainでPDFを“学習”→OpenAI APIごとに性能を評価しましたはじめに 株式会社cross-Xの古嶋です。DX戦略の立案やデータ・AI活用の支援をしています。 今回は、OpenAI APIのgpt-4及びgpt-3.5-turboの性能について比較してみたので、その検証結果をご紹介します。かなり簡易的な検証結果であり、より踏み込んだ精査が求められるところもありますが、面白い示唆が得られたので記事としてまとめた次第です。 では、早速ですが下図を御覧ください。 これは、最近話題のLangChainを利用してOpenAIのAPIにコンテキスト内学習(ICL: In Context Learning)を実行し、PDF内に記載されている情報を抽出して回答を得るという手法を用いた場合の「出力までの時間」を比較したものです。 その中で、以下の3つの軸で「出力までの時間」を評価しています。 API: gpt-4またはgpt-3.5-turboの場合で比較 回答文:
