Azure OpenAIのGPT-4oを使ってRAGを画像でやってみよう - Qiita

はじめに GPT-4oがAzure OpenAIのAPIからも使えるようになりました。 現在(2024/5/31時点)は音声はまだ使えないようで、テキストと画像が入力に使えます。 そこで、RAGでの参照情報を、テキストではなく画像にしたい、というのが本記事の内容です。 RAGでは通常、参照情報を文字列にしてプロンプトに入れて使っています。 参照情報に表やグラフがある場合は、適宜文字列に変換していました。ですが、画像をそのまま渡してしまえば、表やグラフの文字列への変換は必要ありません。 ということでやってみます。 (今までも、GPT-4 Turbo with Vision等で画像使えましたが、GPT-4oは値段がGPT-4の凡そ半額ぐらいになり、性能もいいらしいので使ってみようという感じです。) 画像の準備 サンプルとして、以下を用意しました。 Azure OpenAIへのリクエスト時は、画