ChainlitとLangGraphを活用してAgentによる画像認識を実現する方法

はじめに 5月13日にGPT-4oがOpenAIから発表されました。 この発表以降、Xでも多くの方がGPT-4oを試した感想を書いていました。 その中で画像認識の精度が上がって、かなり使える機能になってきているとの話があり、気になったのでまずはAPIから使えるようにしてみました。 OpenAIのモデルがVisionに対応したのはだいぶ前になりますが、 値段の割にあんまり精度が良くなさそうだったので、お恥ずかしながら今まで試したことがありませんでした。 なので今回は、 VisionのAPIドキュメントを一通り読む Chainlitのマルチモーダル機能の挙動を確認する 以前作成したChainlitとLangGraphのAgentアプリで画像認識をできるようにする という手順でやっていきたいと思います。 Vision APIのドキュメント確認 まずはVisionの使い方やコストについて、Open

[misshiki]

“ChainlitはPythonだけで簡単にチャットアプリを構築できる、非常に便利なライブラリです。 ...マルチモーダルに対応するための機能も備わっており、今回はそちらを利用して実装を行います。”

[sh19910711]

"チャットに貼られた画像を使用したい / high: まず512px × 512pxのサイズに変換した画像を見る + 2048px × 768pxに収まるように画像をスケーリング + スケーリングした画像を512px × 512pxのタイルに分割"