OpenAIのGPT-4oを使って、音声と画像からDjangoコードを生成させてみた

OpenAIのGPT-4oを使って、音声と画像からDjangoコードを生成させてみた はじめに こんにちは！ 前回は、以下の記事でAzureOpenAIのGPT-4oを使った簡単な検証を行ってみましたが、今回は、OpenAIのGPT-4oのAPIを使って、ローカルで動くマルチモーダルなアプリを作ってみました。 アプリの概要 下図のように画像と音声による指示出しで、アウトプットを出力させるようなマルチモーダルアプリにしてみました。 取り込む画像は、「Windowsマーク＋Shift＋S」で範囲指定して画面キャプチャしておくと、自動でアプリがクリップボード領域から画像データを取得するという仕組みにしてみました。 まず、インプットに使う画像を用意します。 「生成AIのプロンプトを管理するDjangoアプリを開発する」というお題で、今回は以下のようなフロー図(mermaidフロー図）を生成AIに作