【Gemini-1.5-Pro】マルチモーダルLLMを使って動画検索してみた

こんにちは、クラウドエース SRE ディビジョン所属の茜です。 今回は、マルチモーダル LLM として注目されている Gemini-1.5-Pro を使用して、自然言語での動画検索が可能な簡易的なアプリケーションを作成します。 マルチモーダル LLM とは マルチモーダル LLM (Large Language Model) は、テキストだけでなく、画像、音声、動画などの複数のモダリティのデータを理解し、処理することができる大規模言語モデルです。 従来の LLM がテキストのみを扱うのに対し、マルチモーダル LLM は異なる種類のデータを統合し、より幅広いタスクに対応することができます。 マルチモーダル LLM は、以下のような特徴を持っています。 テキスト、画像、音声、動画の双方向のやり取りが可能 以下のようなタスクが実行可能です。 写真の情報をテキストで出力する テキストの内容を基に画