画像と文字を扱うマルチモーダルモデルがオープンソースの「OpenFlamingo」として登場、無料で使えるデモも公開中

DeepMindのマルチモーダルモデル「Flamingo」をオープンソースで再現したフレームワーク「OpenFlamingo」がリリースされました。これにより、ユーザーが手軽にテキストと画像を含む大規模なコーパスを利用できるようになります。 Announcing OpenFlamingo: An open-source framework for training vision-language models with in-context learning | LAION https://laion.ai/blog/open-flamingo/ GitHub - mlfoundations/open_flamingo: An open-source framework for training large multimodal models https://github.com/mlfo

[shunkeen]

“OpenFlamingoはフラミンゴの数を正しく言い当てることはできませんでした”／出題画像がイジワルすぎて笑った。マルチモーダルで画像が見えて、自然言語で指示が受け取れるようになると、会話でPCの画面操作がいける。

[julajp]

チャットでそれっぽい会話が成立するようになった。画像とコトバ、単語が正しく繋がったら、今度はそこに、人間が受ける印象、感情、を紐づけていけば。。。

[misshiki]

“DeepMindのマルチモーダルモデル「Flamingo」をオープンソースで再現したフレームワーク「OpenFlamingo」がリリース”