軽量な視覚言語モデル「Heron」のiOSアプリを公開しました

完全自動運転の実現を目指すTuringでは、Webスケールのデータセットで学習した大規模視覚言語モデル（VLM）の持つ「常識」を利用することで、幅広い状況に対応できる自動運転モデルの開発を実現できると考えています。 この目標のもと、基盤AIチームでは2023年から視覚言語モデル「Heron」の開発に取り組んできました。 VLMを自動運転に活用していく上で重要な要件の一つが「軽量」であることです。Turingでは経済産業省およびNEDOが推進する日本の生成AIの開発力強化に向けたプロジェクト「GENIAC」第2期の支援のもと、2Bパラメタと比較的軽量なVLMの学習に取り組み、モデルサイズに対して非常に高性能な「Heron-NVILA-Lite-2B」の開発に成功しました。 Heron-NVILA-Lite-2Bは軽量であるため、iPhoneのようなモバイル端末のローカル環境でも十分に動作しま

[poad1010]

この記事をおすすめしました

[fashi]

MicrosoftのSeeing AIはクラウド型だっけか

[misshiki]

“Turingの軽量視覚言語モデル「Heron」を用いてローカル動作する視覚質問応答アプリケーションを構築した手順を紹介”

[at_yasu]

azoo の人か。ローカル完結なのすごい。

[rdlf]

フライトモードでも動いたので確かにローカルで動いているみたい。しかしローカルで動かすのでなかなかヘビー級だ…