SigLIP2に匹敵する画像エンコーダーをフルスクラッチで開発した話

はじめに Noetraでは、フィジカルAIの実現に向けて、国産マルチモーダルLLMの開発を進めています。その基盤技術の一つとして、本記事では画像エンコーダーをフルスクラッチで構築した取り組みについて紹介します。 近年、国内外の企業・研究機関でマルチモーダルLLMの開発が活発化しています。多くのモデルは、言語モデルを独自開発している一方で、画像エンコーダーにはSigLIP2に代表される、非公開データで学習された高性能なモデルを利用しています。しかし、そのデータや学習過程が分からないままでは、透明性や安全性に関する懸念が残ります。 そこで我々のチームでは、自立した国産マルチモーダルLLMを実現するために、言語モデルだけでなく画像エンコーダーも自ら構築・学習することにしました。データ収集から事前学習手法、モデル構造に至るまで把握可能なスクラッチ開発は、透明性・安全性を確保するうえで重要であり、将