Multimodal Large Language Modelを画像認識タスクへの適用 - CADDi Tech Blog

はじめまして、CADDiの図面解析チームで機械学習エンジニアをしている藤田です。 CADDiでは、CADDi Drawerという図面データ活用クラウドサービスを提供しています。私の所属するチームでは、Drawer上にある図面画像から様々な情報を抽出する、機械学習モデルを作ることに取り組んでいます。その取り組みの1つとして、Multimodal Large Language Model (MLLM)というモデルを図面画像に適用し図面解析をするということを、PoCとして実施しています。今回、MLLMの取り組みについて紹介します。 Multimodal Large Language Modelとは？ openなMLLMとclosedなMLLM openなMLLMを画像に適用 画像認識AIの開発への影響 まとめ Multimodal Large Language Modelとは？ 昨今、Large