以下の記事が面白かったので、簡単にまとめました。 ・Introducing Gemma 3 270M: The compact model for hyper-efficient AI 1. Gemma 3 270M「Gemma 3 270M」は、タスク固有のファインチューニングのためにゼロから設計されたコンパクトな270Mパラメータモデルで、強力な指示追従機能とテキスト構造化機能が既に学習済みです。 2. Gemma 3 270Mのコア機能・コンパクトで高機能なアーキテクチャ 合計270Mのパラメータを備えています。そのうち170Mは大規模な語彙サイズによる埋め込みパラメータで、1億個はTransformerブロック用です。256,000トークンという大規模な語彙により、このモデルは特定の希少トークンを処理でき、特定のドメインや言語に合わせてさらにファインチューニングできる強力なベースモ

