生成 AI に必要な「基盤モデル」のメモリ使用量 98％削減につながる技術を開発 ─ 自動運転車や工作用ロボット用組み込みシステムへの搭載を目指す ─

[naggg]

“6.3 億個のパラメータで構成される代表的な基盤モデルをこのアルゴリズムを用いて98%枝刈りすると、メモリ使用量を2.35GBから47MBまで削減。特定用途向けの組み込みシステムで画像生成AIを構築できる可能性”

[misshiki]

“大規模な基盤モデルのメモリ使用量が従来の 2％で済む枝刈りアルゴリズムを開発。インターネット接続不要の生成AIを実現する可能性がある。組み込みシステムへの搭載で半導体メーカーと実用化を目指す。”

[urtz]

人間もそうだが、「深み」を出すには、めったに使わないパラメータを大量学習する必要がある。深みが要らない用途なら良さそう

[stealthinu]

枝刈する枝を追加学習したときの変動の大きさから選ぶ手法。重みの大きさではなく変化率が小さいものは枝を刈ってしまってよいという考え。これ重要な枝は残せそうだけど実際に削るのはどうすんだろ？