Huawei、LLMの精度を保持したまま最大70%メモリ削減できる新手法を発表──コンシューマーGPUでの高精度生成AI実行も視野に | Ledge.ai

Top > 学術＆研究 > Huawei、LLMの精度を保持したまま最大70%メモリ削減できる新手法を発表──コンシューマーGPUでの高精度生成AI実行も視野に

[hatebu_ai]

GPUを輸入させてもらえない → 手持ちのGPUでもなんとか動くように必死の努力　みたいな感じだったらまさに必要は発明の母だなぁ。

[dekigawarui]

こういうアルゴリズムの進化で、AIの電力消費は予想より下振れするんじゃないかな。

[stealthinu]

ローカルLLMにとって量子化は必須だしメモリ削減出来るのはすごくありがたい。この手の技術は中国系のとこから出てくる率高いよな…

[yk_mobile]

HUAWEIの研究所はマジすごい。電車走ってるキャンパスあるし

[gjdndsy]

アメリカが中国にGPUを供給して依存させないと自力開発してしまう、ジェンセンハンはそうトランプを説得したがだめだった。そのまんまの未来になりつつあるね。逆にレアアースは見事に中国に依存させられてるし。

[MCATS]

“LLM”

[quwachy]

昔のコンピュータで必死にメモリ削減してたの思い出す。

[dalmacija]

着々というかんじだな

[t1mvverr]

まあビッグテックはこうゆう手法でリソース消費減らした分パラメータ増やせるだろうね

[fashi]

「Sinkhorn-Normalized Quantization（SINQ）」

[plank]

普通のおうちPCでもできるといいなー

[TakamoriTarou]

最近流行だね

[remix-cafe]

ほぉ