Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 突然ですが、皆さんは量子化というキーワードを知っていますか? 生成AIにおける量子化とは、精度をほとんど劣化させずに、AIモデルのサイズを削減することです。 さて、そんな量子化について、ローカルでAIを処理しているとき私はふとあることを思いました。 このモデルの量子化…進捗ぜんぜん進まないな… 最近のヘビー級のモデルはどいつもこいつもサイズがデカい! ユーザーのリソースは無限だと思っている節がありますね。 終わらない進捗 進捗バーが微動だにしないと楽しくなくなってきます。 AIが量子化するなら、待ち時間中、進捗バー側も量子化する必要があ
