ニューラルネットワークの量子化についての最近の研究の進展と、その重要性 - SmartNews Engineering Blog
こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、ニューラルネットワークの量子化の話をします。 TL;DR パラメータだけを量子化するのであれば、ほぼ精度を落とさずに、パラメータのデータ容量は1/16程度にまで削減できる パラメータ、アクティベーション、勾配のすべてを量子化し、推論だけでなく学習までもビット演算だけで実現する研究が進んできている 現在は深層学習 = GPU必須というぐらいの勢いがあるけど、量子化の研究が進むと、今後はどうなるかわからないよ はじめに 情報理論における量子化とは、アナログな量を離散的な値で近似的に表現することを指しますが、本稿における量子化は厳密に言うとちょっと意味が違い、十分な（=32bitもしくは16bit）精度で表現されていた量を、ずっと少ないビット数で表現することを言います。 ニュ
ドワンゴ 人工知能研究所 DWANGO ARTIFICIAL INTELLIGENCE LABORATORY
News 2019/03/31 【お知らせ】ドワンゴ人工知能研究所を閉所しました 2018/11/16 【出版】山川所長が著者として参加した本「AI時代の憲法論 人工知能に人権はあるか」が発売されました。 2018/10/07 【出演】山川所長が放送大学クロス討論「人工知能（AI）の未来は？」に出演しました。 2018/09/21 【出版】山川所長が著者として参加した本「宗教と生命 激動する世界と宗教」が発売されました。 2018/08/19 【採録】山川所長が共著の佐藤聖也さんの論文「Accelerated Equivalence Structure Extraction via Pairwise Incremental Search」がKDD2018にて採録されました。 2018/02/04 【出演】山川所長がNHK日曜討論「活用広がるAI 社会はどう変わるのか」に出演しました。 20
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【やじうまPC Watch】 マリオ、知能を持つ。ゲーム内世界を学習し、ユーザーとの対話も可能
【人類滅亡？】2045年問題について語らせてｗｗｗｗｗｗｗ : キニ速
