북조선 사람들에게 http://www.cheollimacivildefense.org/post/2017-3-7_%EB%B6%81%EC%A1%B0%EC%84%A0%EC%82%AC%EB%9E%8C%EB%93%A4%EC%97%90%EA%B2%8C_25703/
북조선 사람들에게 http://www.cheollimacivildefense.org/post/2017-3-7_%EB%B6%81%EC%A1%B0%EC%84%A0%EC%82%AC%EB%9E%8C%EB%93%A4%EC%97%90%EA%B2%8C_25703/
こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、ニューラルネットワークの量子化の話をします。 TL;DR パラメータだけを量子化するのであれば、ほぼ精度を落とさずに、パラメータのデータ容量は1/16程度にまで削減できる パラメータ、アクティベーション、勾配のすべてを量子化し、推論だけでなく学習までもビット演算だけで実現する研究が進んできている 現在は深層学習 = GPU必須というぐらいの勢いがあるけど、量子化の研究が進むと、今後はどうなるかわからないよ はじめに 情報理論における量子化とは、アナログな量を離散的な値で近似的に表現することを指しますが、本稿における量子化は厳密に言うとちょっと意味が違い、十分な(=32bitもしくは16bit)精度で表現されていた量を、ずっと少ないビット数で表現することを言います。 ニュ
はじめに 分類問題の基本 分類における困難:線形分離不可能 非線形な分類問題 曲線、曲面によって境界を定める=空間を捻じ曲げて線形な境界を定める 素朴な疑問とその回答 次元に自由度がある 分離できる可能性が上がる うまい曲げ方を見つける 学習とは空間の曲げ方を学ぶこと ニューラルネットワーク ニューラルネット最初期 ニューラルネット中期 ニューラルネット現在 過学習 サポートベクターマシン まとめ ディープラーニングの手法については以下の記事を参考に サポートベクターマシンについて数式ベースで理解したい方 はじめに 分類問題の基本 分類問題の基本はデータがプロットされた空間上に境界面を配置することです。 下記の図のように、2種類のデータを分類する際の境界の配置の仕方は一意に定まりません。 このどちらが良い配置の仕方であるのかも、通常は決定できません。 そのため、境界面を決定するための様々な
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く