最近のスパースなニューラルネットワークについて - SmartNews Engineering Blog
こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、スパースなニューラルネットワークの話をします。 要約すると ニューラルネットのスパース化によって、精度はほとんど犠牲にせずに、計算効率は3〜5倍程度まで向上できる スパース化にはまだ課題が多く、ニューラルネットの高速化という意味では、次の戦場はたぶんここになる スパースとは、スパース化とは スパースであるとは、値のほとんどが0であることです。例えば、ベクトル$a,b$の内積を計算する際に、$a$のほとんどの要素の値が0であるとしましょう。0になにをかけても0ですから、$a$の値が0でない次元についてのみ、$a_i b_i$の値を計算して足し合わせればよいわけです。このように、内積を計算する際に、どちらかのベクトルがスパースであれば計算が高速化できます。0という値をメモリ
ニューラルネットワークの量子化についての最近の研究の進展と、その重要性 - SmartNews Engineering Blog
こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、ニューラルネットワークの量子化の話をします。 TL;DR パラメータだけを量子化するのであれば、ほぼ精度を落とさずに、パラメータのデータ容量は1/16程度にまで削減できる パラメータ、アクティベーション、勾配のすべてを量子化し、推論だけでなく学習までもビット演算だけで実現する研究が進んできている 現在は深層学習 = GPU必須というぐらいの勢いがあるけど、量子化の研究が進むと、今後はどうなるかわからないよ はじめに 情報理論における量子化とは、アナログな量を離散的な値で近似的に表現することを指しますが、本稿における量子化は厳密に言うとちょっと意味が違い、十分な（=32bitもしくは16bit）精度で表現されていた量を、ずっと少ないビット数で表現することを言います。 ニュ
モデルは「Google最初の21人」 スマニューに見る、エンジニア集団の作り方 | HRナビ by リクルート
成長している企業はどんな戦略で採用に取り組んでいるのか――。12月に京都で開催された「IVS 2014 Fall」で、「成長企業の採用力」というテーマのパネルディスカッションが行われました。登壇したスマートニュース代表取締役会長共同CEOの鈴木健さんは、「レアルマドリード」と「Google」をモデルにした採用を実践していると言います。以下、鈴木さんの主な発言をまとめました。 メディアではなくエンジニアの会社 スマートニュースは2012年6月、僕と共同創業者の浜本（階生）の2人で始めた会社です。ネット上にあふれる膨大な情報の中から、本当に良質なコンテンツだけをアルゴリズムの力を使って抽出して、たくさんの人に届けることをミッションにしています。 どんな考え方でサービスを運営しているか。1つ言えるのは、「コンテンツを愛しています」ということです。僕自身も、『なめらかな社会とその敵』という本を書い
SmartNews TechNight vol5 SmartNews Ads大図解
SmartNews Adsは独立した複数のサブシステムから構成されています。 エンジニアの幸福とビジネスのスピードを両立する、そんなシステムをどういう思想で作ったのかお話させていただきます!!Read less
SmartNews TechNight Vol.5 : SmartNews Ads の配信最適化の仕組みはどうなってるの？ (エンジニア / SmartNews Ads : 小宮 篤史)
SmartNews Ads の広告配信の裏側では、ユーザにはよい広告体験を、そして広告主にはより多くの成果を適切なコストで提供することを目的に、実に様々な最適化の仕組みが動いています。 限られたコンピューティングリソースとレイテンシの制約、そしてアプリに特化した広告配信において、どのような配信の最適化がされているのか、この一年の歴史を紐解きながら現在の最適化の仕組みまで赤裸々にお話しちゃいます。Read less
SmartNews TechNight Vol5 : SmartNews AdServer 解体新書 / ポストモーテム
広告システムを全く知らなかった私が約2ヶ月弱の開発期間で初期バージョンをローンチ、アーキテクチャも日々変更していき、あれから1年が経過しました。 SmartNews Adsは一般的な広告配信サーバとは異なる特徴をいくつか持っています。今回は運用型広告と純広告型の配信サーバのアーキテクチャを中心に、個人の裁量でどのように設計し、何を採択し、どのように変更していったのかを可能な限り公開し、発生した障害（課題）も晒しながらポストモーテムをします。Read less
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
