深層学習の極小量子化という新たなる希望 | 射撃しつつ前転
(スターウォーズのテーマをかけ、ゆっくりとスクロールしながらお読みください) この記事は LeapMind Advent Calendar 2019 25日目の記事です。 もはや年1回の更新すら怪しくなってきたこのブログですが、今年もなんとか更新できました。来年はどうなるかな。 概要LeapMindは極小量子化という技術にかなり注力していますが、どういうことをやっているのか、なぜそのようなことをやっているのか、CTO個人としての視点から解説します。 はじめにLeapMindという会社の究極的な目標を端的に表現すると、機械を今よりもインテリジェントにすること、特に、データセンターにあるような計算機ではなく、身近なエッジデバイスをインテリジェントにすることです。正確なニュアンスについて知りたい方は、現在絶賛社員募集中なので、ぜひ会社見学にいらっしゃってください。 さて、このような崇高なミッショ
退職しました | 射撃しつつ前転
2年と2ヶ月と少しの間勤めたスマートニュース株式会社を、少し前に退職しました。 在職中は、サムネイル画像生成サーバーの導入をしたり、Entity Linkingを実装したり、サムネイル画像の切り出しにDeep Learningを導入したりしていました。在職中には多くの方々にお世話になりました。あらためて感謝いたします。 次の職は決まってません。しばらくはお金にならなさそうなプログラムを書いて自由を満喫したいと思っていますが、無職も意外と忙しくて、なかなか時間が取れません。 とはいえ、基本的には無職は人に会う機会が少なくてでさみしいので、みなさん、遊んでやって下さい。平日でもぜんぜん大丈夫だよ！ あと、就職活動もぼちぼち始めてますので、いい仕事知ってる人、こっそり教えてください。連絡先は 名字.名前@gmail.com です。 （追記）思ったよりもだいぶ多くのご連絡をいただきまして、ありがと
Stochastic Average Gradient法を解説する | 射撃しつつ前転
Stochastic Average Gradient (SAG)はNIPS 2012で提案された新しい最適化手法である。目的関数がstrongly convexである場合、という条件付きではあるが、線形収束が保証されている。要するに、速い。 A Stochastic Gradient Method with an Exponential Convergence Rate for Finite Training Sets 論文の解説についてはOiwa神の記事を参照すると良いと思う。以下では、SAGの考え方について、一般的なSGDとの差異を中心に説明したい。 SGDの復習 SAGを説明する前に、SGD（Stochastic Gradient Descent、確率的勾配降下法）とはどんな手法だったかを確認しておこう。 SGDはランダムに1つのデータを取ってきてgradientを計算し、そのgr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
射撃しつつ前転: 記事一覧
