オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
2. 背景：⼤大規模、リアルタイムな分析の需要の⾼高まり l ⾼高次元で疎な⼊入⼒力力を扱う l 例例：⾔言語処理理の例例では、全単語の３つまでの組み合わせ〜～数百億次元、 ⾮非零零要素数は平均数百〜～数万 l ⾼高スループット、低レイテンシな分析が求められる l SNS分析、アルゴリズムトレード、広告配信など l 例例: ⽂文書分類の場合、秒間1万⽂文書程度度が⽬目標（SNSなど） l データは⼤大量量、モデルの種類数も膨⼤大 l 全て集めてから処理理というのは困難 l ユーザー毎に異異なるモデルを利利⽤用⇒分類器が数百万 3. 背景：⼿手法の発展 l 線形識識別モデルとオンライン凸最適化による学習により、⼤大量量のデータを 利利⽤用した⾼高速な学習と識識別が可能となっている l マシン１台でも秒間数万〜～数百万サンプルを処理理可能 l サンプ
劣微分を用いた最適化手法について(3) - Preferred Networks Research & Development
進撃の巨人3巻が11月に発売されるものと勘違いして本屋を探し回っていましたが、発売日は12月9日でした。徳永です。 前回は、確率的勾配降下法（SGD）について説明しました。今回はいよいよ、劣微分を用いた最適化手法に付いての説明をおこないます。 前回の復習 前回は、最大エントロピーモデルによる線形識別器の学習方法について説明し、最後に正則化について紹介しました。正則化については重要性を主張しきれていなかった気がするので、もう一度過学習と正則化について説明しておきたいと思います。 前回、間違いは少ないほうがいいよね、というような話をしましたが、間違いには2種類あります。一つは既知のデータに対する間違いの多さで、もう一つは未知のデータに対する間違いの多さです。既知のデータに対する間違いを経験損失と言い、未知のデータに対する間違いを期待損失、もしくは汎化誤差と言います。（間違いと損失はちょっと違い
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PyMCがあれば，ベイズ推定でもう泣いたりなんかしない