Soft Confidence-Weighted Learningを実装してみた - つよくなりたい
すごく久しぶりに書きます。いしたーです。 きょうは機械学習のおはなしです。 機械学習といえば、最近はDeep Learningが非常にアツいですね。 Googleがねこの画像を学習させたとかなんとか。 でも、Deep Learningはいろんなデメリットを抱えています。 学習が遅い パラメータの調整が難しい などです。 Soft Confidence-Weighted Learning (SCW)という手法をご存知でしょうか？ SCWとは、逐次学習が可能な線形分類器の一種です。 かずー氏のブログが詳しいので詳細はそちらに譲るとします。(SCWについてはかずー氏にいろいろとお世話になりました。この場でお礼を述べておきます。) ブログからそのまま引用すると、SCWは 学習が高速 オンライン学習(逐次学習)が可能 ノイズに強い 精度が良い というメリットを持っています。 さらに、パラメータの調整
Exact Soft Confidence-Weighted Learning (ICML2012) 読んだ - kisa12012の日記
概要 オンラインでの分類学習の世界では，CWが非常に強力なアルゴリズムとして注目されています．特に，その圧倒的な分類精度及び収束速度は圧巻の一言であり，自然言語処理を中心に様々な分野で応用例や派生アルゴリズムが提案されています*1． 一方で，ノイズデータのが混入していた場合に精度がガタ落ちする性質がCWの重大な欠点として多くの人から指摘されていました．ノイズが予め取り除かれている実験設定ならば良いのですが，ノイズが含まれている可能性の高い実データにはCWは中々不便．この問題を解決するため，ノイズ耐性の強いCW系アルゴリズムの決定版（？）として，SCW (Soft Confidence-Weighted)アルゴリズムがICML2012という会議で提案されました．本エントリでは，SCWの紹介を行います． Exact Soft Confidence-Weighted Learning, Wang
オンライン線形分類器とSCW - Sideswipe
はじめに こんにちは。Machine Learning Advent Calendar 2012 、 12/20 を担当させていただく @kazoo04 です。 普段は（株）ウサギィでエンジニアをやっています。 今日の話 今日は Exact Soft Confidence-Weight Learning (Wang et al, ICML2012) (以下SCW)のご紹介を致します。 SCWは線形オンライン形分類器のひとつで、 学習が高速 オンライン学習 ノイズに強い 精度が良い という素晴らしいアルゴリズムです。 SCWはCWを改良したアルゴリズムですが、本記事ではPerceptronから始まり、PA、CWなどを経てSCWに至るまでの過程とSCWのアルゴリズムについてまとめたいと思います。 数式の表記 すみません、はてなブログを始めたばかりで、ベクトルを太字の立体にする方法がイマイチわか
マルチクラスSCW評価メモ - y_tagの日記
昨年のICML2012で、オンライン分類器であるSoft Confidence-Weighted Learningが提案された（"Exact Soft Confidence-Weighted Learning"）。この際に提案されたのは基本的な二値分類だったが、今までのオンライン分類器と同じように、マルチクラスへの拡張も可能である。詳しくは以下の記事を参照していただきたい。 Exact Soft Confidence-Weighted Learning (ICML2012) 読んだ - kisa12012の日記 オンライン線形分類器とSCW - Sideswipe そんなマルチクラスSCWをJubatusに実装してみた。コードは"y-tag/jubatus"のscwブランチにある。このブランチは0.4.2のリリース直後をベースとしている。 ただ単純な分類器の追加だけなら話は簡単なのだが、分
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
