ブックマーク / kisa12012.hatenadiary.org (4)

  • 機械学習を様々なアプリケーションに適用するためのアドバイス - kisa12012の日記

    Andrew Ngの講義で面白いスライドがあったので紹介.研究ではなく様々なアプリケーションへ機械学習を適用するときに実践すべきTipsが3つのトピックに関して語られています.以下は,スライド内で自分が覚えておくべきと思った部分を抽出し,メモ書きしたもの.実サービスやKDD Cup等のコンテストで機械学習を用いる度に,見返してみるのも良いかもしれません. スライド http://see.stanford.edu/materials/aimlcs229/ML-advice.pdf トピック1.Debugging Learning Algorithms 適当な分類器を学習させ,スパムフィルタリングでエラー率20%を達成したら次に何をすべきか? 訓練データを増やしたり,より良い分類器を適用したり,色々な改善策が考えられる… 診断法1 : バイアス-バリアンス分析 現在の分類器のボトルネックはバイ

    機械学習を様々なアプリケーションに適用するためのアドバイス - kisa12012の日記
    hjym_u
    hjym_u 2012/02/11
  • Yahoo!のニュースコメント欄からスパムを排除するには - kisa12012の日記

    論文紹介のコーナー.*1 今回紹介するのは,KDD'2011のUnbiased Online Active Learning in Data Streams (Wei Chu, Martin Zinkevich, Lihong Li, Achint Thomas, and Belle Tseng). Yahoo! Labsのグループによる研究です.(その後,第一著者はMicrosoftへ移動しています) 論文は,ユーザーがコンテンツを生成できるウェブサービスから効率的にスパムやアダルトコンテンツを排除する手法について提案されています. このようなサービス形態はUser-Generated Content(UGC)と呼ばれ,ニュースサイトのコメント欄や掲示板SNS・ソーシャルゲーム・ユーザー投稿型動画サイトが主な例として挙げられます. 3行概要 ストリームデータ環境下において,学習に有用

    Yahoo!のニュースコメント欄からスパムを排除するには - kisa12012の日記
    hjym_u
    hjym_u 2011/12/09
  • Bandit Feedback下での多クラス分類アルゴリズム - kisa12012の日記

    ICML2011のMulticlass Classification with Bandit Feedback using Adaptive Regularizationをざっくりと読んだのでメモ. 論文 概要 Bandit Feedbackでの多クラス分類問題における新たなアルゴリズムを提案 アルゴリズムは,Second-order Perceptronとupper-confidence boundを組み合わせたもの exploration時に現在のスコアや不確実性を考慮したものに拡張した点がポイント Regret を達成 (既存手法のベストは,) 但し,データ分布には一定の確率分布に従う,という仮定を置いている 実験結果より,Label Noise環境下での分類精度が向上することを確認 (Bandit Feedbackと似ているため) Bandit Feedback Bandit Fe

    Bandit Feedback下での多クラス分類アルゴリズム - kisa12012の日記
    hjym_u
    hjym_u 2011/11/27
  • FOBOS解説スライドを作成しました - kisa12012の日記

    大学院の専攻全体で行われた輪講で、「L1正則化を導入したOnline学習手法」というタイトルで論文紹介を行ないました。 解説スライド FOBOS View more presentations from Hidekazu Oiwa このスライドを制作するにあたり、中川研究室の皆様には校正・アドバイス等の多大な協力を頂きましたことを、ここで御礼申し上げます。 原論文 "Efficient Online and Batch Learning using Forward Backward Splitting" [J. Duchi, Y. Singer : 2009] 補足 原論文で提案されているアルゴリズム(FOBOS)は、Online学習を用いるとともに、同時に特徴選択も可能にした手法です。 特に今回の解説スライドでは、L1正則化(つまり特徴選択)に話を絞って説明しています。 今回の解説スライ

    FOBOS解説スライドを作成しました - kisa12012の日記
    hjym_u
    hjym_u 2011/11/12
  • 1