2012-12-09
こんばんは．[twitter:@kisa12012]です．しがない機械学習系大学院生をやっております．Machine Learning Advent Calendar 2012 9日目では，"NIPS2012より識別も出る学習の進展を垣間見る"という無駄に野心的なタイトルで，先ほどまで開催されていたNIPS2012で発表された数本の論文概要を紹介します．機械学習，特に識別モデル学習の最先端が多少なりとも垣間見える，もしくは論文本体を読んでみようと思わせられる記事になっていれば幸いです． 重要: 概要紹介のみですので，数式は一切出てきません．（数式を記述する前に力尽きました……） NIPS2012とは？ ホームページ : http://nips.cc/Conferences/2012/ 機械学習のトップ国際会議の一つ．機械学習の理論的な面を解析した論文や，理論的背景を持ったアルゴリズムの導出
機械学習を様々なアプリケーションに適用するためのアドバイス - kisa12012の日記
Andrew Ngの講義で面白いスライドがあったので紹介．研究ではなく様々なアプリケーションへ機械学習を適用するときに実践すべきTipsが３つのトピックに関して語られています．以下は，スライド内で自分が覚えておくべきと思った部分を抽出し，メモ書きしたもの．実サービスやKDD Cup等のコンテストで機械学習を用いる度に，見返してみるのも良いかもしれません． スライド http://see.stanford.edu/materials/aimlcs229/ML-advice.pdf トピック１．Debugging Learning Algorithms 適当な分類器を学習させ，スパムフィルタリングでエラー率20%を達成したら次に何をすべきか？ 訓練データを増やしたり，より良い分類器を適用したり，色々な改善策が考えられる… 診断法1 : バイアス-バリアンス分析 現在の分類器のボトルネックはバイ
PRankを実装しました - kisa12012の日記
ランキング学習の一手法であるPRankを実装しました． PRankはPerceptronに似たアルゴリズムであり，実装も非常に簡単です． ソースコード github 解説 ランキング学習及びPRankの解説は，先日のDSIRNLPで発表された以下の記事が詳しいです． DSIRNLP#1で「ランキング学習ことはじめ」を発表しました - シリコンの谷のゾンビ PRankは，1文書の特徴量と対応するランク情報のみを用いてパラメータ更新を行うPointwise手法の一種です． (2文書のペアを用いてパラメータ更新を行うのがPairwise，1つのクエリに対するランキング情報を全て用いてパラメータ更新を行うのがListwise手法) PRankでは，重みベクトルとランキング順位数と同じ数のしきい値を用意し，重みベクトルと特徴ベクトルとの内積の値を初めて超えるしきい値の番号を予測値として出力します．
Bandit Feedback下での多クラス分類アルゴリズム - kisa12012の日記
ICML2011のMulticlass Classification with Bandit Feedback using Adaptive Regularizationをざっくりと読んだのでメモ． 論文 概要 Bandit Feedbackでの多クラス分類問題における新たなアルゴリズムを提案 アルゴリズムは，Second-order Perceptronとupper-confidence boundを組み合わせたもの exploration時に現在のスコアや不確実性を考慮したものに拡張した点がポイント Regret を達成 (既存手法のベストは，) 但し，データ分布には一定の確率分布に従う，という仮定を置いている 実験結果より，Label Noise環境下での分類精度が向上することを確認 (Bandit Feedbackと似ているため) Bandit Feedback Bandit Fe
分散型オンライン学習 - kisa12012の日記
ICML2011のOptimal Distributed Online Predictionをざっくりと読んだので，メモ書き． 論文 概要 既存のオンライン学習アルゴリズムをミニバッチに拡張，分散学習を可能にする 勾配ベースのオンライン学習手法は全て拡張可能 勾配ベースのオンライン学習手法 : Dual-Averaging, Mirror descent algorithms (Subgradient method)等 Regret Boundは (m:データ数)で分散数kに依存せず，凸制約の上では理論上最適解 確率的最適化の文脈から，分散型のアルゴリズムを提案しているとも見ることが可能 実験により，ノードの数の増加に応じて収束速度が向上することが示された distributed mini-batch framework(DMB)とは？ k個の学習器にそれぞれ別のデータを食わせて勾配を計算
劣勾配法(ヒンジ損失）書いたよ - kisa12012の日記
ソースコード ソースコード 内容 劣勾配法の解説は，以下のブログ記事が詳しいです． 劣微分を用いた最適化手法について(3) | Preferred Research こちらでも劣勾配法について簡単に説明したいと思います． 多クラス分類問題を解く場合，ヒンジ損失関数は以下の式で定義することが出来ます． ここで，が現在の重みベクトル，が入力ベクトル，が正解ラベルです． ヒンジ損失関数では，正解ラベルのスコアと不正解ラベルのうち一番高いスコアとの差が重要な役割を果たします． このように定義したヒンジ損失関数を用いて，劣勾配法はデータが1つ与えられるたびに以下の更新式に従い重みベクトルを更新します． ここで，は，毎回の更新時にどの程度重みベクトルを動かすかを調節するステップ幅です． 多くの場合，ステップ幅はとなる値を用います．[Zinkevich, 2003] 以上が劣勾配法（ヒンジ損失関数）のア
オンライン学習による線形識別器 - kisa12012の日記
オンライン学習による線形識別器(Online Linear Classifiers ~PerceptronからCWまで~)というタイトルで研究室内の勉強会発表を行いました． 勉強会で使用したスライドを以下に公開します． (スライドが表示されない場合は，一度リロードを行うと表示されるようになる場合があります．） スライド OnlineClassifiers View more presentations from Hidekazu Oiwa. 内容概説 本スライドの構成は以下の通りです． 線形識別器とオンライン学習の定義，特性の説明 Perceptron MIRA / Passive-Aggressive Confidence-Weighted Algorithms 各アルゴリズムについて，アルゴリズム概要・理論保証・その後の発展に焦点を当てて解説しています． 内容のちょっとした補足 上のス
Complement NaiveBayesを実装したよ - kisa12012の日記
レッドブルとカレーが美味しい季節になりました． 前回，ナイーブベイズを実装した後， 「どうせならComplement NaiveBayesも実装してしまいなよ．」 という天からの声が聞こえた気がしたので，実装してみました． Complement NaiveBayesとはなんぞや，という方は，以下の記事で非常に丁寧に解説されているので，そちらを参照ください． こちらでも簡単に説明すると，Complement NaiveBayesはそのクラスに「属しない」記事を用いて，文書に対する尤度を計算します．そして，尤度が一番「低い」クラスを予測結果として出す手法です．NaiveBayesと反対ですね．その性質上，2クラスの場合はNaiveBayesとComplement NaiveBayesは結果が一致します． 新はてなブックマークでも使われてるComplement Naive Bayesを解説するよ
ICML2011気になった論文リスト - kisa12012の日記
ICML2011のAccepted paperが公開されています． http://www.icml-2011.org/papers.php 個人的に気になった（あとで読みたい）論文リストを以下にまとめていきます． オンライン学習，多クラス分類問題，スパース化，転移学習系の論文が多めです． Efficient Sparse Modeling with Automatic Feature Grouping (Wenliang Zhong, James Kwok) ノルムとノルムを組み合わせたsparse modeling手法であるOSCARのソルバー提案． 計算量をからに改善． d:特徴次元数 http://www.icml-2011.org/papers/9_icmlpaper.pdf On tracking portfolios with certainty equivalents on
今さらないーぶべいず - kisa12012の日記
今週の言語処理のための機械学習入門を読む会（研究室内勉強会）は，ナイーブベイズの章に突入． どうせなら復習ついでにC++で実装しようかな，となんとなく思い立ったので実装してみました． コード GitHub - oiwah/classifier: Online Classification Library 「言語処理のための」機械学習，なのでクラスや特徴はすべてstringで入力されることを想定した実装にしています．というか，汎用化するのが面d(ry 結果 training data Positive good bad good good Positive good excellent good excellent Positive exciting good excellent exciting boring Negative bad good bad Negative excellent
Gmail優先トレイ論文メモ - kisa12012の日記
元論文 “The Learning Behind Gmail Priority Inbox”, Douglas Aberdeen, Ondrey Pacovsky, Andrew Slater, LCCC : NIPS 2010 Workshop on Learning on Cores, Clusters and Clouds. http://research.google.com/pubs/archive/36955.pdf Gmail Priority InboxにはPAが利用されていると話題になっているので，読んでみました． 簡単にまとめ PA + transfer learning + logistic model ランキング学習では，thresholdが非常に重要な働きを持つ Gmail Priority Inboxはあなたのメール処理の時間を6%短縮してくれます 1.The
FOBOS解説スライドを作成しました - kisa12012の日記
大学院の専攻全体で行われた輪講で、「L1正則化を導入したOnline学習手法」というタイトルで論文紹介を行ないました。 解説スライド FOBOS View more presentations from Hidekazu Oiwa このスライドを制作するにあたり、中川研究室の皆様には校正・アドバイス等の多大な協力を頂きましたことを、ここで御礼申し上げます。 原論文 "Efficient Online and Batch Learning using Forward Backward Splitting" [J. Duchi, Y. Singer : 2009] 補足 原論文で提案されているアルゴリズム(FOBOS)は、Online学習を用いるとともに、同時に特徴選択も可能にした手法です。 特に今回の解説スライドでは、L1正則化（つまり特徴選択）に話を絞って説明しています。 今回の解説スライ
PRML9章の勉強会用スライド - kisa12012の日記
PRML9章(混合モデルとEM)の勉強会用スライドを公開します。 今回のスライドは出来が悪いので参考にはなるとは思えませんが、なにか使い道があればどうぞです。 SlideShare上ではスライドのレイアウトが崩れていますが、一度pdfファイルをダウンロードして、手元の環境で表示すればレイアウト崩れは治ると思います。 （もし、ダウンロードしたファイルも文字化け・レイアウト崩れがある場合にはコメント等でお知らせいただけるとありがたいです。） スライド Prml9View more presentations from Hidekazu Oiwa. リンク prml5章の勉強会用スライド http://www.slideshare.net/kisa12012/prml5-4697969
「言語処理のための機械学習入門」勉強会を開催しました - kisa12012の日記
2010/8/6,7の2日間を用いて、「言語処理のための機械学習入門」を輪読する勉強会を開催しました。 発表者の皆様、お疲れ様でした。 以下、現時点で公開されている発表スライドを掲載します。 （発表資料に問題等あれば、TwitterのDMなどで御連絡ください。サイドバーのプロフィール欄に連絡先が記載されています。） 2章：文書および単語の数学的表現 100816 nlpml sec2View more presentations from shirakia. 4章：分類 Ml for nlp_chapter_4View more presentations from hylosy.Ml4nlp 4 2View more presentations from beam2d. 5章：系列ラベリング NLPforml5View more presentations from kisa12012.
Preferred Infrastructureの夏期インターンに行ってきました - kisa12012の日記
8月の上旬から9月の下旬までの2ヶ月間、Preferred Infrastructure(PFI)の夏期インターンに参加してきました。 今回のインターンを振り返りつつ、ブログ記事を書きたいと思います。 PFIでのインターン PFIのインターンでは、インターン生1人1人が各自に定めたテーマに沿って開発を行うというスタイルをとっており、この点で講義や課題形式で行われるインターンとは大きく異なるところだと思います。 2ヶ月間のインターン中に、一定の成果を出すことが目標となります。 各自が取り組むテーマは、インターン生のバックグランドやPFIの事業分野を前提とした上で、インターン生の希望に合わせて定められます。 例として、PFIで現在提供しているソフトウェアを改良するために、今取り組むべき問題を解決する、またはPFIで過去に開発したライブラリを利用して、新しいソフトウェアやサービスを創り上げる事を
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
