こんにちは．Machine Learning Advent Calendar (MLAC) 2013の14日目を担当します，[twitter:@kisa12012]です．普段は博士学生として，各地を放浪しながら機械学習の研究をしてます．今回の記事はボストンで執筆しています．現地時間(EST)での締切は守ったのでセーフ…ですよね？ 本日は機械学習の技術的な内容の話ではなく，筆者が実践している機械学習関連の情報収集方法について纏めます*1．大きく分けて，学会情報の管理・論文情報の収集・その他の三種について述べたいと思います．今回のトピックの多くは他の分野にも通用する話になっているかと思います．他の分野の方がどのように情報収集されているのかも気になるところです． 学会情報の管理 まずは学会情報の管理についてです．機械学習に関連するカンファレンスは（特に近年乱立気味で）非常に沢山あります．全てをチ

先日PFIセミナーにて，「SGD+α: 確率的勾配降下法の現在と未来」というタイトルで発表をしました！発表の機会を設定して頂いたPFIの皆様，ありがとうございます．スライドは以下になります． SGD+α: 確率的勾配降下法の現在と未来 from Hidekazu Oiwa 確率的勾配降下法(SGD)はシンプルで大規模データから”そこそこの”解を得るには非常に有効なアルゴリズムです．一度自分で実装してSGDを回してみたことのある人も多いと思います． 一方で 結局ステップ幅の設定が大変 正規化とか前処理しないとそれほど上手く動いてくれない などなどSGDには欠点も多く，たくさんの人が使う際に苦しめられてきた現実もあるのではないでしょうか． 今回の発表では，SGDの欠点を克服するため，およびさらなる長所を加えるための，最新の+α拡張研究について紹介しました． 内容は， ステップ幅設定に今後悩まさ

先日行われたICML読み会2013で発表してきました．主催者の @sla さん，会場提供をして頂いた中川先生，および読み会を盛り上げて頂いた他発表者・参加者の皆様ありがとうございました！やはり論文読み会は刺激的で非常に楽しいひとときが過ごせました． これからも定期的に論文読み会が開催されるとの事なので，これからも楽しみですね．（KDD読み会とかNIPS読み会とか？） 自分は"Large-Scale Learning with Less RAM via Randomization"という論文の紹介を行いました．発表資料を以下に載せておきます． ICML2013読み会 Large-Scale Learning with Less RAM via Randomization from Hidekazu Oiwa 論文の概要は， "そもそも重みベクトルの値を格納するのにfloat型が本当に必要なの

自分のメモ書きとして，たびたび論文執筆やプレゼン時に参考にしているサイトを以下にまとめてみました． 自身の研究分野である，コンピュータサイエンスや人工知能分野に関連する資料が多めです． 他に参考となる有用なサイトをご存知の方がいらっしゃれば，コメント等で教えて頂けると筆者が喜びます！ English Check Manual 東大，牧島先生の作成した英字論文執筆／校正のためのチェックマニュアル． 英字論文を書く際に，（特に日本人が）誤りやすい文法や単語を修正例とともに示したもの． 自分が英文を書く時はもちろん，校正時もこのチェックマニュアルに従って，誤り箇所に番号を振る形で修正しています． 英語論文の書き方 東大，松尾先生の作成した英語論文の作成マニュアル． 論文の完成度を高めるために何をすれば良いか，論文執筆の全体像・心構え・Tips集等盛り沢山 毎回新しい論文を書くたび，参拝する気持ち

概要 分類問題を多次元空間の「点（重みベクトル）」ではなく「箱（重みベクトルの集合）」の形で最適化する．ここで「箱」の形で最適化する，とは「箱」中の重みベクトル集合の中で最悪性能を示す重みベクトルで最適化問題を評価した場合の値を最大化する事．さらに，理論的にはPAC-Bayesian Boundを求めており，ノイズ環境下ではAROWやSVMよりも非常に高い性能を示すことを確認している． 背景 既存の線形モデルは，信頼度や代替となる重みベクトルの情報を持たせる事が困難 Bayesian Classifierは，計算量やメモリ制約の問題から近似手法が必要 これまた中庸を取る 重みベクトル集合，つまり「箱」の最適化を行う 高速かつ省メモリでパラメータ更新が可能かつパラメータとして信頼できる重みベクトル集合が得られる 最適化問題とアルゴリズム (3)式 : 累積損失項 + log (箱の体積) +

こんばんは．[twitter:@kisa12012]です．しがない機械学習系大学院生をやっております．Machine Learning Advent Calendar 2012 9日目では，"NIPS2012より識別も出る学習の進展を垣間見る"という無駄に野心的なタイトルで，先ほどまで開催されていたNIPS2012で発表された数本の論文概要を紹介します．機械学習，特に識別モデル学習の最先端が多少なりとも垣間見える，もしくは論文本体を読んでみようと思わせられる記事になっていれば幸いです． 重要: 概要紹介のみですので，数式は一切出てきません．（数式を記述する前に力尽きました……） NIPS2012とは？ ホームページ : http://nips.cc/Conferences/2012/ 機械学習のトップ国際会議の一つ．機械学習の理論的な面を解析した論文や，理論的背景を持ったアルゴリズムの導出

本日サイボウズラボさんの会場で開催されたICML2012読み会に発表者として参加しました． 主催者のnokunoさん，会場係のshuyoさん，また参加者の皆様，ありがとうございました！非常に勉強になりました． 今回発表したのは，Poisoning Attacks against Support Vector Machines (Biggio+) です． 発表資料 PoisoningAttackSVM (ICMLreading2012) from Hidekazu Oiwa 元論文 http://icml.cc/2012/papers/880.pdf 概要 論文の名前通り，SVMの訓練データに毒を盛るためのアルゴリズムを提案 毒を盛るとは，すでに学習されたSVMのパフォーマンスを劇的に下げるためのデータを生成して，SVMの新たな教師データとして潜り込ませること 手書き文字認識での実験では，た

概要 オンラインでの分類学習の世界では，CWが非常に強力なアルゴリズムとして注目されています．特に，その圧倒的な分類精度及び収束速度は圧巻の一言であり，自然言語処理を中心に様々な分野で応用例や派生アルゴリズムが提案されています*1． 一方で，ノイズデータのが混入していた場合に精度がガタ落ちする性質がCWの重大な欠点として多くの人から指摘されていました．ノイズが予め取り除かれている実験設定ならば良いのですが，ノイズが含まれている可能性の高い実データにはCWは中々不便．この問題を解決するため，ノイズ耐性の強いCW系アルゴリズムの決定版（？）として，SCW (Soft Confidence-Weighted)アルゴリズムがICML2012という会議で提案されました．本エントリでは，SCWの紹介を行います． Exact Soft Confidence-Weighted Learning, Wang

ただソーシャルメディアやマイクロブログを上手く利用しただけ論文は殆ど見かけなくなってきていますね．クラウドソーシングの新たな使い道を考案しました，な論文はちらほら．他には，ユーザー間を協調させる仕組みを作るサービスであったり，Twitterの中でも表層からは全然想定できないような潜在的意味を取り出す論文が多い気がします．機械学習を使ってほげほげ，というだけの論文も減りました？（昔からこれくらいだったかも） A Unified Approach to Learning Task-Specific Bit Vector Representations for Fast, Nearest Neighbour Search Vinod Nair, Dhruv Mahajan and Sundararajan Sellamanickam ビットベクトル＋近傍探索＋分野適応とかwktk Discove

NIPS2011の論文を紹介していくコーナー． 今回対象とする論文は，Ranking annotators for crowdsourced labeling tasks． 概要 本論文は，標本のラベル付を複数人にしてもらう時に，標本をきちんと見ず，適当な注釈を行なっている人を見付け出すためのスコアリングを提案しています． Mechanical Turk等のクラウドソーシングで今後必要になりそうなテーマですね． 本論文では，このような適当な注釈者をスパマーと呼び，スパマーを効率的に見つけ出すためのランキング手法を提案しています． 手法 2クラスの場合と多クラスの場合について議論していますが，今回は2クラスの場合を簡単に紹介します． スパマーはコイン投げと同じようにラベルを選んでいるため，P(注釈者のラベル|真のラベル)が0.5になります．[α,β] 一方で，仕事が出来る注釈者は上の確率が1

大学院の専攻全体で行われた輪講で、「L1正則化を導入したOnline学習手法」というタイトルで論文紹介を行ないました。 解説スライド FOBOS View more presentations from Hidekazu Oiwa このスライドを制作するにあたり、中川研究室の皆様には校正・アドバイス等の多大な協力を頂きましたことを、ここで御礼申し上げます。 原論文 "Efficient Online and Batch Learning using Forward Backward Splitting" [J. Duchi, Y. Singer : 2009] 補足 原論文で提案されているアルゴリズム(FOBOS)は、Online学習を用いるとともに、同時に特徴選択も可能にした手法です。 特に今回の解説スライドでは、L1正則化（つまり特徴選択）に話を絞って説明しています。 今回の解説スライ

Andrew Ngの講義で面白いスライドがあったので紹介．研究ではなく様々なアプリケーションへ機械学習を適用するときに実践すべきTipsが３つのトピックに関して語られています．以下は，スライド内で自分が覚えておくべきと思った部分を抽出し，メモ書きしたもの．実サービスやKDD Cup等のコンテストで機械学習を用いる度に，見返してみるのも良いかもしれません． スライド http://see.stanford.edu/materials/aimlcs229/ML-advice.pdf トピック１．Debugging Learning Algorithms 適当な分類器を学習させ，スパムフィルタリングでエラー率20%を達成したら次に何をすべきか？ 訓練データを増やしたり，より良い分類器を適用したり，色々な改善策が考えられる… 診断法1 : バイアス-バリアンス分析 現在の分類器のボトルネックはバイ

論文紹介のコーナー．*1 今回紹介するのは，KDD'2011のUnbiased Online Active Learning in Data Streams (Wei Chu, Martin Zinkevich, Lihong Li, Achint Thomas, and Belle Tseng)． Yahoo! Labsのグループによる研究です．(その後，第一著者はMicrosoftへ移動しています) 本論文は，ユーザーがコンテンツを生成できるウェブサービスから効率的にスパムやアダルトコンテンツを排除する手法について提案されています． このようなサービス形態はUser-Generated Content(UGC)と呼ばれ，ニュースサイトのコメント欄や掲示板・SNS・ソーシャルゲーム・ユーザー投稿型動画サイトが主な例として挙げられます． 3行概要 ストリームデータ環境下において，学習に有用

自分用メモ． 当日，チェックしておきたいAccepted Papersを以下に纏めておきます． ペーパーが公開されているものは，アブストをナナメ読みした感想を簡単に書いています． Frequency-aware Truncated methods for Sparse Online Learning Hidekazu Oiwa, Shin Matsushima, Hiroshi Nakagawa 手前味噌ですが，自分達の論文． Active learning with evolving streaming data Indrė Žliobaitė, Albert Bifet, Bernhard Pfahringer, Geoff Holmes ストリームデータ環境での能動学習． Manifold Coarse Graining for Online Semi-Supervised Lear

ICML2011のAccepted paperが公開されています． http://www.icml-2011.org/papers.php 個人的に気になった（あとで読みたい）論文リストを以下にまとめていきます． オンライン学習，多クラス分類問題，スパース化，転移学習系の論文が多めです． Efficient Sparse Modeling with Automatic Feature Grouping (Wenliang Zhong, James Kwok) ノルムとノルムを組み合わせたsparse modeling手法であるOSCARのソルバー提案． 計算量をからに改善． d:特徴次元数 http://www.icml-2011.org/papers/9_icmlpaper.pdf On tracking portfolios with certainty equivalents on

Twitterにおけるデマ検出手法を論じた研究が，ついにEMNLP2011に出てきたので紹介します． 論文：Rumor has it: Identifying Misinformation in Microblogs[Qazvinian et al., 2011] Twitter上のデマに関する興味深い統計情報も幾つか含まれているので，興味のある方は一読されると良いかと思います． 概要 噂と噂に関連するツイートを検出すると同時に，その噂の信頼度を推定 様々な特徴量を用いて実験 ツイートの文面を使って分類器を作るだけで，高い精度が実現可能！ ただし，アノテートされたツイートを教師データとして使用 背景 マイクロブログ上で噂は急速に広まる デマや誤情報は，企業にとって大きな障害となりうるので自動で特定したい この研究では，以下の手順でデマや誤情報を検出する 特定の噂に関して言及しているツイート

ICML2011のドメイン適応の論文のメモ書き．数式番号が1つも使われていない，珍しい論文． Domain Adaptation for Large-Scale Sentiment Classification: A Deep Learning Approach 概要 評判分析，評判抽出のためのドメイン適応手法の提案 Deep Learningというアプローチを採用 特徴の上位概念（製品の質，コストパフォーマンス等）を学習する 大規模データ解析，大量のドメイン適応を同時に行うことが可能 Domain Adaptation あるドメインで学習した結果を，その他のドメインでの学習にも利用する手法 様々なドメインで学習をしたいが，各ドメインで別々に学習を行う場合，以下の問題点がある 全ドメインに対して教師データを作るのは困難 ドメイン間で知識を共有できない Deep Learning 特徴の階層

ソースコード ソースコード 内容 劣勾配法の解説は，以下のブログ記事が詳しいです． 劣微分を用いた最適化手法について(3) | Preferred Research こちらでも劣勾配法について簡単に説明したいと思います． 多クラス分類問題を解く場合，ヒンジ損失関数は以下の式で定義することが出来ます． ここで，が現在の重みベクトル，が入力ベクトル，が正解ラベルです． ヒンジ損失関数では，正解ラベルのスコアと不正解ラベルのうち一番高いスコアとの差が重要な役割を果たします． このように定義したヒンジ損失関数を用いて，劣勾配法はデータが1つ与えられるたびに以下の更新式に従い重みベクトルを更新します． ここで，は，毎回の更新時にどの程度重みベクトルを動かすかを調節するステップ幅です． 多くの場合，ステップ幅はとなる値を用います．[Zinkevich, 2003] 以上が劣勾配法（ヒンジ損失関数）のア

ICML2011のOptimal Distributed Online Predictionをざっくりと読んだので，メモ書き． 論文 概要 既存のオンライン学習アルゴリズムをミニバッチに拡張，分散学習を可能にする 勾配ベースのオンライン学習手法は全て拡張可能 勾配ベースのオンライン学習手法 : Dual-Averaging, Mirror descent algorithms (Subgradient method)等 Regret Boundは (m:データ数)で分散数kに依存せず，凸制約の上では理論上最適解 確率的最適化の文脈から，分散型のアルゴリズムを提案しているとも見ることが可能 実験により，ノードの数の増加に応じて収束速度が向上することが示された distributed mini-batch framework(DMB)とは？ k個の学習器にそれぞれ別のデータを食わせて勾配を計算

オンライン学習による線形識別器(Online Linear Classifiers ~PerceptronからCWまで~)というタイトルで研究室内の勉強会発表を行いました． 勉強会で使用したスライドを以下に公開します． (スライドが表示されない場合は，一度リロードを行うと表示されるようになる場合があります．） スライド OnlineClassifiers View more presentations from Hidekazu Oiwa. 内容概説 本スライドの構成は以下の通りです． 線形識別器とオンライン学習の定義，特性の説明 Perceptron MIRA / Passive-Aggressive Confidence-Weighted Algorithms 各アルゴリズムについて，アルゴリズム概要・理論保証・その後の発展に焦点を当てて解説しています． 内容のちょっとした補足 上のス