情報系の国際学会の多くでは、研究発表に加えてチュートリアル・セッションが設けられています。チュートリアルではホットなテーマの基礎から応用までが扱われ、要点を絞ってわかりやすく解説されており、初心者の入門には最適です。 学会に参加してチュートリアルを受けなくても、多くの場合はその内容を知ることができます。その概要は必ず会議のプログラムに掲載されますし、発表者がスライドを Web にアップロードすることも多く、発表の様子がビデオ配信されることもあります。 オンラインに情報があることは多いとはいえ、それらは基本的には分散しています。会議のウェブサイトにはチュートリアル一覧が載っています。しかし、そこから発表者によるチュートリアルサイトにリンクが貼られていることは少なく、スライドの情報もないことが多い。これは非常に不便です。 というわけで、2013年の情報系主要国際会議で行われたチュートリアルのタ

最近、人に本を薦める事が多くなった。とりあえずこの辺を読むといいですよ的なリストを作っておくと便利だと思ったので作ることにした。 以下、「事前知識のいらない入門本」「事前知識はいらないけど本格的な本」「事前知識がないと何言ってるかわからないけど有益な情報が満載な本」の3つにわけて列挙する。 事前知識のいらない入門本 数式少なめ、脳負荷の小さめな本をいくつか。何をやるにしてもデータ構造、アルゴリズム、数学はやっておくと幸せになれるよ。 情報検索と言語処理 データマイニングとか自然言語処理とかやりたい人にはとりあえずこれ。さすがに古い話が多くなってきたのでそろそろ新しい入門用情報検索本がでないかなあと思っている。 図解・ベイズ統計「超」入門 伝説のベイジアン先生がベイズの基礎を教えてくれる本。ベイズやりたい人はこれ。 珠玉のプログラミング データ構造とかアルゴリズムとかの考え方の基礎を教えてく

Shohei HidoChief Research Officer at Preferred Networks America, Inc.

Machine Learning Advent Calendarの20日目です。 はじめに Naive Bayes(NB)とその改良版のTransformed Weight-normalized Complement Naive Bayes(TWCNB)、Averaged One-Dependence Estimators（AODE）という手法について解説と実装を書きます。 Naive Bayes NBはベイズの定理と特徴変数間の独立性仮定を用いた分類器です。文書のカテゴリ分類等でよく利用されます。 NBは、事例$X$に対し$P(y|X)$が最大となるクラス$y$を分類結果として返します。$P(y|X)$は、ベイズの定理を用いて、以下のように展開が可能です。 P(y|X) = \frac{P(y, X)}{P(X)} = \frac{P(X|y)*P(y)}{P(X)} \propto P

この記事について ノンパラメトリックベイズは分かりやすいチュートリアルは良く見かけるのですが、そこから一歩進んだ(日本語の)資料に行きつけなかったので、色々と論文読んで簡単に(数式を出さないで)まとめてみます。 ぶっちゃけるとCollapsed Variational Dirichlet Process Mixture Modelsの簡単な要約です。 あまり自信がないのでもし間違ってたりしたらご指摘お願いします。 前の記事よりはまともな説明ができれば...と思います。 Infinite Gaussian Mixture Model (IGMM) の情報まとめ - old school magic 事前知識としてノンパラベイズと変分推論の知識が必要ですが、ノンパラベイズは持橋さんの分かりやすい解説があるのでご紹介します。 最近のベイズ理論の進展と応用 (III) ノンパラメトリックベイズ デ

これもある意味Deep Learning，Recurrent Neural Network Language Modelの話 [MLAC2013_9日目] この投稿は Machine Learning Advent Calendar 2013 の9日目の記事です． 本日は，Neural Network(NN)を利用したLanguage Model(LM)，つまりNeural Network Language Model(NNLM)の一種であり， Recurrent Neural Network(RNN)を使ったRecurrent Neural Network Language Model(RNNLM)について説明します． RNNLMに行く前置きとしてざっくりいくつか用意したので，知ってそうな人は先へ進んでください． 前置きを入れているうちに長くなりすぎた...． しかも，そもそもNNの説明

先日PFIセミナーにて，「SGD+α: 確率的勾配降下法の現在と未来」というタイトルで発表をしました！発表の機会を設定して頂いたPFIの皆様，ありがとうございます．スライドは以下になります． SGD+α: 確率的勾配降下法の現在と未来 from Hidekazu Oiwa 確率的勾配降下法(SGD)はシンプルで大規模データから”そこそこの”解を得るには非常に有効なアルゴリズムです．一度自分で実装してSGDを回してみたことのある人も多いと思います． 一方で 結局ステップ幅の設定が大変 正規化とか前処理しないとそれほど上手く動いてくれない などなどSGDには欠点も多く，たくさんの人が使う際に苦しめられてきた現実もあるのではないでしょうか． 今回の発表では，SGDの欠点を克服するため，およびさらなる長所を加えるための，最新の+α拡張研究について紹介しました． 内容は， ステップ幅設定に今後悩まさ

1. 自然言語処理のための Deep Learning 東京工業大学 奥村・高村研究室 D1 菊池悠太 @kiyukuta at 2013/09/11 Deep Learning for Natural Language Processing 13年9月28日土曜日 3. 2つのモチベーション - NLPでニューラルネットを - 言語の意味的な特徴を NN→多層×→pretraining→breakthrough !! 焦って早口過ぎてたら 教えて下さい A yet another brief introduction to neural networks http://www.slideshare.net/yutakikuchi927/a-yet-another-brief-introduction-to-neural- networks-26023639 13年9月28日土曜日

Introduction to Information Retrieval の14章輪読用 Gunosy研究会 #31 の資料です Introduction ナイーブベイズでは用語を用語列か2値ベクトルで表現した 本章ではベクトル空間モデルを用いて文書を表現し，テキストを分類する． 基本的な考え方 ベクトル空間モデルでは各用語に対して1つの実数値の要素をもつベクトルとして各文書を表現する 通常TF-IDFを用いる R^|V| のベクトルとして表現される ベクトル空間分類は連続性仮説(contiguity hypothesis)の元に成り立つ 同じクラスの文書は連続した領域を形成し，他のクラスの領域とは重なり合わない． 連続領域に写像されるかどうかは文書の表現方法による 重み付け・ストップワードなど ex: "グループによって書かれた文書"と"個人によって書かれた文書"を区別したいケース 一

教師あり学習の教師データの作成はとても大変。例えば、twitter 言語判定のために、訓練・テストデータあわせて70万件のツイートに言語ラベルを振った人もいたりいなかったり。 Active Learning(能動学習) はそんな教師データ作成のコストを抑えながらモデルの性能向上を測るアプローチの1つ。 具体的には、正解なしデータの中から「こいつの正解がわかれば、モデルが改善する(はず)」というデータを選び、Oracle と呼ばれる「問い合わせれば正解を教えてくれる何か（ヒント：人間）」にそのデータを推薦、得られた正解付きデータを訓練データに追加して、以下繰り返し。 しかし「こいつの正解がわかれば、モデルが改善」を選び出す基準なんて素人考えでも何通りも思いつくわけで、実際 Active Learning のやり口は幾通りもある。 Active Learning Literature Surv

3. 発表の構成 • 最適化問題としての定式化 • オンライン確率的最適化 – 確率的勾配降下法 – 正則化学習におけるオンライン確率的最適化 – 構造的正則化学習におけるオンライン確率的最適化 • バッチデータに対する確率的最適化 3

SACSIS2013でのチュートリアル講演資料です。機械学習の導入：背景、手法、理論、応用）、実践：オンライン学習+線形分類で実際作ってみる、使う際の課題、発展：分散+リアルタイムでの機械学習（Jubatus）、深層学習（Deep Neural Net）についてまとめましたRead less

250. Reference "Pattern Recognition and Machine Learning" Christopher M. Bishop Springer; 1st ed. 2006. Corr. 2nd printing edition (October 1, 2007) "Truth and Probability" Frank Plumpton Ramsey (1926) "The physical basis of IMRT and inverse planning" S Webb British Journal of Radiology (2003) 76, 678-689 251. Wikipedia 渡辺慧 http://ja.wikipedia.org/wiki/%E6%B8%A1%E8%BE%BA%E6%85 %A7 『No Free Lunch T

第１３回 モヤLT発表資料