おかげさまで、立ち見が出るほどの大盛況のうちに終了いたしました。発表された皆様、参加された皆様に心より御礼申し上げます。 参加者の方から頂いたフィードバックはこちら。 日時： 2010年6月16日(水）10:00－17:00 場所： 東京大学工学部6号館3階　セミナー室A・D （地図はこちら） 協賛： 情報論的学習理論と機械学習（IBISML）研究会 第1回 IBISML研究会との連続開催です。 問合せ先： workshop_01 latent-dynamics.net 参加費は無料です。 聴講参加に関しては参加登録の必要はありません。 17:30から本郷周辺で懇談会を予定しております。 Proceedings 全ての予稿をまとめたものをこちらからダウンロードできます。また、個々の予稿およびスライドは下記のプログラムのところからダウンロードできます。 出版物名称 日本語: 第1回 Late

以前縁あって小町さんと一緒に仕事をさせてもらい論文に名前を載せてもらったのですが、会社だけでなく自宅でもちょっと使いたいなーということもあり、実装してみることにしました。 参考にしたのは以下の論文です。 ラプラシアンラベル伝播による検索クリックスルーログからの意味カテゴリ獲得 元論文と違うのは、インスタンス-パターン行列の要素を単純な頻度から別の尺度に変えている点です。 元々そのまんま実装してみたところ、非常にレアな場合なのですが、ジェネリックパターン1つのみと共起するようなインスタンスがあった場合に、これが上位に出やすくなるという問題が発生し、どうにかできないかなと模索していたところ、小町さんからアドバイスを頂き、それを基に手を加えています。 とりあえず動作検証のためにMovieLens Data Setsを使って実験してみました。 最初にデータのフォーマットをツールの入力形式へ変更。

Percy Liang の "Type-Based MCMC" (NAACL 2010) [PDF] を何回かに分けて読んでいて, ようやくほぼ理解できた。 これはすごい論文です。非常に基礎的な話で, 統計の専門ジャーナルにも余裕で 通る話だと思いましたが, NAACLという。Michael Jordanが第2(第3でなく)著者なので, 恐らく Jordan のテイストが結構入っているのだと思います。 よくこれだけの内容を8ページに書いたなぁ..というのが最初の感想で, ちなみに, かなりベイズ的な議論に慣れていないと, 普通の自然言語処理の人だとそもそも何を 言っているのかさっぱりわからないかも知れないと思いました。 少し前に情処論文誌でトンデモ査読をされて唖然としたので, 余計にそう思うのかもしれませんが..。 *1 内部のベイズ勉強会では別の話 ("Painless Unsuperv

my biased thoughts on the fields of natural language processing (NLP), computational linguistics (CL) and related topics (machine learning, math, funding, etc.) I just returned from NAACL 2010, which was simultaneously located in my home town of Los Angeles and located nowhere near my home town of Los Angeles. (That's me trying to deride downtown LA as being nothing like real LA.) Overall I was pl

Code Archive Skip to content Google About Google Privacy Terms

Daichi Mochihashi NTT Communication Science Laboratories $Id: lwlm.html,v 1.1 2010/03/19 10:15:06 daichi Exp $ lwlm is an exact, full Bayesian implementation of the Latent Words Language Model (Deschacht and Moens, 2009). It automatically learns synonymous words to infer context-dependent "latent word" for each word appearance, in a completely unsupervised fashion. Technically, LWLM is a higher-or

MCMC NTT daichi@cslab.kecl.ntt.co.jp “The Gods may throw a dice..” --- ABBA `The winner takes it all’ 2010-2-21(), • NTT (PD, RS= ) – 35 15 – NTT – NTT • 2 • • – • (, ) • • • etc, etc … 0.92 0.37 1.0 0.85 0.61 2 1 • 1990 – • – – Web – x : • – • – () • • () • ( ) • 100 • MCMC MCMC 0 5 10 15 20 2002 2003 2004 2005 2006 2007 2008 2009 Gibbs MCMC All • ACL: Association of Computational Linguistics / W

Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty Yoshimasa Tsuruoka, Jun’ichi Tsujii and Sophia Ananiadou, ACL2009. 論文紹介．鶴岡さんのL1正則化付き確率的勾配降下法（Stochastic Gradient Descent，SGD）．L1正則化はコンパクトなモデルパラメタになってくれるので，実用上はとてもうれしい．しかし，0の点で微分できないので面倒だった．提案手法は実装が超簡単（擬似コードで20行くらい），超高速で，収束も早いし，性能もいい，いいこと尽くめ．初めての人にもお勧めできる簡単さで，しかもそのまま実用品になります． L1正則化は目的関数に重みベクトルのL1 normを

年越ししてから既に２ヶ月が過ぎ、２月も終わりが見えかけてきた今日この頃です。 生存報告をかねて、少しだけ最近やっていた事を書いておきます。 去年の年末くらいに、面白そうな論文を見つけたのでそれを読みつつ、実装していました。 NIPS2009 で発表された論文です。 その名も Conditional Neural Fields 。http://books.nips.cc/papers/files/nips22/NIPS2009_0935.pdf 名前から何か感じるところの有る人もいそうですが、これはCRFに隠れ層を加えて、非線形にした物になります。 自分のメモ用に、先に簡単に CRF についておきます。 -- CRF の説明はNLP2006のチュートリアル資料が割と分かりやすいです。 http://nlp.dse.ibaraki.ac.jp/~shinnou/lecture/nl/NLP20

Sparse methods for machine learning: Theory and algorithms NIPS 2009 Tutorial Francis Bach (INRIA - Ecole Normale Supérieure, Paris) Slides (6.5 Mb) Slides (low-resolution images - 1.9 Mb) Abstract Regularization by the L1-norm has attracted a lot of interest in recent years in statistics, machine learning and signal processing. In the context of least-square linear regression, the problem is usua