M1のryo-ko君がDual Decomposition(双対分解)のチュートリアルをやってくれた。DMLAメンバーで適当に持ち回って不定期に開催している。 Dual DecompositionとはTheoremの証明とか細かいところはいくつか分からなかったが、例えばCFGとHMMのdecodeを一緒にやるということを考えたときに それぞれのモデルは個別にtrainingされている decodeのときに両方の出力を同時に考慮しながらdecodeしたい というような状況のときに使えるようだ。あるいは例えば2つのモデルに限らず品詞タグ付けで「この単語は名詞にも動詞にもなる得るけど、あるコンテキストで見た場合には名詞になることがほとんどだ」というような状況はよくありそうだが、そういうglobalな制約をdecode時に入れられるというのが特徴らしい(制約の部分はMRFみたいなので組み込んであげ

松本研毎年恒例の(OBの方もこられる)機械学習に関する勉強会、SVM勉強会が今年もありました。去年は 聴講のみの参加 M1でまだ特に研究も進んでいなかった なんかOBの人、(国際学会の)論文で見たことあるような人ばっかりなんですけど、、、 という感じでOBの人になかなか話しかけれなかったんですけど*1、今年は発表もしたので普通に色々お話できてよかったです。隠れ変数の事後確率最大化ではなくてラベルの確率最大化の付近は確かにごもっともなので考えてみたいと思います。 懇親会はid:mamorukさんにご紹介してもらって、中川さんと割と長くお話できました。学部のときは実は筑波で山本先生のところで卒論を書いていらっしゃったりなど、意外というかやはりというか世間は狭い。去年までNICTにいらっしゃって、現在Googleということでそれぞれの雰囲気の違いやらを聞かせてもらったり。東工大の高村さんともお話

AAAIのセッション中によく分からなくて質問したやつの論文。Nested CRPとどう違うんやという付近がよく分からなかったのだが、論文を普通に読んだら分かった。Nested CRPは完全に教師なし学習でtreeを作っていくが、この論文(tree-HDPと彼等は呼んでいる)では「このインスタンスがどのクラスに所属しているかは分かっている。しかし、クラス間の階層的な関係はunknownなので、それを教師なしで学習しよう」ということのようだ。どのインスタンスにどういうラベルが付いているかは、例えばflickrのタグとか使えるので、そういうタグ間の階層関係が教師なしで自動で作れるというイメージか。他にどう役に立つのかと言われれば正直よく分からないが、secondにGriffithsさん(認知とかそういう関係?)がいるので、こういう階層的なカテゴリの学習をできるような生成モデルを作りたかった、とい

コード書きに疲れたので休憩がてら読んだ。数式が全く出てこないし難しいことはしていない。が、方向性として割と(?)新しい系の論文。 情報検索のタスクを考える。(IRのほうは全く追っていないので変なことは言えないが、少なくとも)現状の検索エンジンでは"I want to live a more healthy life"のようなqueryをまともに処理することはできない。そこで、AAAI2011のチュートリアルでもあっていたHuman Computationという技術を使う。早い話が難しいタスクは人間様に相談するのである。そういう意味でなりふり構わない感じではある。 この論文ではCrowPlanという手法を提案していて(人間様にやっていただくところは「人間:」と書いてある) 人間: 抽象的で難しそうなタスクを具体的なgoalにdecompose。goalに関係ありそうなqueryに書き変える

長かった(?)AAAIも今日が最終日。起きて会場付近に行くとデモっぽいのがあっている。労働組合関係の何からしい...。午前のInvited Talkは急遽キャンセルになったということで余裕を持って朝御飯を食べれて満足(ちゃんと三食食べたのは今日だけな気がするw)。午前中はSearch Engines & Qestion AnseringのセッションとMultigual Webのセッションに出てみる。QA関係は周りでやっている人がほぼ皆無なので(NLP系の話題ながらも)新鮮な感じ。最初の発表者がMSRA(Microsoft Research Asia)のChin-Yew Linさん(要約の評価尺度のROUGEなどで有名な方)で自分も要約の研究に興味持っていたりするので思い切ってセッションが終わって話しかけてみた。うーむ、MSRA楽しそう...。今日の最後に発表するので是非聞きにきてねと宣伝し

今日は朝食が出ると知っていたので今か今かと待っていたが、なかなか出てこない...。最初のInvited talkはStanfordのロボティクスの関係の人。ロボティクスの人ではあったけど、話の中身はCV(Computer Vision)という感じだった。複数視点のカメラがあるときにそれらの間でのオブジェクトのマッチングをいかにやるかとか2Dの画像がたくさん与えられたときに3Dに復元するとかそういう系統の話。今回の話ではそれらをfactor graph(因子グラフ)で解くという感じで特別難しい感じではなさそうだった(invited talkだからってのもあるか)。機械学習的にはそんなに新しいことをやっているわけではないのだが、こういう形で定式化したり、現実の設定と合わせるためにどういう制約を入れていけばいいのかなどを考えるのは分野のプロフェッショナルの人の仕事でこの辺はNLPも似たような感じ

本会議は1日目ですが、チュートリアルが2日あっていたのでどちらかというと中日という印象が強い。チュートリアルのときは朝食が出なかったのだが、今日からは朝食が出るということでセブンイレブンにお世話にならなくて済みそう。東大のダヌシカさんにお会いしたので、ご挨拶。研究のこととか色々教えてもらう。 オープニングセレモニーが最初にあってなんとかawardの表彰とかがある。 その後はpanelでAAAIの歴史っぽい話がずっとあっていた(最初の回は学習の話とか一個もなかったらしいですよ)。Invited talkはIBMのWatsonの話だったが、人から聞いていたりWebで資料をあれこれ読んだりしていたので外でやっていたロボットのデモを見たりする。NLPの会議じゃなくてAIの会議なのであれこれ見てみよう、ということで。昨日のHalのチュートリアルでやっていた強化学習の話に出てきたのもあった(下のロボッ

チュートリアルの前に杉山研の山田さんと少しお話。今やられている研究の話を聞いたりする。共変量シフト(covariate shift)と転移学習の関係が共変量シフト転移学習であることを知る(今さら)。あの付近は違う名前でも同じような内容だったり、同じ名前でも分野が違うと違うものを指していたりする場合があるのでややこしい。 さて、今日の午前中はHal Daume IIIのチュートリアル。結構楽しみにしていたものの一つです。 MA3: From Structured Prediction to Inverse Reinforcement Learning, Hal Daume III 資料 後半のInverse Reinforcement Learning自体と前半とそれとの関連がいまいち分かりませんでした。分かったというよりは前半は知識量でカバーしたけど、後半は知らないことが多かったので知識量

完全に時差ボケで3時頃に起床...。今日からチュートリアルということで受付へ向かうと坪井さんがいらっしゃる。NLPのことやらMLのことやらを話していたのだが*1途中でポスターのことを聞いてみると、ポスターは全員ではないらしい、むむむ(全員宛てのメールにきていたのでてっきりそうだと思っていた。が、やはりきっちりと連絡があったわけではないらしい)。一応、各セクションから選ばれた人がポスターでも発表ということらしいですが、正直oralでお腹いっぱいです。CS研のS木さんがACLのかっこいいかばんを持っていらっしゃるので、AAAIもそういうかっこいいのをくれないかなと期待していたが言語処理学会でもらったような感じのかばんでした。かっこいいかばんがもらえるまで国際会議に挑戦し続けたい(ぇ。 今日のチュートリアルは SA3: Discourse Structure: Theory and Practi

日付変更線を越えたので一日が長い。いつもは論文のメモ書き日記ですが、今日は挽回ということで写真多めでいきます(笑)。 NAISTから関空までは微妙にアクセスが悪くて、けいはんなプラザまで行かないといけないのだがyuta-hさんが車を出してくれたので非常に助かった、ありがとうございました。高速バスで本とか読むとあっという間に酔ってしまうので、寝て過ごす。関空に着いて飛行機の搭乗を待っていると東北大の乾先生らしき人を見かける。ほぼ同時刻に井之上さんも飛行機に搭乗しているというtweetを見かけたのでもしかしたら、と思ったらワークショップでAAAIに参加されるとのこと。知ってる人がちょっとでも増えてよかった。乾先生にも軽くご挨拶。 飛行機の中では書かないとやばいコードを書いたり、MacBookの電池が切れてからはiPadでトランスフォーマーを見ていたりして結局あまり寝ずに過ごしてしまった。Mac

休憩がてらにざっと読む(なのでいつも以上にちゃんと読んでない)。 LDAに色々なfeatureを付っこむという話。"Germany"とか"politics"とかは表層こそ違うものの、政治とかそういうトピックにまとまって欲しい。LDAでもそういう風に持っていくことはできるが、featureとしてそういうのがまとまってくれるように工夫したい。また多言語をつっこんだときでも"democracy"と"democracia"はLexical Similarityのようなものを使えば似たトピックにいるというのが分かりそうなので使いたい。 どうやってやるか。単語の多項分布に対応する側のハイパーパラメータをいじる。βがが相関を持つように頑張る。似たような話にトピック間に相関を持たせる話があるが、これは単語毎に持たせるようなのでちょっと違う(この時もpriorをいじってVBに持っていくが、共役性が崩れるので

ノンパラベイズの解釈のところでid:mamorukさんとあれこれと議論。 相手の立場に立って考える 言葉の定義のところでお互いに食い違いがあったということが分かってくる。例えば今回の場合 パラメータがない データに語らせる の付近であれこれと食い違いがあった(詳しくは書かないけど。階層ベイズ、周辺化、経験ベイズとかまともに書くと疲れる)。どっちが正しいというよりお互いの文脈で見ればどっちも正しいので、すごいcontext sensitiveというか言葉の定義の仕方があまりよくないと言われればそれまでな気もする...w。こういうときは正確さを多少犠牲にしてでも、伝えたいことを伝えられるように頑張るべきだし、相手がどういうことを理解したいのかどういう応用で使いたいのかetcを探りながら議論していく必要があるなと当たり前のことながら思い出した。こういうときによくないのは、自分の知識をそのままdu

ICML読み会でテンソル分解の論文が出てきたが、行列分解系はどうもなじみがないので理解しにくい部分があったり。NMFはPLSIと対応が取れるという話もあったりするし、テンソル分解もそういう確率モデルとの対応がないのかな、と思ってカーネル輪講が終わった後で林さんに聞いてみる。あるようだ。 Probabilistic Models for Incomplete Multi-dimensional Arrays 詳しくはまだ追っていないが(ちゃんと追えるかな...)、こういうやつを元にして指数族への拡張の話ができた、ということでした。こういうところは生成モデルのいいところですね(拡張した先で何やってるかはうまく説明できない、とかじゃなくて生成過程から説明できるとすっきりする)。日本語のサーベイのほうはこちら。後半普通にベイズベイズしていてかわいい。

数理情報からは竹之内先生と林さんが発表で聴講の方も何人か参加されてICML2011読み会を行ないました。発表者、質問してくださった方々ありがとうございました。全体で12-13(?)人前後くらいの人数。僕の発表はこの辺です。 #24 Sparse Additive Generative Models of Text - yasuhisa's blog 全部の感想を書いていると大変なので、自分が興味持った付近を中心に書いていきます。 GoDec: Randomized Low-rank & Sparse Matrix Decomposition in Noisy Case 個人的に一番面白かった。といっても技術的なことはほとんど追いきれなかったのですがw。この論文が、というよりrobust PCAというもの自体を知らなかったので、それが面白いなぁと思ったというのが正確か。 普通のPCAだと元の

DMLAにてtakuo-h君が紹介。途中から何をやっているか分かってきたが、できることとしては(Bayesian)sparse PCA + DPという感じ。latent featureというのが(PRMLとかに書いてあるような)Bayesian PCAでいうところのzに対応していて、そこの次元数がDPによって動く。Indian Buffet Processのほうではassignmentをベルヌーイで決めることによってsparsenessを出している(出している、というか勝手に出る)。普通のsparse PCAとかだとzのpriorをラプラス分布とかにしてあげるんだろうと思うけど(連続変数あんまり詳しくない...)、そこを0-1のassignmentで決めてあげている、と。

ICML2011にSparse Additive Generative Models of Textという論文が出ていて、あちこちで筋がよさそうな感じじゃね?と紹介されている(こことかこことか)。 Motivation肝となるアイデアはsparsenessで、LDAのような生成モデルだと単語毎にどの多項分布を選んでくるか決めるため、トピック毎に多項分布が生成され、どこのトピックでも"the"とか"of"のような単語は確率が高いというのを学習してきてしまって無駄が多い(論文中ではoverparametrizationと書いてある)。もちろん、Dirichlet分布のパラメータをいじってあげることでsparsenessをinduceすることは可能だが、そうすると逆に精度が落ちてしまったりということもある。そんなわけでICML2011の論文ではbackgroundになるようなモデルと他のトピック

言語教育勉強会にてtoshikazu-tが紹介。文法的な誤り(ここでは冠詞と前置詞の誤りに限定)を直すのに、非学習者(つまり母語話者)の書いたテキストを使って誤り訂正をやるという方法がよく取られていたが、最近では学習者の書いたテキストも誤り訂正に寄与するってことが分かってきた。しかし、その両方を使う研究というのはあまりないので、この論文ではASOという補助問題を使って解く形式の手法を採用。全体の内容はACL HLT 2011 最終日: 自然言語理解の研究がおもしろい - 武蔵野日記が詳しいので、補助問題の作り方とかASOの他の分野への応用についてメモしておきたいと思う。 ASOの補助問題の作り方はあまり直感的じゃないので好きじゃないのだが 学習者と非学習者の文をfeatureにしたものから、1つfeatureを除く 残りのfeatureを使って取り除いたfeatureを線形識別器を使って予

福水さんのカーネル法入門の3章、カーネルPCA、カーネルCCA、カーネルLDA(ベイズじゃないよ!!!)のところを担当しました。せっかくなので資料をアップロードしておきます。 Kernel20110619 View more presentations from syou6162 数理情報学講座(機械学習の研究室)で発表してきたので「せっかくだからNLPの面白い研究も紹介しよう」と欲張ってみたものの、紹介の仕方があまりよくなかったかもしれません、すみません。。。 紹介したのはいわゆるmatching CCA[1]で、確か持橋さんに最初紹介してもらったものでした。CCAよく分からんなぁと思ってしばらく放置気味になっていたのですが、カーネル法の本で出てきたので読み直してなるほどーという感じ。こういう研究できるようになりたいもんです。pairになっていないとCCAは動かないですけど、pairにな

Aさんから修論の副指導教官が決定したことを教えてもらう(よろしくお願いします)。副指導教官になっていない先生にも常日頃お世話になっている(コーディングのことやら人生相談(?!)やら)ことを松本研のスタッフの方全員にお世話になりそうな感じだ。 今週は研究室の研究会での発表(とそれに向けた実験)とかCS研でのベイズ勉強会での論文紹介やらで結構ばたばたしていた(反動で、終わった後yuta-hさんとかとSocial Networkを研究室で見たり、土曜一日寝ていたり)。ほぼ一日中コード書いたり調べものしたり式いじったりして死んだように(ときたま椅子で)寝たりという生活。研究会のほうは本当はもう一個先の実験までやらないとあれこれ議論できない段階だったのにそこまで行けなかったり(主に自分のC++能力の低さが原因)、ベイズ勉強会のほうは正直ちょっと準備&理解不足な感じでどちらも申し訳ない感じですみません