5/25に，IBMの坪井さんと，NTTの鈴木さんと書いた「深層学習による自然言語処理」というタイトルの本が発売されました． 特に昨年1年間は，土日や夜をかなり潰したので，ようやく発売されたなぁと感慨深いものがあります． 最終稿の直前で，図を差し替えたり，変な文が見つかったりしたので，まだ変な誤植があるかもしれませんし，読みにくいところもあると思います． 本の内容ですが，おおよそ2012年から2015年くらいの深層学習系の自然言語処理の流れをトレースしています． つまり，埋め込みベクトルの学習（word2vec），ニューラル言語モデル，符号化復号化モデル（encoder-decoder, sequence-to-sequence），注意機構（soft attention/hard attention）とその応用（attention encoder-decoder, memory networ

2015/08/31に、箱根湯本富士屋ホテルで開催された、認知科学会のサマースクールで登壇しました。 内容は最近の自然言語処理関連の、深層学習に関するまとめです。 単語、文法、知識の3つのテーマに対して、埋め込みベクトル、構造の学習（recurrentとrecursive）、知識ベースの学習の3つに分けて話しました。 この1年位で作ったslideのまとめみたいな感じになっています。 言語と知識の深層学習@認知科学会サマースクール from Yuya Unno Slideshareを見ていただくと分かる通り、ここ1年位は深層学習系の自然言語処理について調べています。 特に注目している理由が2つあって、1つは単語埋め込み（word2vec）の最近の成果があまりにも良かったこと、もう1つはLSTM-RNNの言語モデルがあまりにも良かったこと。 前者は、数百次元程度のベクトルであっても、あれだけの

先日、自然言語処理の講演などをしていたときに、そもそも私なんかが話すよりも公開されているチュートリアルスライドを集めたほうが有用なんではないかと思い立って、これから自然言語処理を学びたい人や、ちょっと新しい分野を知りたい人向けに、日本語で読めるチュートリアルスライドを分野別にまとめてみました。 主に、学会のチュートリアルや招待講演、それから研究者の方のWebページなどを参照しながら作りました。 自然言語処理全般系の資料や、少し境界的なテーマは入っていません。 また、ぱっと読めるスライドだけにしています。 幾つか手前味噌な資料も載せてます・・。 頑張って集めてみましたが、思ったほど集まりませんでした。 作っていてわかったのですが、意外とスライドを公開している人は少ないようです。 埋もれてしまうのはもったいないですね。 いずれ、英語で読めるスライドを集めてみようと思います。 そっちはそっちで、

2015/4/8に、会社のメンバー4人で執筆したオンライン学習の本、「オンライン機械学習」が講談社より発売されました。 自分自身が機械学習の専門家であるという自負は微塵もないのですが、長らくJubatusの開発をしていましたので実装的な視点や実応用的な視点で書くことがあるだろうと思って少しだけ執筆に参加しました。 本当は、自然言語処理の応用を大量に書いたり、実装のツラミみたいなコラムを最初ガッツリ書いたのですが、いくつかのトピックがなくなったり応用多すぎと突っ込まれて消えていってしまいました。 オンライン機械学習 (機械学習プロフェッショナルシリーズ)海野 裕也 岡野原 大輔 得居 誠也 徳永 拓之 講談社 2015-04-08 売り上げランキング : 260 Amazonで詳しく見る by G-Tools 主に自分の書いた実装の章についてちょっと書いておきます。 私はいわゆる数理情報系の

さて言語処理学会の年次大会で気になった発表などについて書いてみます。 といっても、個別の発表にというよりは全体感です。 今年気になったのは、最適化について少し考えなおしたほうがいいのかなということでした。 言語を扱う上で、一般的に解釈の曖昧性が残ることがふつうですから、いかにハードな制約を設けても何かしらのスコア関数を最大化する形に落ち着くのが普通です。 一方で自然言語処理の出力は、複数の変数の組合せ（例えば品詞列）を求めることが多いため、候補集合が入力データ長の指数サイズになります。 したがって全部チェックすることはできません。 古くからこの問題は、動的計画法で解くことが多かったわけですよね。 Viterbi法やCKY法などがこれにあたります。 動的計画法で解くということは、スコア関数が部分問題に分解できるという極めて強い制約がかかるわけですが、自然言語には極めて強いローカルな制約があり

先週1週間、3/16から21まで、京都大学で行われた言語処理学会の年次大会に参加しました。 参加者が確か800人くらい？、発表件数270件以上と、年々増えているようです。 他の業界の規模を知らないのですが、情報処理の中の1つの分野でこれだけ集まるというのは多い方なのでしょうか。 初日のチュートリアルは春の情報祭にいっていたので参加できませんでしたが、最終日のワークショップまで丸々1週間の長丁場でした。 何が大変というと、例年毎日飲み会で、毎日朝9時から始まるのでずっと寝不足で大変疲れました（完全にダメだ）。 発表は気分の赴くままに聞いていました。 懇親会では、NICTの渡辺さんとIBMの坪井さんと、深層学習どんな感じでやってるのかの話を聞けたのはラッキーでした。 ところで、前職の時にインターンのメンターを毎年やっていたのですが、その出身者に何人か再会。 皆様、研究者としてちゃんと研究発表し

3/16に京都のグランドプリンスホテルで行われた情報処理学会全国大会の前座のイベント、春の情報処理祭に講師として参加しました。 御存知の通り、情処の全国大会には情報系のあらゆる業種から参加者が集まりますが、このイベントはM1（B4の人もいたそうな）を対象にして、広く情報科学に付いて学ぼうというイベントでした。 私はNL研からの推薦ということで、基本的には他業種の学生向けを意識して自然言語処理について話しました。 同時開催で言語処理学会年次大会が開催されていたので、言語処理系の人はあまり参加してなかったのではないかな？ 自然言語処理@春の情報処理祭 from Yuya Unno 自然言語処理の最近の流行りのテーマということで統計的機械翻訳（SMT）の紹介と（全然専門でも何でもないが）、いかに自然言語処理が他業種の技術で「荒らされてきた」か、そして分野外の人こそチャンスがあるというような話をし

先週のPFIセミナーで生成語彙論とDeep Learning（特に表現学習の領域）の関係について、思っていることを話しました。前半は生成語彙論の入門的な内容で、数式もなくてだれでも読めるような内容になっていると思います。生成語彙論の勉強を始めたのが最近なので、入門という程の内容にもなってないですが、こうした言語学の知見をもう一度紐解くと面白いかもしれません。 発表中にあまりちゃんと話さなかったことをちょっと書いておきます。2012年あたりから、Socherが既存のNLPタスクにバシバシ一連の手法を試していました。私もその辺りで初めて深層学習の話を聞いたわけですが、ちょうど構文解析をnon-terminalのところで表現ベクトルを使うという話がありました。これに対して、「素性構造のような複雑な構造と演算を、ベクトル空間と非線形関数の中に埋め込んでいることになるのでは」という感想を、宮尾さん（

AdaGradは学習率を自動調整してくれる勾配法の亜種で、いろんな人が絶賛しています。 勾配を足し込む時に、各次元ごとに今までの勾配の2乗和をとっておいて、その平方根で割ってあげるだけと、恐ろしくシンプルです。 Adaptive Subgradient Methods for Online Learning and Stochastic Optimization John Duchi, Elad Hazan, Yoram Singer. JMLR 2011. 丁度、 @echizen_tm さんがブログを書いてました。 AdaGrad+RDAを実装しました。 通常のSGDなどは学習率をだんだん減衰させながら勾配を足していくわけですが、どの様に減衰させるかという問題にいつも頭を悩ませます。 AdaGradでは最初の学習率こそ外から与えますが、減衰のさせ方や減衰率といったハイパーパラメータから

先週のPFIセミナーで、Statistical Semantics入門という発表をしました。 主に分布仮説をベースにした、単語の意味を文脈の分布で表現する研究を纏めました。 LSIから始まって、PLSI、LDAと続く言語モデル系、NMFなどの行列分解系、そしてNNLM、RNNLMと来て昨年流行したニューラルネット系の3つでまとめるという形をとっています。 あまり専門的になりすぎず、過去からの歴史や流れを踏まえ、一方で実用面や研究テーマのココロ、問題意識を重視するような内容になるように心がけたつもりではあります。 当初、他の「いわゆる意味論」との比較みたいなスライドもあったのですが、変なコト言うと刺されると思ったので消しましたｗ ところで、応用の観点でこれらの話をどう考えているか、というような点について触れるのを忘れたな、と思ったのでこちらに書いてみます。 基本的に私見ですが。 私自身は、単

先週、 @sla さん主催のNIPS2013読み会で、word2vec論文（正確には続報）の紹介をしました。 ちょっと解説を書きます。 このところの深層学習ブームは自然言語処理にも来ていて、それらのウチの1つと言われています（が、全然deepっぽさはない）。 最初のモチベーションがどういうところにあったかというのは、ちょっと色々だと思いますが（おそらく最初は言語モデルにおける低頻度語の確率をウマイことモデル化・推定したかったんではないかな）、何はともあれ単語の意味的なあるいは統語的な振る舞いをベクトル表現で表すという研究が流行っております。 ベクトル表現というのは、1つの単語wに対して、その単語を「表現」するようなベクトル v(w) を作ります。 そんなこといわれても、作れば？ということなんですが、できたベクトルに対して何かしら「都合のいい」性質ができることが真の目標です。 「都合のいい」

報道機関の発表の通り、10/27日に分散オンライン機械学習基盤Jubatusを発表しました。これに関しても書きたいことは山ほどあるのですが、来週Jubatus Workshopがあるので、それまでは秘密です（ウソです、聞かれたら答えます）。 さて、同時に公開されたのがpficommonです。これは、弊社内で使われていた便利ライブラリで、あまりの便利さにこれがないと開発できないため、Jubatusでも使われています（もちろんSedueでも）。そして、Jubatus公開に伴い公開となりました。pficommonは明日からでも使うべきなライブラリなので、先にこちらを紹介します。 pficommonは様々なライブラリからなる、複合的なライブラリです。 今日は個人的にお気に入りの、 xhtml_cgi json の２つを紹介します。 xhtml_cgi 実験用のコードなどを書くと、たくさんログを出力

昨日は@nokunoさん主催のICML2011読み会に参加しました。ボクは場所貸ししただけで、発表してません（汗　本当は超簡単なsemi-supervised naive bayseを実装して発表しようかと思ったんですが、発表者いっぱいいるし、まぁいいかなと。 さて、みなさん発表上手なので話半分に分かった気になりました。一番面白かったのは松島さんが紹介した下の論文。 Parallel Coordinate Descent for L1-Regularized Loss Minimization Joseph Bradley, Aapo Kyrola, Daniel Bickson, Carlos Guestrin coordinate descentというのは、特徴空間の中で適当な次元の断面を考えて、その平面上で目的関数を最小化し（特に、解析的に最小点が求まることもある）、これを繰り返せば

今日という日は自然言語処理業界はもとより，コンピュータの歴史の中で大変重要な日になったことでしょう．IBMのProject Watsonが，アメリカの人気クイズ番組Jeopardy!で，歴代のチャンピオンに勝利したのです． ＩＢＭスパコン、クイズ王者２人と対決し完勝　米番組 コンピュータWatson vs クイズ王の対戦 - Jeopardy! このプロジェクトは私が入社したころからすでに始まっていて，こういうチャレンジは本当にすごいなぁ，と思っていました．本当はこの日記も対戦日が決まったときに書こうと思って忘れていたのですが． では，何がそんなに画期的なのか．それは，クイズに答える，もう少し汎用的に言えば質問に答える，という作業はコンピュータにとってもっとも難しいタスクのひとつなのだということです．自然言語処理のタスクのひとつで，Question Answering (QA) と呼ばれま