「深層学習による自然言語処理」を書きました
5/25に，IBMの坪井さんと，NTTの鈴木さんと書いた「深層学習による自然言語処理」というタイトルの本が発売されました． 特に昨年1年間は，土日や夜をかなり潰したので，ようやく発売されたなぁと感慨深いものがあります． 最終稿の直前で，図を差し替えたり，変な文が見つかったりしたので，まだ変な誤植があるかもしれませんし，読みにくいところもあると思います． 本の内容ですが，おおよそ2012年から2015年くらいの深層学習系の自然言語処理の流れをトレースしています． つまり，埋め込みベクトルの学習（word2vec），ニューラル言語モデル，符号化復号化モデル（encoder-decoder, sequence-to-sequence），注意機構（soft attention/hard attention）とその応用（attention encoder-decoder, memory networ
L1正則化で重みが0につぶれる理由
L1正則化、つまり正則化項としてL1-normを使うとパラメタの大部分が0につぶれてモデルがコンパクトになるよという話をよく聞くと思います。初めて聞くと、何で？と思われるかと思います。先日の岡野原握手会でもこの話題がさらっとでて、@hillbigさんはよく微分した形でこれを説明しています（「押すなよ押すなよー」）。私は目的関数の形で理解した方がわかりやすいと思っているので、それを紹介。 まず、正則化項の入っていない凸な目的関数を考えます。 普通パラメタベクトルは多次元なので、多次元の山みたいな形になりますが、ここでは1次元だと思いましょう。この時点で最適値は（頂点の位置）は3です。これに正則化項を足します。L2だとこんな形をしています、というか0を中心とする放物線です。 足しましょう。 足すと0に向かってシフトすることがわかるでしょう。L2正則化の式は原点中心の山なので、元の山（頂点がどこ
日本語で読める自然言語処理のチュートリアルスライドまとめ
先日、自然言語処理の講演などをしていたときに、そもそも私なんかが話すよりも公開されているチュートリアルスライドを集めたほうが有用なんではないかと思い立って、これから自然言語処理を学びたい人や、ちょっと新しい分野を知りたい人向けに、日本語で読めるチュートリアルスライドを分野別にまとめてみました。 主に、学会のチュートリアルや招待講演、それから研究者の方のWebページなどを参照しながら作りました。 自然言語処理全般系の資料や、少し境界的なテーマは入っていません。 また、ぱっと読めるスライドだけにしています。 幾つか手前味噌な資料も載せてます・・。 頑張って集めてみましたが、思ったほど集まりませんでした。 作っていてわかったのですが、意外とスライドを公開している人は少ないようです。 埋もれてしまうのはもったいないですね。 いずれ、英語で読めるスライドを集めてみようと思います。 そっちはそっちで、
オンライン学習の本が出版されました
2015/4/8に、会社のメンバー4人で執筆したオンライン学習の本、「オンライン機械学習」が講談社より発売されました。 自分自身が機械学習の専門家であるという自負は微塵もないのですが、長らくJubatusの開発をしていましたので実装的な視点や実応用的な視点で書くことがあるだろうと思って少しだけ執筆に参加しました。 本当は、自然言語処理の応用を大量に書いたり、実装のツラミみたいなコラムを最初ガッツリ書いたのですが、いくつかのトピックがなくなったり応用多すぎと突っ込まれて消えていってしまいました。 オンライン機械学習 (機械学習プロフェッショナルシリーズ)海野 裕也 岡野原 大輔 得居 誠也 徳永 拓之 講談社 2015-04-08 売り上げランキング : 260 Amazonで詳しく見る by G-Tools 主に自分の書いた実装の章についてちょっと書いておきます。 私はいわゆる数理情報系の
Statistical Semantics入門の発表をしました
先週のPFIセミナーで、Statistical Semantics入門という発表をしました。 主に分布仮説をベースにした、単語の意味を文脈の分布で表現する研究を纏めました。 LSIから始まって、PLSI、LDAと続く言語モデル系、NMFなどの行列分解系、そしてNNLM、RNNLMと来て昨年流行したニューラルネット系の3つでまとめるという形をとっています。 あまり専門的になりすぎず、過去からの歴史や流れを踏まえ、一方で実用面や研究テーマのココロ、問題意識を重視するような内容になるように心がけたつもりではあります。 当初、他の「いわゆる意味論」との比較みたいなスライドもあったのですが、変なコト言うと刺されると思ったので消しましたｗ ところで、応用の観点でこれらの話をどう考えているか、というような点について触れるのを忘れたな、と思ったのでこちらに書いてみます。 基本的に私見ですが。 私自身は、単
NIPS2013読み会でword2vec論文の紹介をしました
先週、 @sla さん主催のNIPS2013読み会で、word2vec論文（正確には続報）の紹介をしました。 ちょっと解説を書きます。 このところの深層学習ブームは自然言語処理にも来ていて、それらのウチの1つと言われています（が、全然deepっぽさはない）。 最初のモチベーションがどういうところにあったかというのは、ちょっと色々だと思いますが（おそらく最初は言語モデルにおける低頻度語の確率をウマイことモデル化・推定したかったんではないかな）、何はともあれ単語の意味的なあるいは統語的な振る舞いをベクトル表現で表すという研究が流行っております。 ベクトル表現というのは、1つの単語wに対して、その単語を「表現」するようなベクトル v(w) を作ります。 そんなこといわれても、作れば？ということなんですが、できたベクトルに対して何かしら「都合のいい」性質ができることが真の目標です。 「都合のいい」
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
