タグ

ブックマーク / blog.unnono.net (4)

  • 日本語で読める自然言語処理のチュートリアルスライドまとめ

    先日、自然言語処理の講演などをしていたときに、そもそも私なんかが話すよりも公開されているチュートリアルスライドを集めたほうが有用なんではないかと思い立って、これから自然言語処理を学びたい人や、ちょっと新しい分野を知りたい人向けに、日語で読めるチュートリアルスライドを分野別にまとめてみました。 主に、学会のチュートリアルや招待講演、それから研究者の方のWebページなどを参照しながら作りました。 自然言語処理全般系の資料や、少し境界的なテーマは入っていません。 また、ぱっと読めるスライドだけにしています。 幾つか手前味噌な資料も載せてます・・。 頑張って集めてみましたが、思ったほど集まりませんでした。 作っていてわかったのですが、意外とスライドを公開している人は少ないようです。 埋もれてしまうのはもったいないですね。 いずれ、英語で読めるスライドを集めてみようと思います。 そっちはそっちで、

  • 情報処理学会全国大会のイベントで自然言語処理について話しました

    3/16に京都のグランドプリンスホテルで行われた情報処理学会全国大会の前座のイベント、春の情報処理祭に講師として参加しました。 御存知の通り、情処の全国大会には情報系のあらゆる業種から参加者が集まりますが、このイベントはM1(B4の人もいたそうな)を対象にして、広く情報科学に付いて学ぼうというイベントでした。 私はNL研からの推薦ということで、基的には他業種の学生向けを意識して自然言語処理について話しました。 同時開催で言語処理学会年次大会が開催されていたので、言語処理系の人はあまり参加してなかったのではないかな? 自然言語処理@春の情報処理祭 from Yuya Unno 自然言語処理の最近の流行りのテーマということで統計的機械翻訳(SMT)の紹介と(全然専門でも何でもないが)、いかに自然言語処理が他業種の技術で「荒らされてきた」か、そして分野外の人こそチャンスがあるというような話をし

  • AdaGradが12倍速くなる魔法

    AdaGradは学習率を自動調整してくれる勾配法の亜種で、いろんな人が絶賛しています。 勾配を足し込む時に、各次元ごとに今までの勾配の2乗和をとっておいて、その平方根で割ってあげるだけと、恐ろしくシンプルです。 Adaptive Subgradient Methods for Online Learning and Stochastic Optimization John Duchi, Elad Hazan, Yoram Singer. JMLR 2011. 丁度、 @echizen_tm さんがブログを書いてました。 AdaGrad+RDAを実装しました。 通常のSGDなどは学習率をだんだん減衰させながら勾配を足していくわけですが、どの様に減衰させるかという問題にいつも頭を悩ませます。 AdaGradでは最初の学習率こそ外から与えますが、減衰のさせ方や減衰率といったハイパーパラメータから

  • 今、人工知能研究で何が起こっているのか

    半年前くらいに書いた草稿が、投稿されずに残ってたのでちゃんと書きました。 最近、人工知能という言葉がまた流行しているような印象を受けます。 ブームということの質は2つ有ると思っています。 1つは学術会で、最近良い成果が立て続けに出てきたという側面です。 もう一つは、それに呼応して大きな会社、特にIBMやGoogle、Facebookといった大きなコンピュータ系、インターネット関連企業が力を入れていることが大々的に報道されたことです。 両者はもちろん関係していて、いくつか技術的ブレークスルーがあって、それが企業の投資を呼んでいる、それと呼応するように学術的な成果が企業からでているという、正のスパイラルが生まれている様に見えます。 こうした流れをいち早くとらえた新書として、「クラウドからAIへ」というがあったので読んでみたのですが、一般のビジネスマンを意識して、歴史、現在、未来について大局

    今、人工知能研究で何が起こっているのか
  • 1