自然言語処理の深層学習において転移学習はうまく行くのか? - yasuhisa's blog
このエントリはDeep Learning Advent Calendar 2016 5日目のエントリです。EMNLP2016に出ていたHow Transferable are Neural Networks in NLP Applications?を読んだので、それについて書きます。 [1603.06111] How Transferable are Neural Networks in NLP Applications? モチベーション 画像方面では、あるタスク(source side)で学習させた深層学習の結果を、別データセット(target side)でソフトマックス層だけ再学習させる転移学習(Transfer Learning)がうまくいっていると報告されています。 [1311.2901] Visualizing and Understanding Convolutional Ne
Google機械翻訳の仕組み&できるようになったこと/まだ難しいことについて、社内の機械学習勉強会で説明します - yasuhisa's blog
社内の機械学習勉強会で最近話題になった機械学習関連のエントリを取り上げているのですが、ここ一ヶ月ではGoogle Neural Machine Translation(GNMT)がとても話題になっていました。GNMTで使われているEncoder-Decoderやattentionのような仕組みを直近で使う予定は特にはないですが、機械学習を使うエンジニアとして知っておいて損はないし、技術的に何が変わったことにより何ができるようになって、何はまだできないのかを知ろう、というのが目的です。技術的な項目は興味ない人も多そうなので、最後に持っていきました。 Google Neural Machine Translation(GNMT)の最近の進化について できるようになったこと 定量的な評価 まだまだ難しいこと 技術的な詳細 Encoder-decoder Attention based encod
言語処理学辞典勉強会 with M1 - yasuhisa's blog
最近、言語学周りの勉強をし始めたというのとM1で入ってきたid:keiskS君がその付近に詳しいらしい、ということで言語処理学辞典を使って勉強会をやってみた。 デジタル言語処理学事典 〔CD‐ROM付〕 作者: 言語処理学会出版社/メーカー: 共立出版発売日: 2010/06/30メディア: 単行本購入: 1人 クリック: 14回この商品を含むブログ (8件) を見る前日に「自然言語処理の概観を掴むにはどうすればいいか*1」的な質問をしていたtakuo-h君、tweet経由で参加の@__yuyay__君も参加ということで総勢4人の小さな勉強会。GWにこんなことをやっているとは暇人w、とid:tomo_wbに言われてしまったが気にしない(彼はIJCNLPで忙しいので言う気持ちも分かるw)。自分のほうは自然言語処理と機械学習の付近の知識を(ある程度片よっているとは言え)持っているのでその辺を、
RPyで遊んでみる - yasuhisa's blog
一学期の授業にてデータ解析という授業を取っています。統計ソフトRを用いて*1、車市場の線形価格予想モデルのようなものを構築します…というのはとりあえずおいておいてw。 Rを使っていろいろやるわけですが、RをPythonから使えるRPyというライブラリがあるのでつかってみました。 まず、RPyを使うのに必要なNumericというライブラリをインストールします。しなくてもいいのかもしれないけど、Strongly Recommendされているので入れておきます。ここからどうぞ。次に、RPyのインストール。ここからどうぞ。 これで使えるようになってると思うので、使ってみましょう。デモがよくできているので、この付近でいろいろ試してみましょう。 普通はこれでうまく行くと思うんですが、R側にあるデータや、functionを使う時にちょっとつまった点があったので、自己メモ。 R側にあるデータは「r.loa
Phrase-Based Models - yasuhisa's blog
MT勉強会によるチュートリアル第二回。今日はid:mamorukさんによるPhrase-Based Models。MTの基本的なツール*1であるMosesとかでも使われている。 Statistical Machine Translation 作者: Philipp Koehn出版社/メーカー: Cambridge University Press発売日: 2009/12/17メディア: ハードカバー購入: 1人 クリック: 12回この商品を含むブログ (16件) を見る若干眠い状態でメモしているので変なこと書いている可能性大。いつも通りな自分用メモ。 IBM model 1-5は単語を単位とした翻訳モデルだったが、今回はphraseを単位とした翻訳モデル。注意点としてはphraseは言語学的なphraseではなく、単語がいくつか続いているというそういうphrase。"結果として"言語学的な
NAISTオープンキャンパス - yasuhisa's blog
今年も開催されました。去年の様子はこちら。 NAISTオープンキャンパスが開催されました - Seeking for my unique color. 去年はめっちゃ人が多かった印象があるけど、今年は雨が降っていたこともあってか(?)去年よりは人数が少なめ。しかし、それでも多くの受験生がNAISTにきてくれました。 若干眠いので、特にまとまりなく(gccのコンパイルをしながら)あれこれ書いてみる。 去年は研究室にいて受験生の人に入試のこととか研究室での生活のことについて話していたりしたけど、今年は研究室ツアーのガイドというのをやっていました。松本研、中村研、鹿野研を15分くらいづつで案内する簡単なお仕事。そういうわけで去年ほど研究室にあまりおれず受験生の人とお話はできなかったですが、午後くらいから@mrcarrot君、@keiskS君といったM1の人たちが受験生の人たちと話をしてくれている
「進学or就職?」=>「自然言語処理の研究者を目指します」 - yasuhisa's blog
4月ですね、NAISTにきてから早一年です。今年度もどうぞよろしくお願いします。 3月、4月は別れと出会いの季節ですが、自然言語処理の分野でも新たなところに移られた人がたくさんおられたようでエイプリルフールなのかしばらく見わけがつかなかったですw。中でもうちのlabから社会人博士として就職と進学を同時にやったid:smlyさんと日本IBMという大企業からPFIというベンチャーへ移られたunnonounoさんの2人が特に印象的でした。 http://d.hatena.ne.jp/smly/20110402/nyuusya unnonouno: 「私は人生の岐路に立ったとき、常に困難な方の道を選んできた」 unnonounoさんの「私は人生の岐路に立ったとき、常に困難な方の道を選んできた」というのはどこかで聞いたことがあるなぁと思った萩原さんのところでした。 自分の場合、 １．「迷ったら、人と
言語処理学会年次大会2011本会議3日目 - yasuhisa's blog
この日にはもう自分の発表も就活の面接も終わっていたので、のびのびと聞けた。朝から晩まで面白い発表目白押しで終わった頃にはぐったりしていた(苦笑)。この日はいくつか質問もできたのでよかった。自分が聞いていた発表で面白いと思ったものはこんな感じ。知り合いバイアスは取り除いたはずなんだががが。 L1正則化特徴選択に基づく大規模データ・特徴集合に適した半教師あり学習 半教師ありを使うと素性数が膨大になってしまうのでL1を使ってsparseにしましょうというお話。質問もしたが、教師ありのところと半教師ありの素性のところでL1とL2を使い分けるとどうなるかとかは知りたいところなので今後の実験にも注目したい id:mamorukさんが質問されていた「trainingのときにはfeatureが膨大なのは変わらないのではないか?」というのは確かにその通りだと思うのだが、FOBOSみたいな形でL1かませていく
言語処理学会年次大会2011本会議本会議1日目 - yasuhisa's blog
朝一のセッションで自分が発表。学会での発表は何気に初めてなので、この日は緊張して他の人の発表のときに質問とかできてなかった。結構緊張してしまっていたようで、実験のスライドの前付近で5分ちょっとしか経っていないことに気づく(発表時間は15分与えられている)。自分の前方に時計がなかったら10分で終わってしまっていた気がする...gkbr。評判分析のセッションで発表したのだが、パラレルでテキスト・データマイニングのセッション*1があっていてそっちに人が流れてしまったのか最初は人が少なかったが自分の発表の前に小休憩が入ったこともあってか割と多くの人に聞いてもらえた気がする。 自分の原稿とスライドはupしたのでそっちを参考にしてもらいたいが(原稿は4ページに収まるようにするためにフォントやらなにやらがえらく小さいということもあるし、原稿のほうも今見るとあまりよくない気もするのでスライドを参考にしても
スタンドアローンモードではなく、複数台のサーバーで動かす - yasuhisa's blog
一台ではえらく簡単だったんだけど 複数台では結構つまづいた できたけどうまく理解できていない できたけど、もっと効率よくできるんじゃないか などなどあったので記録を取っておく。 複数台のサーバーで(mapとかreduceを)動かすための鍵になるコマンドがあって、それはhadoop dfs。一台で動かしていると(たぶん)使わないコマンド。map&reduceするためのRuby(orその他のスクリプト)をhadoopで動かしたいサーバーに浸透させないといけない。scpなどのコマンドを使って、全てのサーバーにコピー...とかをやるわけではなく(同期とかを考えるとめんどくさそう...)、hadoopがその付近をやってくれるらしい。ついでに言うと、普通のファイルシステム上にコピーとかをしているわけではなく、hadoop上のファイルシステム上にコピーをするようです。そういうわけで「ファイルちゃんと置い
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
