動作するコードがあって素晴らしい - 武蔵野日記
本日は在宅勤務。 午前中から午後にかけてオンラインミーティングで6時間半。金曜日はほとんどこれで終わり。若干喉が痛い気がするのだが、気のせいだろうか……（気のせいではなかったことが、この翌週に分かるのだが）。 「BERTによる自然言語処理入門: Transformers を使った実践プログラミング」を読んだ（正確には、だいぶ前に献本してもらって手元にあったのだが、下に書くように感想にネガティブな部分もあるので、落ち着くまでコメントを書くのを少し控えていた）。 BERTによる自然言語処理入門: Transformersを使った実践プログラミング 作者:近江 崇宏,金田 健太郎,森長 誠,江間見 亜利オーム社Amazon 内容としては旬の内容で、深層学習時代の自然言語処理はこのあたりがベースラインになるのかなぁ、というような感じだし、少なくとも2021年現在ちゃんと日本語テキストを対象として動
AI と言いたいだけじゃないですか - 武蔵野日記
午前中は研究室 OB が来てくれて、企業の方とミーティング。まっとうな感じで開発していて、好感度が高い。この分野、研究しないといけないところと、しっかり開発しないといけないところがあり、前者だけでも後者だけでもダメだと思うのだが、両方ちゃんとやろうとされているようである。お昼はサシで色々話を聞いたが、目まぐるしく変わる時代だし、ようやくうちも学科が新しくなって挑戦しやすくなったので、2025年くらいには十分戦えるようになっている（首都大を出た、というブランドが確立する）かなと思ったりする。 午後は進捗報告を聞いたり研究相談を受けたり。時間がない…… 夕方は企業の方の訪問があったのだが、ちょっとあまりこちらのことを（というか自然言語処理そのものを）調べて来てらっしゃらないようで、微妙な感じに。どうも「人工知能で問題解決！」みたいに思ってらっしゃるようで、まず「仕事ではじめる機械学習」をお勧め
word2vec を超えた異空間 - 武蔵野日記
今日は第9回最先端 NLP 勉強会参加のためにリクルート MTL カフェへ。 この勉強会は毎年この時期に開催され、最前線で活躍する人たちがみんなが読みたいと思っている論文を紹介する、という趣旨で開催されている勉強会で、読む前に論文の投票があったりなんだりと、独特のプロセスがある。 自分はというと今年は以下の論文を紹介。 Ding et al. Visualizing and Understanding Neural Machine Translation. ACL 2017. 詳しくは紹介スライドを見てもらえるといいのだが、ニューラル機械翻訳を可視化したいというモチベーションで、ニューラル機械翻訳ではデコード時のアテンションを見ることで少しは見当が付くのだが、それでは全然十分ではないのでもっと細かく見たい、という話（アテンションはアライメントとも違うので、解釈しにくい）。 あとで [twi
自然言語処理のトップカンファレンス - 武蔵野日記
NAACL HLT 2010 の accepted papers のリストが今日出た。 知っている名前があるかなと思ったが、日本人ひとりもいないようだ。 (訂正) 松本研先輩の tetsu-na さんが通っているようだ。@cacahoさん情報どうもありがとうございます! MSR 時代のインターン同期とかたくさんいる。やはりカリフォルニア開催だと気合い入れて出してくるからだろうか……。他にも出していると聞いた人が通っていないのを見ると、かなり厳しかった模様。以前 masayu-a さんが日記で(現在はてなダイアリーに引っ越したようだが) NAACL > ACL >> (越えられない壁) >> CoNLL > EMNLP >> (越えられない壁) >> COLING-ACL = ACL-IJCNLP > COLING(ICCL) = >> (越えられない壁) >> EACL > IJCNLP
自転車がないと送りはタクシーに - 武蔵野日記
昨日は1時過ぎに寝たので、朝気がついたらもう妻がいない時間になっていた。いつもは21時〜22時に寝ているので、1時に寝ると睡眠不足である。 朝は電動アシスト自転車が修理中のため、タクシーで保育園へ。自分1人であれば予備の自転車を使うし、1歳半までは抱っこ紐で抱っこして普通の自転車に乗っていたが、さすがに3歳にもなると無理である。バスと徒歩で行けなくはないのだが、娘の手を引いて歩く（あるいは歩くのを嫌だと言って抱っこしなければならない）時間と労力を考えると、タクシー一択である。 出勤して午前中は進捗報告を聞く。新 M1 の学生の論文紹介と研究テーマの相談。研究テーマについて、提示した選択肢の中から選んでもらう B4 と違って、外部から来る M1 は各自考えてもらうのだが、考えたテーマに関しては遠慮なくダメ出しするので、まあ修士論文になりそうなテーマに当たるまでは色々サーベイして考えてもらえれ
年俸が700万の准教授 - 武蔵野日記
今朝は娘の予防接種。肺炎球菌とHibウイルス、そして四種混合である。この予防接種、同時に打てる数が決まっていたり、何日以内には打ってはいけないという制約があったりするので、スケジュールを自動で決めてくれるウェブサービスがあるのだが、裏では制約付き最適化問題（整数線形計画問題）を解いているのかと思うとワクワクする。このワクチンとこのワクチンを同時に打ちたい、などという制約をいろいろ入れても、一瞬で解を返してくれるのだが、これくらいの規模なら特別なことをしなくても解けるのだろうか。 で、予防接種の予約は妻が入れてくれていたので、行くだけかと思って娘を連れて（雨が降っていたので、抱っこひもで傘をさして）かかりつけの病院に行ったところ、（家にある）問診票を記入しないといけなかったらしい……。「お母さんは家にいるんですよね？持ってきてもらえます？」と言われたが、妻は土曜日には仕事なので、自分が取りに
Python で計算量を意識する - 武蔵野日記
アルゴリズムとデータ構造ワークショップ3日目（最終日）。 受講生たちの進度を聞くと、ちょっと厳しそうだったので、午前中いっぱいはデータ構造を続けてもらう。 お昼はくら寿司である。宅配だと高くなるので、車を持っている後輩に車を出してもらったら、たまたま今日に限ってなぜか家を出るときパンクして、結局タクシーでお寿司を持ってきてくれたりというハプニングがあったようだが、参加者の満足度は高かったように思う。3日それぞれ違うメニューを35人分オンタイムで届ける、というのはかなり大変だろうが、しっかり最後まで大過なく準備してくれて、とても助かった。毎年こんなワークショップができるわけではないが（TAの予算も毎年はつかないだろうし）、ときどきはこういうのがあってもよいかな、と思った。 午後はマージソートやクイックソートを実装してもらう。マージソートは自分も思い入れがあるアルゴリズムなので、ちょっと解説し
分厚い本もみんなで勉強すれば怖くない - 武蔵野日記
午前中は原稿の校正。ゴールデンウィーク進行なので、少し早いのである。 2限の時間にあったNLTK本の勉強会には出そびれてしまったが、あの本の全訳をしたそうで、あまり進行に口を出さないつもりだったが、さすがにそれはどうかと思って（そこまでして読むような本ではない）、もう少し他のことに時間を使ってもらうことにする。本にも時間をかけて読む価値のある本とそうでない本があると思うし……。全く読む価値がないと言っているわけではないが、他に優先度の高い本はあるし、全員が揃って読むべき内容かどうかという問題もある（有志で自分たちから言い出して集まって読むのは、どういう本でもいいのでぜひやるといいと思うが）。難しいのは、和訳で読んでほしいわけではないが、かといって英文和訳をしてほしいわけでもない、ということかなぁ（英語の専門文献を読む勉強会は他に3つあるし、そちらは英語を精読する価値があると思う）。結局、和
自然言語処理の独習に向かない教科書 - 武蔵野日記
午前中は共同研究のSkypeミーティング、なのだがこちらの音声が送れないという謎の不具合で20分ほどロス。前回までとお互いハードウェアもソフトウェアも変えていないはずなのだが……。こちらを再起動してSkypeを最新版に更新したらつなげるようになった。謎。 昼過ぎに会計処理。使い切らないといけない予算は全部消化したのだが、新年度の学生数が確定したら必要な機材を揃えておかないと。 夕方は研究室で機械翻訳の話をしたり。先日届いた「機械翻訳」を渡したりする。出版直後は品薄だったようだが、今は普通に買える。 機械翻訳 (自然言語処理シリーズ) 作者: 渡辺太郎,今村賢治,賀沢秀人,Graham Neubig,中澤敏明,奥村学出版社/メーカー: コロナ社発売日: 2014/01/21メディア: 単行本この商品を含むブログ (7件) を見るまだ詳しく読んでいないが、チラ見した範囲では相当よく書けているの
人数が減るとしんどい勉強会 - 武蔵野日記
午前中、SICP（プログラミングの教科書）の勉強会。人数が少ないせいか、なかなか進まなくなってしまった。この本は、全部ちゃんとやっていれば一つ一つの問題は難しくないのだが、途中で少しでも飛ばすと一気についていけなくなる、という特徴があるのである（十分それは注意喚起してあるのだけど、やはり脱落者が出た）。 勉強会は参加人数が少なければ少ないほど、やってこない人がいると困るのだが、人数の多い方がみんな演習をやってくる、という負の相関があり、モチベーションの高い人が一定数いないと勉強会が成立しない。その意味では、研究室としては学生から「これをやりたい」と言い出して勝手にやってもらうのがベストなのだが、研究室立ち上げの時期はそうも言ってられないので、教員がある程度介入しているのである。まあ、独習の方がいい、と言われたら、サポートする必要もないが…… ちなみに、独習がいいという学生とみんなでやりたい
YANS 2014 初日: 自然言語処理の若手の会の新しいチャレンジ - 武蔵野日記
今日からNLP若手の会第9回シンポジウム（YANS）である。ここ3年間は、PFIの[twitter:@hillbig] さん、京大の[twitter:@stomohide] さんと3人で共同委員長をしていて、1年目は @hillbig さんが、2年目は @stomohide さんが主担当をされたので、最終年度は小町が主担当、というわけである。 今年特に挑戦してみたことは、合宿形式のシンポジウムと、それに伴うハッカソンの開催である。情報科学若手の会という情報処理学会プログラミングシンポジウムの若手の会が毎年合宿形式ですごく密な交流をできるので、そのような会にしたいと思ったということと、ハッカソン（ご存知ない方もいると思うが、開発をするという意味の「ハック」と「マラソン」から作られた造語で、決められた時間で集中的に開発するイベント）的なイベントで大学・研究室・企業を超えた技術的交流のきっかけを
企業見学 (2): 3年ぶりのクックパッド - 武蔵野日記
朝、首都大学東京前に行くバスに乗ってみる。豊田駅北口のバス乗り場なのだが、他のバス停と比べて少し離れたところ（三菱東京UFJ銀行前）にあるため気が付きにくく、乗るのは今回が初めて。乗ってみたところ、これがもっとも大学に近いところまでほぼ最短ルートで行くバスであることが分かったのだが、1時間に1本しかない（毎時35分出発）ので、確かにこれを公式のアクセスマップに推薦するわけにはいかないかぁ。 午前中は来年度のTAの相談をしようと、4月以降もいる11時に集合をかけていたのだが、誰も来ない……。あとで聞いてみると、夕方のイベントに気を取られていたようである。 メール処理の合間にNAISTとつないでSkypeミーティング。論文誌の修正のお話をしたりする。予定を入れたのは1ヶ月前だったが、あっという間であった。言語教育勉強会をメインにする修士の学生2人は卒業するし、現在のM1で言語教育勉強会をメイン
日本語で読める自然言語処理の参考書まとめ - 武蔵野日記
第5回入力メソッドワークショップのために京都へ。元々はオープンソース界隈の入力メソッド開発者が中心になって年に1回集まる（同窓）会だったのだが、ここ数年は大学で入力メソッドのレイヤーの研究をしている人や実際に MS, Apple, Google 等入力メソッドの開発に関係している人が中心になってきている。入力メソッドを現在開発していなくても、過去に作っていた人もいらっしゃるので、いろいろとおもしろいお話が聞ける。 自分は去年までは奈良・京都からの参加なので近かったが、今年から東京に引っ越したので、朝起きて品川経由で京都まで。7時40分の便だったが、満席でびっくりした。そうか、世の中的には今日が帰省のピークなのか。 米原で雪のため少し遅れたが、10分遅れで京都に着いたら晴れていた。ワークショップ開催まで時間があったので、NAIST の [twitter:@tom_shibata] さんと近鉄
自然言語処理は独習が難しい - 武蔵野日記
朝、妻を送って出勤。最近朝の車の中が寒くてつらい。 午前中、機械学習の基礎勉強会を休むという連絡をくれた人がいるので、代わりに予習しておく。クラスタリングの章だったので、簡単に凝集的クラスタリングのプログラムを書いたりする。今回の基礎勉強会は、本文の例題は読むだけで、章末問題を全部解いてもらっているのだが、本文の例題に関してはプログラムを書いて説明してもらってもいいかもしれない。文章を読むだけだと、物足りないので……（とはいえ、うちの研究室は機械学習の授業がないため、読むだけでも勉強になる） 午後はスタートアップ企業の方々の技術相談。まだ2人とも大学生だそうで、こちらも刺激になる。ただ、現在抱える課題に対して自然言語処理や機械学習を活用したい、と言う割には、「教師あり学習」という用語が通じなかったので、自然言語処理の相談というよりは、開発の仕方や生き方の相談のようになってしまった。 自然言
自然言語処理の若手として何ができると嬉しいか - 武蔵野日記
情報理論の授業は今日を入れて残すところあと3回。最後の授業はまとめをやることにしているので、実質あと2回である。あっという間だったなぁ。 小テストのときに実施したアンケートで、「自然言語処理に興味があるのですが、何から学べばよいですか」という質問があり、ちょっと調子に乗って説明していたら、授業時間が足りなくなって焦る。演習問題をたくさん入れたら、そのぶん内容は減らさないといけないのであった。どうやら、自分は講義形式の授業で演習問題を入れるのが苦手らしい。チュートリアル形式で、みんなとインタラクティブにやるのは好きなのだけど、講義でも同じようにできないかな？ ちなみにそのとき勧めたのは [twitter:@mhagiwara] さんによる Python による自然言語処理。無料で読めてそれなりに分量があり、まんべんなく自然言語処理の内容をカバーしている文書はこれくらいではないかと思う。あとは
NLP2013 3日目: 実際のアプリケーションを想定して研究する - 武蔵野日記
朝、地下鉄で[twitter:@cocha123t]さんと合流。今回はご家族でいらしているようで、昨日[twitter:@naoinui]さんともポスターのとき一瞬だけすれ違ったのであるが、@naoinui さんとはメル友ならぬ絵はがき友 (文通というのだろうか……？) なのである。松本研どうなるんでしょうかという話が出たが、どうなるのか自分もよく分からない……。いずれにせよ松本研は松本研としてまだまだ続いていくと思うので、自分も遠くから見守りたいと思う。 9時からは情報抽出のセッションで、[twitter:@wk_kiyoshi] くんのレビュー文書からの省略された評価情報抽出に関する発表。 柏木潔, 小町守, 松本裕治. レビュー文書からの省略された属性の推定を含めた意見情報抽出. NLP2013. 1分ほど発表時間がオーバーしてハラハラしたが、かなり質疑応答が活発で、よかった。セッシ
グローバルに活躍するなら日本人であることは武器 - 武蔵野日記
夜の10時くらいに床に就いたのだが、2-3時間に1回起きてしまい、熟睡できない。体調が悪いせいというよりは、昨日と一昨日に寝すぎたせいかもしれないが……。 乾燥しているせいか、喉が痛くて眠れないので、朝病院に行く。それほど待つこともなくスムーズに診察。症状を伝えると、「かなりインフルエンザだった可能性が高いですね。ただ、もう治っていると思うので、検査しても出す薬は変わりませんし、検査する必要はないかと思いますが、会社の関係で診断書が必要なのであれば検査しますが、どうしますか。」と言われ、人生初インフルエンザの感染確認をお願いしようかと一瞬悩んだが、検査しないほうがいいと思いますよオーラが出ていたので、やらないことにする。喉の薬だけ処方してもらう。(これは、経験上、喉かぜは最近薬を飲まないと1週間以上こじらせることが多いので) 帰宅してから在宅で仕事 (←一応有給申請してあるが)。週5日の勤
マンガでやさしくわかるＮＬＰ - 武蔵野日記
読んだのはだいぶ前だが、これはNLPの研究者として紹介しておかねばなるまい。そう、「マンガでやさしくわかるＮＬＰ」である。 マンガでやさしくわかるNLP 作者: 山崎啓支,サノマリナ出版社/メーカー: 日本能率協会マネジメントセンター発売日: 2012/02/25メディア: 単行本購入: 3人 クリック: 3回この商品を含むブログ (4件) を見るこれは NLPをやれば就職できます！ NLPで仕事上難しかった問題が解決できました！ NLPのおかげで身長が10cm伸びました！ NLPをやっていたから彼女ができました！ というような話ではないが、マンガなので気楽に読めてよい。 というのも、NLPという用語が「自然言語処理 natural language processing」だけではなく「神経言語プログラミング neuro-linguistic programming」の略語としても使われて
なぜ奈良先端大で人材は育つか - 武蔵野日記
先々週くらいに読んだ本だが、NAIST図書館で買ってもらった「なぜ、国際教養大学で人材は育つか」はおもしろかった。 なぜ、国際教養大学で人材は育つのか (祥伝社黄金文庫) 作者: 中嶋嶺雄出版社/メーカー: 祥伝社発売日: 2010/12/09メディア: 文庫購入: 4人 クリック: 76回この商品を含むブログ (20件) を見るこの大学を知らない人のために補足しておくと、こちらは昔ミネソタ州立大学の秋田校だったが、日本の大学としての認可が下りず撤退したのを秋田県が引き取って、開学して7年目、という新しい大学である。Wikipedia にも経緯と大学の特色が書かれている。 偏差値ランキングも(秋田にある)新設大学としては高く、代ゼミのランキングで見ると一橋の社会学部に続き、阪大や筑波、東京外大より上である(ちなみに国際教養大学は独自日程で試験をしているのでここに入っている)。使う科目数が他
いい日旅立ち - 武蔵野日記
本日は学位記授与式。3月修了の人が卒業していく日でもある。 今年松本研を修了するのは博士が1名、修士が10名(うち1名は1年での短期修了)。修士の10名のうち、博士に進学するのは4名(うち1名は社会人博士)。従って学生数は1+6=7名が巣立って行き、matuyosi さんらスタッフの人たちも含めると10名以上が松本研を離れるのだが、研究室の1/4程度が入れ替わるというのは感慨深いものである。 4月からは NAIST にも NICT の中村さん を教授に、現在鹿野研の戸田さんを准教授にした知能コミュニケーション講座 が発足し、音声翻訳の研究をメインにされるそうだが、昨日 @taku910 さんが見せてくれた Google 音声翻訳も割と使えるようになってきた (音声認識部分は雑音のある環境での自由発話でも相当な認識精度。日本語の固有名詞もさくさく入る) し、言語処理に興味のある人にとっては
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
