第5回自然言語処理勉強会を開催しました #TokyoNLP - nokunoの日記
というわけでようやく第5回を開催しました！！第5回 自然言語処理勉強会 #TokyoNLP : ATND n-gramを小さくする話を調べてみた by @machyさんCompressed ngram View more presentations from Keigo Machinaga N-gramとは 今日の題材はn-gramインデックスではなくn-gram確率（言語モデル）の話 応用：音声認識、手書き文字認識、スペル訂正、かな漢字変換、機械翻訳 単語n-gramを題材とする P(晴れ | 天気 は) = 0.24 P(きっと | 天気 は) = 0.03 n-gramを小さくしたい クライアサイドで動作するアプリケーションのためとか サーバサイドでもオンメモリになるとうれしい 注目するのはメモリ使用量：ファイルサイズではない まずはデータを見てみます 大規模なn-gramを自分で用
「Mozcソースコード徹底解説」 at 第２回自然言語処理勉強会 - nokunoの日記
というわけで自然言語処理勉強会を開催しました。第2回自然言語処理勉強会＠東京 : ATND私の発表は、シルバーウィークにもう１回読んでみたMozcのソースコードの解説をしました。Tokyotextmining02 mozcView more presentations from nokuno. その他、関連するリンクです。Togetter - 「第2回 自然言語処理勉強会＠東京 (#tokyotextmining)」 自然言語処理研究会 - tsubosakaの日記 (id:tsubosakaさん） 自然言語処理勉強会で「ナイーブベイズによる言語判定」を発表してきました - Mi manca qualche giovedi`? (id:n_shuyoさん）Query Suggestion @ tokyotextmining#2 (@y_benjoさん）
自然言語処理勉強会＠東京 のグループを作りました。 - nokunoの日記
最近、統計・機械学習・データマイニング関係の勉強会に顔を出しているわけですが、自然言語処理の勉強会がなぜか無かったので作りたいと思い、とりあえずグループを作りました。きっと大学の研究室レベルとか研究会とかがいっぱいあるのだと思いますが、社会人でも週末で気軽に参加できるオープンな勉強会、という点では意義があるのではないかと思います。 自然言語処理勉強会＠東京 | Google グループ まだ何もありませんが、興味がありましたらご参加ください。自然言語処理（Natural Language Processing; NLP)に関する勉強会です。自然言語処理について、理論と実践の両面について深く学び、発表と議論を通じて共有していくことを目的としています。 概要 主に東京で週末に開催されます。 発表者と会場提供を募集しています。 神経なんとかとの誤爆を避けるため、英名はtokyotextmining
SVMによる予測変換 - nokunoの日記
Google日本語入力のOSS版であるMozcが公開されたので、ソースコードを読んでみました。Google Japan Blog: Google 日本語入力がオープンソースになりました mozc - Project Hosting on Google Code変換アルゴリズムや学習のロジックに関しては、id:tkngさんが早速ブログにまとめていますので、そちらを読むとよいと思います。また何か気づいたことがあったら書いてみたいと思います。Mozc(Google日本語入力)のコードを読んだメモ - 射撃しつつ前転 Mozcのコードで個人的に興味深かったのは予測変換のアルゴリズムでした。私はもともと修論の時に予測変換の研究をしていて、予測変換のトレードオフという問題に取り組んでいました。予測変換は、単純に考えると候補の頻度が高ければ高いほど良いのですが、それだけだと常に最も短い候補が出力されてし
大傑作「私の優しくない先輩」 - every japanese woman cooks her own curry
■「羽田に行ってみろ そこには海賊になったガキどもが今やと出発を待っている 監督：瀬々敬久」。 久々に。今見直すと設定に唖然。 ■原稿書き。 ■シネマート六本木試写室「リアル鬼ごっこ2 監督：柴田一成」。 「1」のとにかく走らせるという設定が今回も生かされていたが、物語が弱いのも変わらず。前作はそんなアホなという矛盾を逃げ切る力が良かったのだが。 ■アスミックエース試写室「私の優しくない先輩 監督：山本寛」。 大傑作だと思う。もし大ヒットしたら日本映画の全体レベルがグググと上がると思う。だって刺激を受ける作り手がいっぱい出るはずだから。そういう意味でも90年代は「LOVE LETTER」と北野武、00年代は「リンダリンダリンダ」と「下妻物語」「愛のむきだし」がその10年代を代表する作品だと思うが「私の優しくない先輩」は2010年代を語り継がれることになるのでは、と思う。「ソラニン」に期待し
プログラマなら人月なんかさっさと超えろ - 矢野勉のはてな日記
Java, プログラミングノリノリで書いてみる。 人月というのは「人月の神話」以来、現場の技術者にとっては「お金の計算にしか使えない単位」なのですが、発注者側に分かりやすいということでいまでも大はやりしています。というか受注者側もまじめにこの単位で計算しています。 そしてJavaの世界というのは、私のようにJavaが大好きだからやってる、という人間はすごく少数派で、「そろそろJavaでもやっとくか」「Strutsの使い方覚えたからもういいか」「できればJavaなんかいじりたくないなー。俺も早くプログラマに『これやっといて』って言えるようになりたい」という人のほうが多いのが実情なんですね。その点Rubyの世界は、今は「好きだからやってる」人が圧倒的でしょう。プログラム能力の高いJavaプログラマを探すのは、プログラム能力の高いRubyプログラマを探すよりずっと大変だろうと思う。 Javaの世
英語のプレゼンのこつ（理工系用） - Ockham’s Razor for Engineers
今アメリカ音響学会に参加していて、色々な方のプレゼンをガンガン聞いてます。で、いろいろこれはつかえる、と思ったことがあるのでメモしておきます。自分用のメモなので、あまりまとまってません。使うのは、中学生レベルの英文法だけでよい。英語発表の典型的な英語の使いまわしがあるから、ただそのテンプレいくつか覚えて、口語でひたすら喋ればいい。途中で「あー」とか「えー」とか言わない。タイトルの直後のスライドに、outlineを用意する。outlineのスライドで、「こういう問題があって、これを使ってこーゆー結果がでたので、ここまで紹介します」と5行ぐらいだらだら書いて、それを一気に喋って、聴衆に概要を頭にいれてもらう。図が主体のスライドでは、とにかく問答無用で最初にThis is a picture(figure) of ほげほげ.と言う。図は左からみるのか、上から見るのか説明する。重要で面白い結果、強
小山薫堂さんの講演で知った「おくりびと」がヒットした本当の理由 - ハックルベリーに会いに行く
昨日、民放労連青年協議会というところが主催したセミナーに参加してきた。そこで、アカデミー賞の外国映画賞を受賞した映画「おくりびと」の脚本を書かれた小山薫堂さんの講演があり、そのお話を聞けた。小山さんはちょうど「おくりびと」がアカデミー賞を受賞したばかりということで、それにまつわるさまざまに面白いお話を聞かせてくれたのだが、その中でも特に印象に残ったエピソードがあったので、それをここに紹介したい。 小山さんは、さまざまな紆余曲折の末この映画の台本を書いたのだけれど、その初号試写を見終わった時に、「これはいける」という確かな感触をつかんだのだそうである。それで、どうせなら宣伝も自らが担当しようとしたのだけれど、これが思いのほか難しかったらしい。というのは、「おくりびと」という映画は取り扱ってるテーマが「死」なだけに、イメージが良くないということで、みんなあんまり積極的に取り上げてくれなかったの
新人プログラマーがプロのプログラマーとして独り立ちするための7つの条件 - ハックルベリーに会いに行く
ぼくは以前にIT関連の仕事をしたことがあって、ぼく自身はプログラムを組めるわけではないのだけれど、何人かのプログラマーさんと一緒にお仕事をさせて頂く機会があった。その中で生まれて初めてプログラマーという職業の方と交流させて頂いたのだけれど、彼らはなかなかにユニークで特異な個性の持ち主たちであった。もちろんプログラマーと一口に言っても色々なタイプがいて、必ずしもひとくくりにできるわけではないのだが、共通していたのは好奇心が旺盛で新しい物好きだということだった。そして少々気難しい面がありつつも、基本的にはポジティブで、明日に向かって色々なことを前向きに、精力的に取り組んでいる人が多かった。 そんな中で、特に親しくお話しさせて頂いたTさんというプログラマーがいて、この方もなかなかに個性的で、ご自分の意見や主張というものをはっきりと持っており、ITのみならず世の中に対しても一家言お持ちであった。そ
「かんたん特許検索」がすごい件 - nokunoの日記
サポート掲示板で特許関係の書き込みがあり、それは勘違いだったので良いのですが、特許検索システムを探していて凄いヤツを見つけてしまったので、紹介します。 かんたん特許検索 | 無料・簡単操作で特許検索これまでの特許検索は専門家向けの難しいものでした。もっと誰でも気軽に使えるようにしたい！そこで「もっと簡単に」「もっと身近に」をコンセプトに生まれたのが「かんたん特許検索」です。まるでグーグルのようなトップページ。 検索結果。要約もうまく抽出できます。 あるキーワードに関する出願人の出願数ランキングもあります。 出願件数の推移もわかりやすくグラフ化できます。 2年前に未踏で調べたときはこんな便利なものなかったぞ！ というわけで日本語処理関係をちょっと調べてみました。マイクロソフトのIMEに関する特許（PDF)従来のユニグラムへのバックオフがもたらす品質の低下を防止することができる言語モデルを作成
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NLP関係のリソースまとめ - nokunoの日記
nokunoの日記
ローカルサーチ vs 遺伝的アルゴリズム - アルゴリズムマニア2.0
『ローラーガールズ・ダイアリー』を見たゼ！ - 空中キャンプ
Wikipediaから作成したN-gramデータを公開しました - nokunoの日記
http://d.hatena.ne.jp/zoot32/20100508
http://d.hatena.ne.jp/yanma_4/20080729/1217269026
Integral Image なるテクニック - mooz deceives you
wavファイルを入出力するテキトウなコード - diov_tset
orangestarの日記