@klmquasi さんのお勧めで 電脳日本語論 作者: 篠原一出版社/メーカー: 作品社発売日: 2003/03/01メディア: 単行本購入: 1人 クリック: 8回この商品を含むブログ (11件) を見るを読んでみる。これはジャストシステムの開発者の人から辞書を作っていた人、そして ATOK 監修委員会のできるまでとできてから、などなどをまとめた本であり、日本語入力や計算機上の日本語処理に興味のある人が読むと、とてもおもしろいだろう(2003年の本で新し目だし、これはお勧め)。後述するが、これはぜひみなさんに買って読んでもらいたい。 Google 日本語入力ができてから、日本語入力は規範的であるべき(たとえば「ら抜き表現」は日本語として「間違っている」ので変換できないようにするとか)か記述的であるべき(実際言語は変わりうるものであり、使う人がそう書きたいのであれば、変換できるべき)かと

How to watch NASA's first Boeing Starliner crewed flight launch today (scrubbed)

Google日本法人が公開した新日本語入力システム（IME）「Google日本語入力」について、開発した同社の技術者が12月7日、開発の経緯や狙いなどを話した。予想を超える反響があったといい、「早い時期にβが取れる形で提供したい」と意気込む。Googleが来年リリースを予定している「Chrome OS」にも組み込まれる予定だ。 同IMEは12月3日にβ版として公開。Webから集めた情報を基に自動的に生成した辞書を搭載し、新語や専門用語、芸能人の名前などに強いのが特徴だ。冒頭の数文字を入力すると候補語を変換するサジェスト機能や、数字を16進数に変換する機能など、Googleらしい機能も備えている。Windows XP／Vista／7（それぞれ32ビット版）とMac OS X（Leopard以降）に対応し、無料で利用できる。 エンジニアの情熱の成果 開発は、ソフトウェアエンジニアの工藤拓さんと

Google IME がリリースされたそうで、Twitter でも #googleime というハッシュタグで祭りになっているようである。リリース文を見ると @taku910 さんと @komatsuh さんが主に関わっているようである。 以前Google サジェストのローマ字検索機能 = Google IME でも書いたことがあるのだが、これが出る予兆はいろいろあって、 2007年秋に Google 日本語 N グラムが出る(もっと言えば2007年3月に言語処理学会で「N グラムデータを出すならどういう形がいいか、どういう用途で使うか」という特別セッションがあった)ときから想像できたことであり、taku さんや komatsuh さんくらいのエンジニアであればエンジンを作るのには数日もかからないであろう。 Social IME 開発者の nokuno さんもGoogle IMEという可能

「ひとがご→人がゴミのようだ」 桁違いの語彙力、Googleが日本語入力ソフト（無料）発表…ATOKどうなる？ 1 名前：☆ばぐた☆ ◆JSGFLSFOXQ ＠☆ばぐ太☆φ ★ ：2009/12/03(木) 15:07:34 ID:???0 グーグル日本法人は３日、日本語入力ソフト（ベータ版）の提供を始めた。ネット上から自動的に単語を収集して辞書をつくり、新しい言葉や専門用語、著名人の名前なども収録されているという。ソフトをダウンロードして使う。同社の検索で、入力間違いを類推して指摘する「もしかして機能」の担当技術者らが開発。単語を入力すると、同社の検索エンジンで単語を入力した時に表示される候補と似た変換候補がリスト表示され、必要な言葉を選ぶ。 http://mainichi.jp/select/biz/news/20091203mog00020019000c.html 「ぱんつじゃ」まで

本日、Google 日本語入力 (ベータ) をリリースしました。 Google 日本語入力は Windows (現時点では 32 ビットのみ) および Mac に対応した日本語入力ソフトウェア (インプットメソッド) です。豊富な語彙と強力なサジェスト機能で思いどおりの日本語入力をサポートします。 Google 日本語入力は桁違いの語彙力を持っています。Web から機械的・自動的に辞書を生成することで、人手ではカバーしきれないような、新語、専門用語、芸能人の名前などを網羅的に収録しています。高い変換精度を実現するために、Web 上の大量のデータから統計的言語モデルを構築し、変換エンジンを構成しています。現在の Web のありのままを反映したインプットメソッドと言えます (この辞書および統計的言語モデルの作成は Google の大規模分散処理システム MapReduce を用いて、数千台規模

最近仕事の行き帰り、片道自転車が40分あるので、研究というかなんというかいろいろ頭の体操をしながら自転車を漕いでいるのだが、今日は @sassano さんに教えてもらって文節をどう区切るかを再読する。いや、N文節最長一致法というヒューリスティックがどういうものだったか(アルゴリズム的にはなにをしていることに相当するのか)考え始めてしまって、なんなんだろうなぁ、と思って……。(もしかしてこのヒューリスティックを統計的な手法で説明できたらおもしろそうだな、と考えたのが事の発端) 基本文献としては以下の3点。いずれも(かな漢字交じり文ではなく)かなだけからなる入力をいかに分かち書きするか、という問題に取り組んでいる。前読んだ気がするのだがすっかり忘れていた。かな漢字交じり文であれば漢字からひらがなやカタカナになったり、数字になったりするという、字種の切れ目の情報が使えるのだが、べた書きかな文は字

mowamowa くんの現状の Android の良い点と良くない点を見て、 それに、使っていてもっさりしているのもいただけない。特に困るのが日本語入力。デフォルトのiWnnは辞書の品質は良いのだが何より遅いため、3GSなどと比較されるとどうしても白旗を上げたくなってしまう。実際には、3GSもHTC magic(GDD phoneとかのアレ)も、どちらもハードな日本語記事を書いたりするのには向かないので、その程度のレスポンスの違いなどそんなに重要ではないのだが、どうしても見た目遅く見えるとダメなのは否定できない。 (中略) 参考のため、しめじも試してみた。入力は快適に感じられるが、辞書が弱い。私の直感ではiWnnの重さは辞書引きの部分にあり、しめじはそこらへんがいい加減だから速いだけ、だ。「とこ」と入力したらiWnnのように「ところが」「ところで」と出てきてわざわざ入力する手間を省くのが携

MeCabは形態素解析のためのソフトウェアです。日本語を分かち書きするために使われるものとしては最も人気の高いものだと思われますが、チャットや掲示板に書き込まれるような崩した日本語や、正しく書かれた日本語でも新語を期待した通りに分かち書きしてくれないことがあります。これはMeCabの内部で使われている辞書が一般的な言葉を情報源としているわけではないことに関係があります。MeCabというか、より一般的な話ですが以下のような認識が一般的かと思われます。 というのも、一番広く使われているであろう自然言語処理技術は形態素解析(単語分かち書き、と言ったほうがいいのかもしれない)であろうが、これは現在99%くらいの精度になっていて、すでに人間がやるより遙かに高精度で行えるのだが、これだけ高い精度が出せるのは新聞記事を相手にしたときだけであって、それは新聞記事をコーパスとして用いる機械学習により形態素解

インターネットへの進出が目立っているNHKが、今度は巨大ネット掲示板「2ちゃんねる」など、インターネット上のコメント（書き込み）の分析・研究を進めている。番組が「どの時間に盛り上がっているのか」「どういった内容が話題になっているのか」を探り、番組制作に役立てる。 「2ちゃんねる」などの書き込み8000件で実験 こうした分析を可能にするのが、「情報還流システム」。NHK放送技術研究所が2009年5月24日まで開催していた「技研公開2009」の中で、研究段階の試みのひとつとして展示された。NHKが番組を放送し、視聴者がネット上にコメントを書き込む。そのコメントをNHKが解析し、解析結果を番組制作に役立てたり、さらにはその情報を基に感想を共有するコミュニティのような、視聴者参加型のサービスを形成したりするため開発されているシステムだ。 ネットには雑多なコメントがあふれている。それをどのように解析

5月21-22日に開催される情報処理学会第191回自然言語処理研究会報告の発表原稿 PDF。 小町守, 牧本慎平 (Yahoo!), 内海慶 (Yahoo!), 颯々野学 (Yahoo!). ウェブ検索ログを用いたラベル伝播による意味カテゴリ獲得. 情報処理学会第191回自然言語処理研究会. Vol.2009-NL-191, No.9, May 2009. 情報処理学会の bookpark から先週木曜日にダウンロードできるようになったようだが、数カ所式に誤りがある(〆切以降一切修正できない模様)ので、参照される方はこちらを参照されたく。実際の発表前にそんな読む人はいないだろうと思ってのんびりしていたのだが、bookpark 公開バージョンをすでに読まれた方もいるみたいで、みなさまにはご迷惑をおかけしている次第であるが……。ちなみに電子化されたせいかどうか分からないが、ページ数が分からない

2009年05月08日15:00 カテゴリLightweight LanguagesLogos Ajax - ケブンッリジだがいくのけゅきんうのけっか とういけわで、じうどかしみてた。 ねとらぼ：確かに“読めてしまう”コピペに2ch住人が「人間すげー」と驚く - ITmedia News Use YJParse こんにちは。皆さんお元気ですか？私は元気です。 この文章は、イギリスのケンブリッジ大学の研究の結果 人間は文字を認識するとき、その最初と最後の文字さえ合っていれば 順番は滅茶苦茶でもちゃんと読めるという研究に基づいて わざと文字の順番を入れ替えてあります。 どうです？ちゃんと読めちゃうでしょ？ ちゃんと読めたら反応よろしく。 こんにちは。皆さんお元気ですか？私は元気です。 この文章は、イギリスのケンブリッジ大学の研究の結果 人間は文字を認識するとき、その最初と最後の文字さえ合ってい

yto