バイドゥ株式会社（本社：東京都港区、代表取締役 駐日首席代表 Charles Zhang、以下バイドゥ） は、ユーザーにより安心してバイドゥのサービスをご利用いただけるよう、自然言語処理研究者である首都大学東京　小町守准教授と連携し、来春を目処にバイドゥの技術的な情報発信をしていきます。 バイドゥは、現在提供しているIME（Imput Method Editor）製品に関する基本的な仕組みと、その背後に貢献している自然言語処理の概要について、分かり易い事例とともに、小町准教授と当社技術陣、プロダクト担当とで情報発信していく予定です。小町守准教授には、当社が研究開発・当社IME製品に実装している自然言語処理のコアな部分やIMEにおける変換エンジンといった部分について、専門家のナレッジをもとに分かり易く紐解いていただきます。 本取り組みを通じて、バイドゥがユーザー向けに発信する“バイドゥを支え

中国最大手の検索サイト「百度（バイドゥ）」が提供する日本語の入力ソフトが、パソコンに打ち込まれたほぼすべての情報を、利用者に無断で外部に送信していたことが分かりました。 セキュリティー会社は、機密情報が漏えいするおそれもあるとして、利用には注意が必要だと指摘しています。 アメリカのグーグルに次いで世界２位の検索サイト、中国の「百度」は、４年前から「Ｂａｉｄｕ ＩＭＥ（バイドゥ・アイエムイー）」という日本語の入力ソフトを無償で提供していて、おととしまでに１８０万回ダウンロードされるなど、利用が広がっています。 このソフトは、初期設定ではパソコンの情報を外部に送信しないと表示していますが、セキュリティー会社のネットエージェントなどが分析したところ、実際には国内にある百度のサーバーに情報を送信していることが分かりました。送っている内容は、利用者がパソコンで打ち込んだほぼすべての情報と、パソコン固

日本人がコンピュータを利用する上で欠かせない日本語入力機能。グーグルが2009年12月に提供を開始した「Google日本語入力」は、後発ながら変換効率の高さで評判を集めた。開発を主導した小松弘幸氏は「日本語入力はライフワーク」と語り、ユーザーインタフェース（UI）の進化につなげると意気込む。 「Google日本語入力」を開発したきっかけは何ですか。 学生時代に日本語予測入力システムを開発し、オープンソースソフトとして公開していました。グーグル入社後は開発から離れたものの、本業の傍らで新たな日本語入力システムの構想を温めていました。 直接のきっかけは、同僚である工藤拓からの提案です。彼は検索エンジンで入力語句を予測したりスペルミスを修正したりする「もしかして」機能の担当でした。この機能を日本語入力に応用したいというアイデアに可能性を感じました。 グーグルには、勤務時間の2割を本業以外に使える

メディア関係者向けお問い合わせ先 メールでのお問い合わせ: pr-jp@google.com メディア関係者以外からのお問い合わせにはお答えいたしかねます。 その他すべてのお問い合わせにつきましては、ヘルプセンターをご覧ください。

日本語のかな漢字変換に必要なもののうち、主要なものを 3つ挙げてみる（細かく言えば、必要なものはもっとずっといっぱいある）。 1. N-gram 言語モデル 直接つながる前後の文脈によって曖昧性を解消する。これが基本。「おもってはいる」が「思って-入る」ではなく「思って-は-いる」のほうがもっともらしい、といった基本的なところには N-gram 的なものが向いている。表記だけの N-gram でもかなりのところまで行けるというのは N-gram 漢字-かな変換 - アスペ日記と デモで示したとおり。 2. 共起情報 共起というのは、どの単語とどの単語が一緒に出現しやすいかということ。N-gram でカバーしきれない曖昧性解消に使う。例えば、「ねこをかいたい」が「猫を飼いたい」であるという程度は単純な N-gram 変換で解決できる。ある程度の規模のコーパスなら「猫-を-飼（う）」という 3

MetaMoJiは2011年2月3日、iPad向けのノートアプリ「7notes」を発売した。手書き文字をそのまま入力できるほか、フォント文字に変換することも可能。「会ぎ」のように画数が多い漢字だけをひらがなで書いても、正しい漢字に変換できる。作成したデータはクラウド上で保管・管理する。価格は1500円で、2月末まではキャンペーン価格として900円で販売する。 7notesに特徴的なのが、「交ぜ書き変換入力」機能。「えい業会ぎ」のように漢字とひらがなを混在させて書いても、正しく「営業会議」と変換される。「手書きと言うと、難しい字をいちいち書かないとコンピューターに伝わらないだろうと思われるかもしれないが、7notesでは面倒な部分はコンピューターが手助けする。漢字が書けない現代社会に提案する手書きだ」（浮川和宣社長）。 手書きの味を残したい場合は、手書き文字をそのままノート上に入力することも

HTML のルビ振り用タグ（<ruby>）は表記と読みのペアを抽出するのに使えそうな気がしたので，約 1000 万ページからルビを取り出してみました．ルビを使っているページ自体が少ないので，抽出できたルビはノイズや重複込みで約 800 万件，重複を除くと約 80 万件でした． ルビの例を以下に示します．左側が元の文字列で，右側がルビです． 文字化 もじか 文字化 もじば 文字化 モジカ 文字化 モジバ 文字塔 もじとう 文字塔二基 もじとうにき 文字太夫 もじだゆう 文字弁道 もんじべんどう 文字式 もじしき 文字手摺昔人形 もじてずりむかしにんぎやう 文字打ち労務 シナリオ 文字揃 もじそろ 文字摺 もじずり 文字摺石 もじずりいし 文字数 もじすう 文字数 モジスウ 文字春 もじはる 文字有 おじあ 文字校正 もじこうせい 文字欄 もじらん 文字無 もじな 文字焼 もんじやき 文字版

MSDNのドキュメントにも書いてあるのだが、TSFにおいて、テキストサービスはin process serverであり、アプリケーションと同一のプロセス空間で動作する。Google Techtalk Tokyoで工藤さんの話を聞いた方には、ATOKはほぼ全部がアプリと同一プロセスで動作してんのにクラッシュしないのはすごい、という話を覚えている人もいるかもしれない。Google日本語入力では変換サーバーが別プロセスだよという主張を裏返せば、他の変換エンジンでは同一プロセスで動いているよ、という事だしね。 Windows95が出てきたころ、FEPとIMEの違いの説明として、FEPはキーボードドライバだけどIMEはプロセスとして動くんだよ、というのを読んだような気がするのだが、実際には、これまでのかな漢字変換エンジンはアプリケーションと同一プロセスで動作していたという事になる。キーボードドライバ

TSFのメモとMozcのコード読みメモを比較すると、書くのにかかった時間は4,5倍は違う（TSFの方が大変だった）のに、ブックマーク数は逆転どころか桁が2桁違う事になりそうだなぁ、と、あらためてGoogleの人気のすごさを体感した。小町さんは こんなに日本語入力って注目されるんだと嬉しい気持ち と書いておられるが、個人的な感触としては、日本語入力が注目されているというよりはGoogleが注目されている、というあたりが悲しい現実なのではないかと思う。とは言え、自分もChaSenのコードとか読んだことない（mecabは少しだけ読んだ事があるけど）ので、あんまり人の事は言えないが。 さて、週末にバイグラムコストの保存方法についても現実逃避で読んでしまったので、ついでに解説を試みる。 前のメモにも書いたが、Google日本語入力のコストモデルは「品詞バイグラム+単語ユニグラム」という構成になってい

Google日本語入力がOSS化されたということで、気になっていたところをいくつか確認してみた。 変換アルゴリズムはどんな感じか？ twitterの工藤さんの発言にも「わりと古典的な最小コスト法」とあるけれど、まさにそんな感じ。人名の処理とかでちょっと特別なコードが入ったりもしているが、ほぼ基本的な統計的かな漢字変換のモデル。係り受けの情報とかは使っていない。Viterbiでベストパスを求めて、品詞ベースで文節にまとめあげている。コストモデルは接続コストが品詞対品詞で、単語コストの方は単語毎に設定されているっぽい。 src/converter/immutable_converter.ccのImmutableConverterImpl::ViterbiがViterbiアルゴリズムの部分で、その後にMakeSegmentsで文節にまとめている。読むならImmutableConverterImp

google ime (mozc)のソースコードが公開されました。 http://code.google.com/p/mozc/ http://codezine.jp/article/detail/5174 http://googlejapan.blogspot.com/2010/05/google_10.html なんで、早速ソースコードを探検してみた。 google のスーパーハカーはどういう楽しいコードを書いているのか興味津々です。 #まだすべてのソースコードに目を通していないです。 1.CallOnce という CASで実装された楽しい関数 base/mutex.cc に、 CallOnce という 大変ユニークな関数があります。 void CallOnce(once_t *once, void (*func)()) { if (once == NULL || func == NU