What Is I.B.M.’s Watson? (Published 2010)
A part of Watson’s ‘‘brain,’’ located in a room near the mock ‘‘Jeopardy!’’ set.Credit...Danielle Levitt for The New York Times “Toured the Burj in this U.A.E. city. They say it’s the tallest tower in the world; looked over the ledge and lost my lunch.” This is the quintessential sort of clue you hear on the TV game show “Jeopardy!” It’s witty (the clue’s category is “Postcards From the Edge”), de
「Google日本語入力」開発者が語る、その狙い
Google日本法人が公開した新日本語入力システム（IME）「Google日本語入力」について、開発した同社の技術者が12月7日、開発の経緯や狙いなどを話した。予想を超える反響があったといい、「早い時期にβが取れる形で提供したい」と意気込む。Googleが来年リリースを予定している「Chrome OS」にも組み込まれる予定だ。 同IMEは12月3日にβ版として公開。Webから集めた情報を基に自動的に生成した辞書を搭載し、新語や専門用語、芸能人の名前などに強いのが特徴だ。冒頭の数文字を入力すると候補語を変換するサジェスト機能や、数字を16進数に変換する機能など、Googleらしい機能も備えている。Windows XP／Vista／7（それぞれ32ビット版）とMac OS X（Leopard以降）に対応し、無料で利用できる。 エンジニアの情熱の成果 開発は、ソフトウェアエンジニアの工藤拓さんと
思いどおりの日本語入力 - Google 日本語入力
本日、Google 日本語入力 (ベータ) をリリースしました。 Google 日本語入力は Windows (現時点では 32 ビットのみ) および Mac に対応した日本語入力ソフトウェア (インプットメソッド) です。豊富な語彙と強力なサジェスト機能で思いどおりの日本語入力をサポートします。 Google 日本語入力は桁違いの語彙力を持っています。Web から機械的・自動的に辞書を生成することで、人手ではカバーしきれないような、新語、専門用語、芸能人の名前などを網羅的に収録しています。高い変換精度を実現するために、Web 上の大量のデータから統計的言語モデルを構築し、変換エンジンを構成しています。現在の Web のありのままを反映したインプットメソッドと言えます (この辞書および統計的言語モデルの作成は Google の大規模分散処理システム MapReduce を用いて、数千台規模
NHK公認の実況板が登場する？--NHK技研が開発する「情報還流システム」とは
若い世代にもっとNHKの番組を楽しんでもらうために――。そんなコンセプトの下、NHK放送技術研究所が開発したのが「情報還流システム」だ。これは、一言でいえば「NHK公認実況掲示板サービス」のようなもの。視聴者が番組を見ながら感想をリアルタイムに書き込める場をネット上に用意することで、視聴者には「ツッコミ」を含めた番組へのコメントを通じて参加感と一体感を楽しんでもらう。同時に、リアルタイムに寄せられるコメントを解析して番組制作などにフィードバックさせていくという狙いがある。 開発者であるNHK放送技術研究所（次世代プラットフォーム）の有安香子氏は、特に「ネット世代の接触率向上と意向のフィードバック」を重視したと説明する。これまではNHKから視聴者に一方向に情報が流れるだけであったが、視聴者がリアルタイムに反応を返すことで、「送りっぱなしではない放送」が実現するという。「みんなで同じものを見る
文字列探索スターターキット - シリコンの谷のゾンビ
最近重点的に勉強しているので，これまで集めた教科書情報，資料等へのリンクをまとめてみる．紹介している教科書はほとんど読んでいないので妄言注意． この他にお薦め教科書，勉強法があればぜひ教えてください． 文字列探索は検索対象テキストの中から転置インデクスのような外部データ構造を利用せずに目的の文字列を探索する課題です．文字列探索，文字列照合，パターンマッチなどとも呼ばれています（一番オーソドックスな呼び方はなんでしょう？） 教科書 和書で文字列探索だけを取り扱っている本を見かけたことがない．アルゴリズム本の探索の章にKMP法，BM法が紹介されているだけのケースが多い．注意してみるとAC法を扱っている本が意外と少ないことに気がつく．．． （文字列探索でよい和書の情報募集中） 追記 (2009-04-02) Thanks to cubicdaiyaさん! 情報検索アルゴリズムにKMP法, BM法
TFIDFを使ってwikipediaの各キーワードの特徴量を抽出 - のんびり読書日記
以前にk-means++をPerlで書いたのですが、実際に試すデータがなかったのでそのまま放置してました。せっかくなので大きなデータで試してみたいので、今回は下準備としてwikipediaの各キーワードに対し、その特徴を表すデータを抽出したいと思います。そして今回作ったデータを使って、k-meansや階層的クラスタリングなど他の手法をいずれ試してみる予定です。 今回は特徴量としてベタにTFIDFを使うこととします。TFIDFについては、下記のページが詳しいためそちらをご参照ください。 形態素解析と検索APIとTF-IDFでキーワード抽出 tf-idf - Wikipedia まずWikipediaのデータをダウンロードしてきます。以下のページから、「jawiki-latest-pages-articles.xml.bz2」をダウンロードしてください。 http://download.wik
修正プログラムで賢くなった？ Office IME 2007 6の疑問 (1/4)
去る10月に、マイクロソフト(株)が「Microsoft Office Input Method Editor 2007」（以下IME 2007）修正プログラムを公開したことをご存じだろうか？（関連リンク） IME 2007の変換精度については、ネット上での批判が少なくない。また、「使い続けるほど馬鹿になる」という評価は、IME 2007以前のWindowsやOfficeのIME（以下MS IME）にも寄せられていた。筆者もそうした現象に耐えかねて、MS IMEからATOKシリーズに乗り換えたクチである。 ところが、この修正プログラムの説明文によると、「変換精度の改善」「学習機能の強化」「学習副作用の抑制」などの修正により、問題点が改善されるとある。IME 2007の変換精度問題はなぜ起こり、それがどう改善されたのか？ 同社への取材を通じて、IME 2007にまつわる様々な疑問にお答えしよ
ニフティ、奈良先端大と「経験マイニング」の応用手法を共同開発
ニフティは12月4日、奈良先端科学技術大学院大学（奈良先端大学）との産学連携により、ブログやソーシャルネットワーキングサービス、掲示板などのCGMコンテンツに記述された個人の経験を整理、分類するための言語処理技術「経験マイニング」の応用手法を共同開発したと発表した。 奈良先端大学では、同技術の実用化に向けたデモサービスとして、商品やサービスについての購入経験、利用経験などが書かれたブログ記事を検索できるサービス「みんなの経験」を12月4日から公開した。 膨大な情報の中から有用な情報だけを取り出すことができるため、利用者は第三者の体験談を発見することができ、企業は、CGM上で自社や競合他社の商品に関する意見を述べている人や、自社ブランドのファンの経験情報を容易に発見することができるとしている。 ニフティでは、2007年4月から奈良先端大学情報科学研究科の乾健太郎准教授の研究グループと経験マイ
なんでも評点:なぜ自動翻訳は使い物にならないのか？ ― 翻訳を生業とする立場と経験から分析してみる
筆者は1980年代の終わり頃から産業翻訳という仕事に携わっている。最初は、ある翻訳会社（以後“T社”）に完全出来高制で採用されたのだが、1年半ほどで独立した。私が独立した後、T社が新会社設立のプランを立てて銀行に融資を願い出たところ、あっさりOKが出たらしい（まだバブル崩壊まで1年以上残していた時期の話だ）。“自動翻訳機”を数台導入し、翻訳物を量産して大儲けするというプランだった。 しかし、大儲けなど出来やしなかった。その当時の翻訳原稿は、まだ紙ベースが大半。スキャナは存在していたが、OCR（文字認識）技術がまだ発達しておらず、結局は手入力に頼らざるを得なかった。ここに第一のボトルネックがあった。 そして、最大のボトルネックは、機械翻訳の出力の品質があまりに低く、そのままクライアントに納入できないという点だった。そのため、出力をチェックして修正する“ポストエディタ”なるスタッフが必要となる
コンピューターの言語認識向上、セマンティック技術で検索性アップ
中国・北京でネットサーフィンをする子どもたち（2007年9月22日撮影）。(c)AFP/TEH ENG KOON 【9月22日 AFP】コンピューターに単語の識別だけではなく、言語の意味認識までさせる次世代のセマンティック自然言語処理システムを開発する米Cognition Technologiesが前週、この言語認識の基礎となる「意味マップ」の使用許諾を開始した。 この｢意味マップ｣は、米国の一般的な大卒者が知っている10倍以上の語彙を提供し「世界最大の意味マップ」と呼ばれているだけでなく、コンピュータープログラムに対し、人間の脳とより近い認識方法で時制や文脈から単語を「理解」させる。開発には30年が要された。 同社のスコット・ジャラス（Scott Jarus）CEOは「このマップは明らかに、Web 3.0とも呼ばれるセマンティックWebの基礎的な部分を構成する」と胸を張る。すでに英語のほ
統計翻訳について、人力検索で質問を立てました。 - I have got some news from ...
GoogleやMSが採用している統計翻訳について、人力検索で質問を立てました。http://q.hatena.ne.jp/1221738014統計翻訳と、そうでない(ある意味、昔ながらの)機械翻訳の違いについて、かみくだいて説明してください。具体的な例文は、英語と日本語でお願いします。(ただし英→日でも日→英でもどちらでも構いません。) 説明する相手は、英語の読み・書きがあまりできない機械翻訳の原理は、基本的に、理解していないし知らない「構文木」などの用語を見てもわからないという人だと想定していただければと思います。 なお、ウィキペディア日本語版の「機械翻訳」の項は参照済です。http://ja.wikipedia.org/wiki/%E6%A9%9F%E6%A2%B0%E7%BF%BB%E8%A8%B3これは「難しそう」と思うだけだが、機械翻訳への期待は高い(「使えれば便利だよねー」的に
国立国語研究所、「近代文語UniDic」ver.0.8を公開（2008-08-01） - ACADEMIC RESOURCE GUIDE (ARG) - ブログ版
国立国語研究所が「近代文語UniDic」のver.0.8を公開した（2008-08-01）。 ・「近代文語UniDic」ver.0.8 http://www.kokken.go.jp/lrc/index.php?UniDic ・言語データベースとソフトウェア http://www.kokken.go.jp/lrc/ ・国立国語研究所 http://www.kokken.go.jp/ 「近代文語UniDic」は、近代文語文を解析するための形態素解析辞書で明治期の文語論説文の一般的な文章であれば、解析精度は96%から98%にのぼるという。なお、今回公開されたのは、ver.0.8という表示があるようにまだ完成版ではない。しかし、2008年度中には完成版を公開する計画で進行しているという。利用条件に合致する限りは誰でも近代文語UniDicのWindowsパッケージとバイナリ辞書をダウンロードできる
ナイーブベイズによるテキスト分類体験アプリ - シリコンの谷のゾンビ
もともとは研究室の新入生にNaive Bayesのイメージをつけるためにつくったもの．Naive Bayesを世の中に広めるために，きちんと公開することにしました． Text classification by Naive Bayes (2008-09-11追記）好評だったので日本語を扱えるようにしました．詳しくはこちらの日記をご覧ください． Text classification by Naive Bayes ver.2 日本語はじめました Naive Bayesナニソレ？という方はとりあえずググりましょう．理屈はわかったけれど，うまくイメージがつかないなぁ．．という状態になったら本プログラムを触ってみてください．すっきりします．たぶん． 使い方の説明 単語区切りが面倒なので日本語は使えません．あしからず． 本文を入れるっぽいところにテキストを入力します． クラスを選択して学習ボタンを押
英→日、「使える」無料翻訳はどれか〜2008年１月版 - I have got some news from ...
id:heatwave_p2pさんのダイアリで、英→日翻訳でのYahoo!翻訳のよい点が解説されている。 Web翻訳の使い方：Yahoo!翻訳のススメhttp://d.hatena.ne.jp/heatwave_p2p/20080114/1200303439 私も英→日ではCross Languageのエンジンを使っているYahoo!翻訳が一番優れていると思っているのだが（「対訳ハイライト」はもちろんだが、エンジンの性能そのものが優れている）、ついでなので久しぶりに比較をやってみよう。過去には、2006年2月、同年9月 (その1) と (その2)、2007年8月などにやっている。2007年7月には複雑な構造の文でも比較してみている。 今回は、id:heatwave_p2pさんと同様、下記サービスを利用して複数の翻訳エンジンで一気にやってみる。http://7go.biz/translati
Google Translation Center, a New Human Translations Service in the Making
Google Translation Center, a New Human Translations Service in the Making Google is working on a new service called Google Translation Center. Just a short while ago, we noticed that “center” had been added to Google’s robots.txt file, and now co-editor Tony Ruscoe discovered the link to the working frontpage... though logging in fails right now. According to the Google explanations on the frontpa
グーグル、文書翻訳サービス開設へ--狙いは機械翻訳の改善か
言葉の壁を取り除こうというGoogleの取り組みに新しい動きがあった。同社は文書翻訳サービスのベータ版の開設に取りかかったようだ。 「Google Translation Center」の情報ページによると、このサービスは文書の翻訳を依頼する人と、代価を受け取って翻訳を提供する人とを結びつけるものだという。Google関連の話題を扱うブログGoogle Blogoscopedがこのサイトをめざとく発見している。 情報ページには「Google Translation Centerは、コンテンツの翻訳を簡単かつ迅速に進める手段を提供する。文書をアップロードして翻訳言語を選択し、当センターに登録されているプロとボランティアの中から翻訳者を選択する。翻訳者が承諾したら、翻訳が完成し次第、翻訳された文書を受け取ることができる」とあった。 Google Translation Centerは仲介の役割
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Computationally, my dear Watson
モダンPerl入門 (CodeZine BOOKS) | 牧 大輔 |本 | 通販 | Amazon
Microsoft Research ESL Assistant
ヤフー、係り受け解析と指定形容詞係り先検索をWebサービスで提供
