BudouX: 読みやすい改行のための軽量な分かち書き器
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
自然言語処理に新風を巻き起こしたWord2Vecとは何か - 日経BigData
言語データの分析と応用のために自然言語処理と呼ばれる分野で長年研究が行われて来た。同分野が昨年から大きく沸き立っている。米グーグルの研究者であるトマス・ミコロフ氏らが提案した手法「Word2Vec」が、いくつかの問題について従来のアルゴリズムよりも飛躍的な精度向上を可能にしたのだ。 この手法によって得られるベクトル空間には、今まで定量的に捉えることの難しかった言葉の「意味」を極めて直接的に表現しているかのような性質が認められている。今年9月、当社がスポンサー参加した自然言語処理系の研究発表会「NLP若手の会 第9回シンポジウム」でも、多くの研究がWord2Vecに関連したテーマについて取り上げていた。今後、意味解析、文書分類、機械翻訳など様々な分野でWord2Vecの応用が期待されている。 「意味ベクトル」の驚異的な性質 Word2Vecは、その名前の表す通り、単語をベクトル化して表現する
「Google検索に欠けている情報を」 Web上の評判や対立意見を抽出、NICT「WISDOM」
情報通信研究機構（NICT）は8月9日、キーワードやフレーズを入力すると、Web上での評価や、評価を発信している発信者の情報を抽出・分析できるシステム「WISDOM」（Web Information Sensibly and Discreetly Ordered and Marshaled）を公開した。NICTが独自に収集した5億件以上の日本語ページを対象に分析する。 入力したキーワードについて、Web上にある肯定・否定意見の割合や内容を表示したり、「企業」「政府」「Q＆Aサイト」など発信者ごとに絞って検索結果を確認できる。単語だけでなく、「うがいの効果」「バイオエタノールは環境に良い」などフレーズや短文でも調べられる。 （1）発信者を自動抽出し、専門性の高い順に順位づけする「情報発信者分析技術」、（2）意見や評価を抽出し、肯定・否定を判断する「評価情報抽出技術」、（3）関連するワードや対
思いどおりの日本語入力 - Google 日本語入力
本日、Google 日本語入力 (ベータ) をリリースしました。 Google 日本語入力は Windows (現時点では 32 ビットのみ) および Mac に対応した日本語入力ソフトウェア (インプットメソッド) です。豊富な語彙と強力なサジェスト機能で思いどおりの日本語入力をサポートします。 Google 日本語入力は桁違いの語彙力を持っています。Web から機械的・自動的に辞書を生成することで、人手ではカバーしきれないような、新語、専門用語、芸能人の名前などを網羅的に収録しています。高い変換精度を実現するために、Web 上の大量のデータから統計的言語モデルを構築し、変換エンジンを構成しています。現在の Web のありのままを反映したインプットメソッドと言えます (この辞書および統計的言語モデルの作成は Google の大規模分散処理システム MapReduce を用いて、数千台規模
【レビュー】Googleからの贈り物 - Google AJAX Language APIでカンタンに翻訳サイトを (1) 超シンプルなAPIながらスゴイ実力 | エンタープライズ | マイコミジャーナル
20日に発表されたGoogleの新しいWeb API、Google AJAX Language APIは、誰でも簡単に言語の翻訳を行えるようにするJavaScript APIだ。同APIを使うと、JavaScript文字列に対して「日本語←→英語」や「中国語←→英語」と言った変換を簡単に行えるのみならず、文字列が何語で書かれているかを自動判別することもできる。 同APIのパワーがどれほどのものかというと、以下のような翻訳サイトを10分足らずで作れてしまったほどだ(ソースコードは次ページで解説)。 非常にシンプルなAPI(メソッド2つしかない!)にも関わらず、そのパワーがあまりに凄まじすぎる。この興奮をぜひ皆さんにもお伝えしたいと思う。 ということで、さっそくLanguage APIの使い方を学んでいこう。
Google Japan Blog: 大規模日本語 n-gram データの公開
突然ですが、穴埋めクイズです。下線部に入る単語はなんでしょう? グーグルで_____ おそらく、「検索」「調べる」「探す」といった単語を思いつくのではないでしょうか？ 実際に、Webにあるドキュメントをくまなく調べ、「グーグルで」の後にくる単語を調べると、「検索」が1位であるとがわかります。 一般に、直前の(N-1)個の単語を見て、次の単語を予測するモデルをN-gram言語モデルといいます。さきほどは、「グーグル」 と 「で」の2単語から次を予想しているので、3-gram言語モデルの例となります。現時点の単語が、直前の(N-1)個のみに影響を受けるという仮説は、一見現実離れしているようですが、実際には非常に有効な場合も多く、かな漢字変換、OCRのエラー訂正、機械翻訳、音声認識などに広く用いられています。たとえば、音声認識の場合、ノイズ等で現時点の単語をシステムが聞き取れなくても、言語モデル
All Our N-gram are Belong to You
Posted by Alex Franz and Thorsten Brants, Google Machine Translation Team Here at Google Research we have been using word n-gram models for a variety of R&D projects, such as statistical machine translation, speech recognition, spelling correction, entity detection, information extraction, and others. While such models have usually been estimated from training corpora containing at most a few bill
きまぐれ日記: Yahoo!の形態素解析をMeCabで無理やり再現してみる
MeCabで形態素解析器を作りたい場合は以下の二つの言語リソースが必要です。 1. 辞書 (単語と品詞のペアの集合) 2. 入力文と、それに対応する正解出力ペア(正解データ) 現在公開している mecab-ipadic は、ipadicとRWCPコーパスという正解データを使っています。 ここから分かるとおり、少なくともMeCabを使う場合は、コスト値を丹念にチューニング するといった職人芸は要りません。形態素解析への入力文とそれに対応する(理想)出力 があればコスト値を機械学習的なアプローチで構築することができます。 さらに、正解データを人手で作る必要は必ずしもありません。 すなわち、Yahoo!の形態素解析器の出力結果を「擬似正解」とみなして MeCabの学習プログラムを走らせれば、Yahoo!の出力を高い精度で再現できる MeCab用辞書を作成することが原理的に可能です。 ふだんはあま
Google大規模日本語データについて
Google大規模日本語データについて Google: 大規模日本語データ公開に関する特別セッションに参加してきました。 いずれ公式な発表(どこに意見を送ればいいか等も含めて)があるとは思いますが、個人的なメモとして: すでに英語版がある。 圧縮してDVD6枚？ 数十億文の日本語文からデータを作る。 もとの文が再現できないような、統計的情報のみを公開する。 例えば「今日は-楽しかった が100回出てきました」とか、 「今日-は-楽し-かっ-た が100回出てきました」みたいな感じ。 どんな形式になるかは未定(意見募集中)。 2007年夏の公開を目指す。 DVD数枚になると予想。 オープンソースソフトか、 特許ではないアルゴリズムに基づいたソフトで処理を行う。 例えば ChaSen が考えられる(意見募集中)。 全て自動で行い、手順は公開する。 誤りがあっても人手で直さない(全自動ではなくな
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloud Natural Language | Google Cloud
BLOGOS サービス終了のお知らせ
Google Sets
生きあたりまったりブログ
Google: 大規模日本語データ公開に関する特別セッション
Googleの牙城を脅かす次世代検索エンジンを探せ (1)Hakia (Buzzy Dizzy Biz)