大規模テキスト処理を支える形態素解析技術（工藤拓氏・Google） - Cafe Babe
第80回知識ベースシステム研究会を開催したが，二日間で58名の方々に参加して頂き，積極的に議論に加わって頂いた．この場を借りて，参加してくれた方々に感謝したい．大変遅くなった（爆）が，Googleの工藤拓氏による招待講演「大規模テキスト処理を支える形態素解析技術」の概要を，このブログで報告しておきたい．工藤氏の専門分野は統計的自然言語処理と機械学習であるが，日本語形態素解析エンジンMeCabの開発者であり，他にも自然言語処理関連の有益なツールや，Webベースの日本語入力を可能にするAjax IMEのようなユニークなサービスを提供しているなど，時代をリードする研究開発者の一人である．彼の活動に興味があれば，彼のブログ「きまぐれ日記」は必見だろう． なお，当日は弊社側の不手際で，予定していた工藤氏の重要なデモをおこなうことができなかった．弊社はネットワーク会社であるにもかかわらず，ネットワーク
Google Japan Blog: 大規模日本語 n-gram データの公開
突然ですが、穴埋めクイズです。下線部に入る単語はなんでしょう? グーグルで_____ おそらく、「検索」「調べる」「探す」といった単語を思いつくのではないでしょうか？ 実際に、Webにあるドキュメントをくまなく調べ、「グーグルで」の後にくる単語を調べると、「検索」が1位であるとがわかります。 一般に、直前の(N-1)個の単語を見て、次の単語を予測するモデルをN-gram言語モデルといいます。さきほどは、「グーグル」 と 「で」の2単語から次を予想しているので、3-gram言語モデルの例となります。現時点の単語が、直前の(N-1)個のみに影響を受けるという仮説は、一見現実離れしているようですが、実際には非常に有効な場合も多く、かな漢字変換、OCRのエラー訂正、機械翻訳、音声認識などに広く用いられています。たとえば、音声認識の場合、ノイズ等で現時点の単語をシステムが聞き取れなくても、言語モデル
ヌーラボラボ » スペルチェッカーWebAPI
ヌーラボスペルチェッカーAPIを公開しました。 入力フォームに簡単にスペルチェック機能を付けることができます。長文を入力・取り扱うWebアプリケーションに組み込むことで、より人為的ミスを軽減することが可能です。 文字を入力して、スペルチェックボタンを押してください リファレンス スペルチェックAPIのリクエストとレスポンス spellcheck.js APIリファレンス APIダウンロード spellcheck.js JavaScriptでスペルチェッカーAPIを利用する ヌーラボスペルチェッカーAPIは、文字どおりスペルチェックをするためのAPIです。取得形式として「JSON」形式のほかに「JSONP」形式をサポートしています。 特にJSONP形式でのデータの取得を行えば、HTMLとJavaScriptのみでスペルチェック機能が手軽に作成できます。 JSONPでスペルチェック JSONは
辞書不要の形態素解析エンジン「マリモ」とは − ＠IT
2007/08/15 検索サービスを提供するベンチャー企業のムーターは8月1日、辞書を必要としない形態素解析エンジン「マリモ」の提供を開始した。従来、形態素解析では品詞情報を含む日本語辞書を用意するのが常識だったが、マリモでは、そうした辞書を不要とした。新技術のアプローチと特性について、開発元のムーターに話を聞いた。 統計処理で単語部分を推定 形態素解析とは、与えられた文を、文法上意味のある最小の単位（形態素）に区切る処理。「今日は晴れています」なら、「今日（名詞）／は（助詞）／晴れ（動詞）／て（助詞）／い（助詞）／ます（助動詞）」と分ける。検索エンジンをはじめ、さまざまな自然言語処理の場面で必要となる基礎技術だ。 形態素解析を行うには、あらかじめ品詞情報が付加された数十万語からなる辞書を用意する必要がある。また、新語や造語、専門用語に対応するには、個別に人力で単語を登録する必要がある。
日本語解析製品マリモは未知語の自動登録をするらしい - 傀儡師の館.Python：楽天ブログ
2007.08.03 日本語解析製品マリモは未知語の自動登録をするらしい (1) カテゴリ：ことばの処理 画期的な日本語解析製品（開発コード）「マリモ」を提供開始 を読む。 マリモはインターネット上の様々なカテゴリのテキスト文書を収集して単語候補を選別し、さらに選別された単語候補から不適切なものを排除して必要な単語だけを抽出し新造語を含む一億語以上の単語を学習しています。また、マリモ最大の特徴である、単語の前後関係から品詞を判断する品詞予測アルゴリズムは流行し始めた新語の品詞を特定することができます。これにより日々進化し続ける新しいテクノロジーやサービスに伴って生まれてくる言葉に的確に対応できる唯一の日本語解析として「マリモ」が登場しました。 らしい。形態素解析を行うものを作る場合の一つのネックが未知語。ここに焦点を当てて製品化したところはよいと思う。品詞推定はどの程度の精度なんだろうか。
[O] 日本語意味解析製品「なずき」、か
なずきは、概念辞書や連想知識、感性情報といった文章の意味についての 高度な分析を行う辞書データベースを持つ言語処理エンジンで、例えば 「私の彼って、最近車買ったんだよぉ？ 明日は軽井沢へ連れて行ってく れるんだぁ」という文章から、旅行、宿泊、自動車に関連した広告を表示 させることができる。 この記事で言及していることは、意味を解析しなくても実現できます。 大人気無いですが、実際に一緒にやってみましょう。 @ITの記事と同じような処理を実際にやってみよう プログラムするまでもないので、手を動かして遊んでみます。 入出力 入力 : 私の彼って、最近車買ったんだよぉ？ 明日は軽井沢へ連れて行ってくれるんだぁ 出力 : 旅行、宿泊、自動車 つかうもの - Chasen（WindowsのGUI版でOK） ChaSen's Wiki - 茶筌の配布 - Yahoo!検索 1、Chasenで名詞を抽出
【レビュー】MeCabで形態素解析、はてなとWikipediaが知恵袋に - infony登場 (1) infonyとは | エンタープライズ | マイコミジャーナル
日々ネットに溢れ出る情報を収集し、フィルタリングし、振り分けて情報を摂取し続けるジャンキー達。そんな我々のための興味深いツールとしてInfolustを紹介した。InfolustはWikipediaを活用したサービスで、指定したページのコンテンツを要約して表示するWebサービスだ。Wikipediaを知識ベースとして自動的に処理をおこなうという、さながらオート編集者というべきものだ。 今回はinfonyを紹介したい。5日に公開されたサービスで、指定したページを解析してキーワードごとに解析結果を表示するというもの。Infolustを日本向けにカスタマイズして開発したようなサービスだ。 テキストの形態素解析には、京都大学情報学研究科−日本電信電話株式会社コミュニケーション科学基礎研究所共同研究ユニットプロジェクトにおいて開発された形態素解析エンジンである和布蕪(MeCab: Yet Anoth
エブログ JavaScript で形態素解析もどき
JavaScript で形態素解析もどき JavaScript で形態素解析のようなものを。 totonの日記 - すべての漢字を取り出す正規表現 「すべての漢字を取り出す正規表現」をPHPで試す:phpspot開発日誌 これらの記事を参考にして JavaScript で漢字、ひらがな、カタカナ、英数字に区切ることをしています。 ただ、文字コード的にちゃんとできるのか、よくわかりません。Seesaa はShift_jis なのでおかしくなる場合もあるかも知れないです。 下のテキストエリアに文章を入力して解析ボタンを押すと解析結果が表示されます。解析というか、単純に改行で区切っているだけですが。 サンプルは青空文庫の太宰治 走れメロスの冒頭部分。 メロスは激怒した。必ず、かの邪智暴虐（じゃちぼうぎゃく）の王を除かなければならぬと決意した。メロスには政治がわからぬ。メロスは、村の牧人である。笛
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OZACC.blog: 日本語形態素解析Webサービス
Javaで作られた形態素解析ライブラリ「Sen」からPerl依存性を排除した「GoSen」
http://llamerada.sakura.ne.jp/clustord/cluster.cgi
ブログから口コミ情報を抽出して表示する「Keywalker口コミ解析」
http://www.ryo.com/ryo/2005/06/03/45/
http://www.ryo.com/ryo/2005/06/01/39/