ベイジアンフィルターで日本語を分類する。 - ザリガニが見ていた...。
ベイジアンフィルターで日本語を取り扱う時に問題になってくるのが、文章を品詞レベルに分解する処理。英語の場合は、文章はスペースで区切られた品詞の集合で構成されるため、余分なことをせずに簡単に処理できる。例えば、'How do I set up an AirPort wireless network?'という文章の場合、ベイジアンフィルターは、スペースで区切られた単語を、分類するための判断材料として自動的に取り込んでくれる。 ところが、日本語の場合は、「エアポートの無線ネットワークはどうやって設定しますか？」という文章を、「エアポート の 無線 ネットワーク は どう やっ て 設定 し ます か ？ 」のように、品詞をスペースで区切った文章に変換して、ベイジアンフィルターに渡してあげる必要があるらしい。これはすごく高度な作業だ。自分のレベルではどうやっても出来ない。 そこで、この高度な作業を
第2回 形式言語とオートマトン---「文」のルールを知り，機械に解釈させる
前回はアルゴリズムを評価するための計算量理論について解説した。今回は，「形式言語」と「オートマトン」を通して，機械が「文」をどのように解釈しているのかについて考えてみたい。 人間の営みの中で自然に発生した日本語や英語などの言語を「自然言語」と呼ぶ。それに対して，特定の目的のために意図的に作られたプログラミング言語のような言語を「形式言語」と呼ぶ。 この形式言語で記述された文を受理する（解釈する）架空の機械を「オートマトン」と呼ぶ。形式言語やオートマトンは，現代のコンピュータ技術の基礎原理の1つであり，様々な場面で応用されている。今回は，このコンピュータにおける「言語」について考えていこう。 「置き換えルール」で定義 形式言語の文法は，どのように定義すればよいだろう。1950年代に米国の言語学者であるノーム・チョムスキーは，「○○とは△△である」という“置き換えルール”の羅列で形式言語の文法
テキスト解析:日本語形態素解析API - Yahoo!デベロッパーネットワーク
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
米ゼロックス、高性能文書検索ツール「FactSpotter」を発表
米Xeroxの研究者らは、人間が考え、話し、質問するのと同じ要領で文書検索が行えるテキストマイニングツール「FactSpotter」を開発したと発表した。 このツールは、例えばユーザーが、「what Steve Jobs said yesterday」（Steve Jobs氏が昨日話した内容）と入力すると、同ツールは文書を検索して、対象を絞り込んだ関連文書を表示する。Apple最高経営責任者（CEO）の名前を含む無数の記事が表示されることはないという。 しかし、先週発表されたこのFactSpotterソフトウェアは、インターネットなどで一般公開されない。利用できるのは、開発元であるXeroxの顧客のみだ。 Xeroxのマーケティング、戦略、提携担当ディレクター兼ゼネラルマネージャーのJean-René Gain氏はSilicon.comのインタビューで、XeroxはFactSpotterを
ヤフー、日本語を形態素に分割できるWebサービスを公開
ヤフーは2007年6月18日、日本語の文章を解析し、細かな単位に分割できる「日本語形態素解析Webサービス」のAPIを公開した。ヤフーの日本語処理技術部が、同社の研究所と共同で開発してきた日本語処理技術を、外部に無償公開した。 形態素とは、語として意味をなす最小の単位のこと。ある文章を解析し、形態素の単位に分割するのが形態素解析である。日本語は英語とは異なり単語間にスペースを入れずに記述するため、形態素解析は日本語をコンピューターで扱う際に必須の技術となっている。ヤフーは、独自に開発した形態素解析技術を、「Yahoo!JAPAN」の検索エンジンの一部や、ブログ検索の「評判検索機能」などで利用している。 今回のAPIでは、形態素の品詞や読み、各形態素の出現回数などを取得できる。これを活用することで、対象となる文章にどんな単語が多く含まれているかを把握できる。また検索APIなどと組み合わせるこ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Web単語共起
