辞書不要の形態素解析エンジン「マリモ」とは − ＠IT
2007/08/15 検索サービスを提供するベンチャー企業のムーターは8月1日、辞書を必要としない形態素解析エンジン「マリモ」の提供を開始した。従来、形態素解析では品詞情報を含む日本語辞書を用意するのが常識だったが、マリモでは、そうした辞書を不要とした。新技術のアプローチと特性について、開発元のムーターに話を聞いた。 統計処理で単語部分を推定 形態素解析とは、与えられた文を、文法上意味のある最小の単位（形態素）に区切る処理。「今日は晴れています」なら、「今日（名詞）／は（助詞）／晴れ（動詞）／て（助詞）／い（助詞）／ます（助動詞）」と分ける。検索エンジンをはじめ、さまざまな自然言語処理の場面で必要となる基礎技術だ。 形態素解析を行うには、あらかじめ品詞情報が付加された数十万語からなる辞書を用意する必要がある。また、新語や造語、専門用語に対応するには、個別に人力で単語を登録する必要がある。
ヤフー、形態素解析のWebサービスを公開 ― ＠IT
2007/06/18 ヤフーは6月18日、「Yahoo!デベロッパーネットワーク」において「日本語形態素解析Webサービス」を公開した。利用は無料。同Webサービスは、ヤフーが開発を進めてきた形態素解析エンジン「Web MA」を広く社外の開発者向けに公開するもので、ブログ検索や商品検索など一部の検索エンジンのテキスト処理、また、ブログ検索の「評判検索機能」「まとめ検索機能」などのテキストマイニング処理にも使われているという。 同Webサービスは、解析対象となる日本語の文章を形態素に分割し、「品詞」「読み」「基本形」、また、統計処理結果である全形態素の総数、各形態素の出現回数を返す。既存の公開済みAPIと組み合わせることで、例えばブログ検索で提供している「類似記事検索機能」のような、関連性の高い文書を検索する機能を開発することが可能になるという。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
