形態素解析の過去・現在・未来
2. ⾃自⼰己紹介 l 海野 裕也 (@unnonouno) l unno/no/uno l 研究開発部⾨門 リサーチャー l 専⾨門 l ⾃自然⾔言語処理理 l テキストマイニング l 職歴 l 2008/4~2011/3 ⽇日本アイ・ビー・エム（株）東京 基礎研究所 l 2011/4~ 現職 2 3. 今⽇日の発表の⽬目的 l 形態素解析器の中で何が⾏行行われているか l コスト最⼩小化, HMM, MEMM, CRF etc. , l JUMAN, Chasen, MeCab, etc. l ・・・だけだとよくあるので、最新の⼿手法と過 去の⼿手法をまとめる l 現在の問題点に関してもまとめる 3
教師なし形態素解析 - mots quotidiens.
LaTeXのメモ。 LaTeXのtabularを見やすくするために, セルに色をつけたい時は colortblパッケージ を使えばよいらしい。 \usepackage{colortbl}してから, \cellcolor[gray]{0.7} 内容 & .. とか \cellcolor[rgb]{0.2,0.7,0.9} 内容 & .. のようにすればOK。 ただし, こうすると\clineを使って罫線を部分的に引いている時に, 罫線が色で上書きされてしまう(!)。 これは難しいですね的議論があったが, さらに調べるとCTANの colortblのページ の文書に対処法が書いてあって, そもそも \cline を使わずに, hhlineパッケージ を使えとのこと。 \usepackage{hhline}しておいてから, \cline{2-4}(たとえば) の代わりに, \hhline{~--
大規模テキスト処理を支える形態素解析技術（工藤拓氏・Google） - Cafe Babe
第80回知識ベースシステム研究会を開催したが，二日間で58名の方々に参加して頂き，積極的に議論に加わって頂いた．この場を借りて，参加してくれた方々に感謝したい．大変遅くなった（爆）が，Googleの工藤拓氏による招待講演「大規模テキスト処理を支える形態素解析技術」の概要を，このブログで報告しておきたい．工藤氏の専門分野は統計的自然言語処理と機械学習であるが，日本語形態素解析エンジンMeCabの開発者であり，他にも自然言語処理関連の有益なツールや，Webベースの日本語入力を可能にするAjax IMEのようなユニークなサービスを提供しているなど，時代をリードする研究開発者の一人である．彼の活動に興味があれば，彼のブログ「きまぐれ日記」は必見だろう． なお，当日は弊社側の不手際で，予定していた工藤氏の重要なデモをおこなうことができなかった．弊社はネットワーク会社であるにもかかわらず，ネットワーク
ヤフー、形態素解析のWebサービスを公開 ― ＠IT
2007/06/18 ヤフーは6月18日、「Yahoo!デベロッパーネットワーク」において「日本語形態素解析Webサービス」を公開した。利用は無料。同Webサービスは、ヤフーが開発を進めてきた形態素解析エンジン「Web MA」を広く社外の開発者向けに公開するもので、ブログ検索や商品検索など一部の検索エンジンのテキスト処理、また、ブログ検索の「評判検索機能」「まとめ検索機能」などのテキストマイニング処理にも使われているという。 同Webサービスは、解析対象となる日本語の文章を形態素に分割し、「品詞」「読み」「基本形」、また、統計処理結果である全形態素の総数、各形態素の出現回数を返す。既存の公開済みAPIと組み合わせることで、例えばブログ検索で提供している「類似記事検索機能」のような、関連性の高い文書を検索する機能を開発することが可能になるという。
NTTデータが全文検索エンジン｢Ludia｣をオープンソースとして無償公開：ITpro
NTTデータは10月11日，同社が開発した全文検索エンジン｢Ludia｣をオープンソース・ソフトウエアとして無償公開した。オープンソースのDBMS PostgreSQLに格納されたテキスト・データの全文検索を行う。同社では「商用のデータベース管理ソフトに匹敵する速度と精度を備える」としている。 NTTデータでは「データベース内のデータの全文検索ではこれまで，オープンソース・ソフトウエアでは日本語に対応した高速・高精度なものが存在せず，データベースからデータを取り出し別のシステムを構築する必要があった。Ludiaは商用のデータベース管理ソフトに匹敵する速度と精度を備える」としている。 Ludiaは，N-gramと形態素解析の2種類の全文検索インデックス方式をサポートする。ブーリアン検索，近傍位置検索，類似文書検索といった検索が可能で，検索結果の合致度を示す｢スコア｣も提供する。 Ludiaは
統計的確率論で言語を解析--Sematicsが世界初の日本語解析エンジンを開発
日本語意味解析エンジンを開発するSematicsは6月15日、統計的確率論を用いた言語解析エンジン「Perceptron Engine」を開発したと発表した。統計的確率論を用いた日本語解析エンジンは「世界初」（同社）という。 Perceptron Engineは「形態素解析」、「構文解析」、「文脈解析」、「意味解析」の4つの解析処理によって構成される。従来の言語解析技術は、辞書によるデータのマッチングにより処理されていたため、データ容量が膨大で、その処理に多大な時間を要した。一方、Perceptron Enginesは大規模な辞書を用いないため、少ないメモリやディスク容量でも高速処理が可能で、500文を1秒で解析できるという。 形態素解析とは、文章を形態素と呼ばれる、意味を持つ語句の最小単位まで分割して解析するもの。各語句を品詞単位、動詞や形容詞といった活用語句の場合はその活用形ごとに解析
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
