KyTea v.s. MeCab - 形態素解析における点予測対系列ラベリング，または品詞の要不要など
Taku Kudo @taku910 点予測による単語分割が分野適応に便利なことは理解できるが、Juman/MeCabといった最小コスト法のものに、単語を追加する方法と本質的にどう違うのだろうか。語彙の追加以上にユーザの負荷が軽減するのか直感的にはわからない。 2011-11-24 16:39:55 Taku Kudo @taku910 例えば、「なう」を文末っぽいところ*だけ*終助詞にしたければ、MeCabなら単語登録で済む。点予測の場合は、前方の品詞が分からないので、終助詞以外の「なう」と区別するにはそれなりの量の文脈をアノテートしないといけない。 2011-11-24 16:44:59 Graham Neubig @neubig @taku910 確かに気になりますね。日本語には普遍的な品詞分布があれば、新しい単語に対応するためにこの未知語＋品詞の情報しか必要がないはずです。新しい分
第5回さくさくテキストマイニングで､形態素解析アルゴリズムについて発表しました - <s>gnarl,</s>技術メモ”’<marquee><textarea>￥
今やってる仕事の関係で､形態素解析アルゴリズムについてちょっと調べる必要があったので､ついでにRubyで形態素解析ライブラリを作ってみた｡という内容の発表です(のはずだが､Rubyのコードが一文字も書いてないですね……)｡ スタート形態素解析 View more presentations from todesking ちょっとプレゼンのクオリティがひどいので､近いうちにブログで補足記事を書こうと思っております｡ ソースは https://github.com/todesking/okura にて公開中｡ Pure Rubyでgem一発で入るような形態素解析ライブラリがあると､Windowsやherokuなどで形態素解析動かせてけっこうべんりなきがします｡ 直近(来週くらい)の開発では､ gem化 辞書もgem化 辞書のコンパイル Double Array Trieの採用 未知語処理対応
社内セミナーで形態素解析について話しました
持ち回りの社内セミナーが自分の番になったので、形態素解析についてまとめてみて、発表しました。係り受け解析入門に引き続き、自然言語処理チュートリアルシリーズ第２弾になります。結構ボリュームがあって、力作になってます。 今回の狙いは３つくらいありました。 ひとつは自分自身昔の文献などを読んだことがなかったので読んでみたこと。見ると、昔は多くの論文を企業の人が書いていて驚きます。初期の文献で引用したものはほとんどが企業系研究者の方の論文です。日本語入力の文脈で研究されていたからなのかな、という気がします。 もうひとつは現在の問題点と問題意識をまとめる。書いたとおり、アプリケーションに対して最適なことをすべき、という思いがあります。それは単にアプリケーションごとに形態素解析器を作るべき、ということではないです。そもそも形態素解析というソリューションは適切ですか？という問いかけです。実際に弊社では、
形態素解析の過去・現在・未来
NLP コロキウム https://nlp-colloquium-jp.github.io/ で発表した際のスライドです。 論文: https://arxiv.org/abs/2205.01954 GitHub: https://github.com/joisino/wordtour 概要 単語埋め込みは現代の自然言語処理の中核技術のひとつで、文書分類や類似度測定をはじめとして、さまざまな場面で使用されていることは知っての通りです。しかし、ふつう埋め込み先は何百という高次元であり、使用する時には多くの時間やメモリを消費するうえに、高次元埋め込みを視覚的に表現できないため解釈が難しいことが問題です。そこで本研究では、【一次元】の単語埋め込みを教師なしで得る方法を提案します。とはいえ、単語のあらゆる側面を一次元で捉えるのは不可能であるので、本研究ではまず単語埋め込みが満たすべき性質を健全性と完
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
