golang で形態素解析を並列実行させて Word Count する - 押してダメならふて寝しろ
はじめに kagome は goroutine セーフに作ってあるんですが，あんまり並列実行的なサンプルとか書いてないなと思って並列実行でテキストに出てくる名詞を引っこ抜いて数えるサンプルを作りました． あと，昨日 suzuken =san が 形態素解析をした後の品詞が取り出しにくいよという Issue を上げてくださって，Token に Pos() という品詞を取り出すメソッド追加しました．今までは， if t := tok.Features(); len(t) > 0 && t[0] == "名詞" { // 名詞の時の処理 } と書いていたのを if tok.Pos() == "名詞" { // 名詞の時の処理 } と書けるようになりました．suzuken = san ありがとうございます． ( '-`).oO( 品詞以外も便利関数欲しいところですが，辞書によって辞書内容がかなり自
Java製形態素解析器「Kuromoji」を試してみる
概要 Javaの比較的新しい形態素解析器、Kuromoji。 lucene-gosenやGomokuのように辞書内包で、jarを落とせばその場で利用でき、Unidicに対応していて、ソースがLuceneのtrunkにコミットされているという、何かと気になる特徴の持ち主。 複数のモードを持っているようで、Searchモードを使うと「日本経済新聞」を「日本 | 経済 | 新聞」のように検索で利用しやすい形にばらして解析してくれたり、Extendedモードを使うと未知語をuni-gramにしてくれたりもするらしい。 今日はそんなKuromojiさんの導入から簡易な使い方までをさらっと追いかけてみた。 導入 まずは下記ページからダウンロード。今回はkuromoji-0.7.5.tar.gzを利用。 Downloads - atilika/kuromoji https://github.com/at
Introduction to Japanese Morphological Analysis
Are the long-noted similarities between Japanese and other languages mere coincidences and created by chance? This presentation suggests a different view of these language resemblances based on global genetic history of homo sapiens and brain dynamics. This document discusses the Japanese language phonetic system. [1] It outlines the 5 vowels - /i/, /e/, /a/, /o/, /u/ and notes differences from En
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://blogs.oracle.com/mysql/post/innodb-%E5%85%A8%E6%96%87%E6%A4%9C%E7%B4%A2-mecab-parser/
Pure Go で辞書同梱な形態素解析器 kagome を公開してみました - Qiita
日本語形態素解析の初歩 - あらびき日記
