この記事は abicky.net の 日本語形態素解析の初歩 に移行しました
[テキストマイニング] Clojureでテキストマイニングをしたい!という方がTLにいらっしゃったので、 Clojureという言語とkuromojiという形態素解析器を用いたテキストマイニング入門の記事を書きます。 この記事の通り手を動かすと、様々なテキスト、例えばアンケートの自由記述やブログ、twitterなどの文章に形態素解析を掛け、ワードカウントと呼ばれる、ある単語が何回出現しているのかを解析する手法を使えるようになります。これを利用し、出現単語を頻度順に並べてランキングを作るなどして、その文書の特徴を明らかにするなどが出来るようになります。 ある程度コンピュータを使えることは求めますが、プログラミングの前提知識はさほど求めていません。そのため、所々天下りなところ(ここはとりあえずこうやってください!と説明無しの記述)もありますが、ご容赦ください。 形態素解析とは? 形態素解析とは、
※9月5日、ますます謎が深まった件についてなど、補足あり。 「google翻訳 使えない」という底意地の悪い検索で見つけた2ちゃんの投稿をまとめたページ@2008年5月*1にあった「めちゃくちゃな“翻訳”の例」から、2つの例をやってみた。3ヵ月も経過していれば何らかの進展はあったかもしれない。 僕はばかだ。→ I was dead. ※5月から変化なし *2ありえない。 Googleの翻訳は役に立ちません。→ Google's translation is useful. ※5月から変化なし「ソビエトロシアでは……」といいたくなる捏造っぷり。*3 ただ、これは極端におもしろい例で(2ちゃんで話のタネになるくらいの)、まともにいく場合もある。例えば「首相は非常事態を宣言した。」は "The prime minister has declared a state of emergency."
第80回知識ベースシステム研究会を開催したが,二日間で58名の方々に参加して頂き,積極的に議論に加わって頂いた.この場を借りて,参加してくれた方々に感謝したい.大変遅くなった(爆)が,Googleの工藤拓氏による招待講演「大規模テキスト処理を支える形態素解析技術」の概要を,このブログで報告しておきたい.工藤氏の専門分野は統計的自然言語処理と機械学習であるが,日本語形態素解析エンジンMeCabの開発者であり,他にも自然言語処理関連の有益なツールや,Webベースの日本語入力を可能にするAjax IMEのようなユニークなサービスを提供しているなど,時代をリードする研究開発者の一人である.彼の活動に興味があれば,彼のブログ「きまぐれ日記」は必見だろう. なお,当日は弊社側の不手際で,予定していた工藤氏の重要なデモをおこなうことができなかった.弊社はネットワーク会社であるにもかかわらず,ネットワーク
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く