形態素解析とテキストマイニング｜DIGITAL BUSINESS EYE'S｜株式会社ビジネスエージェント
テキストマイニングにおいては、文章を単語や文節で区切り、単語の出現頻度や単語同士の関係性などを分析します。 この分析の際に使われる技術に、形態素解析という方法があります。 形態素解析は、自然言語を「形態素」に区切る技術です。 自然言語というのは、生活の中で私たちが普通に使っている言葉、一方形態素は、言葉が意味を持つ最小単位です。 日本語のテキストを処理する際に、形態素解析は非常に重要な役割を果たしています。 日本語は英語など西洋の言葉のようには単語の間に空白がないため、単語の区切りを機械的に判断するのが難しいからです。 反対に英語では形態素ごとに単語を分かち書きするのが普通です。 文章を単語ごとに区切ることを分かち書きといいます。 したがって英語では形態素分析は日本語よりもはるかに容易なのです。 形態素解析は、テキストマイニングのほかにも、機械翻訳やかな漢字変換などでも利用されています。
Rmecabに最新辞書（NEologd） を設定する - 医療職からデータサイエンティストへ
以前の記事で、Rmecabを用いたテキストマイニング をご紹介しました。 www.medi-08-data-06.work Rmecabの内部で動くmecabですが、web上の最新のキーワードなどにも対応したNEologdを辞書に使用することができます。ちなみに毎週更新されているようです（すごい、、）。今回はその設定方法をご紹介します。 ちなみにMacを使った設定ですので、そのOSでは挙動が異なる可能性があることをご了承ください。 NEologdをインストール まずは、githubから辞書の入ったディレクトリ をcloneしてきます。 #mecab自体をインストールしていない方は #mecab自体、その他必要なパッケージのインストール brew install mecab mecab-ipadic git curl xz #辞書のインストール git clone --depth 1 htt
アンケート調査データを分析してみる【第3回：形態素解析】 - Qiita
今回は、テキストマイニングの基本的な手法のひとつである形態素解析（文章を意味のある最小単位に分解し、意味や品詞などを判別する）について、Pythonで試してみました。 データは、以下のアンケート調査より「電子版お薬手帳を使いたい理由」に関する自由回答を使用しました。 「電子版お薬手帳に関する意識調査」を行いました https://www.nicho.co.jp/corporate/newsrelease/11633/ ①まずはライブラリをインポートします。今回はMeCabを使用しました。 import MeCab from MeCab import Tagger from matplotlib import pyplot as plt from wordcloud import WordCloud
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
