【特別連載】 さぁ、自然言語処理を始めよう！（第2回： 単純集計によるテキストマイニング）
みなさまこんにちは。 前回の連載 【特別連載】 さぁ、自然言語処理を始めよう！（第1回： Fluentd による Tweet データ収集） では Twitter Streaming API 経由で、日本人がつぶやいた Tweet の 1% ランダムサンプリングデータを fluentd を用いて取得し、その結果を DB (MySQL) に格納しました。 今回はこの集めた Tweet データを、形態素解析ライブラリの MeCab 、Python というプログラミング言語、数値計算用ライブラリである numpy、scipy、scikit-learnを用いて「ある時間における特徴的な言葉」を機械的に抽出してみたいと思います。 実行環境は前回構築した Amazon Web Service (AWS) の fluentd 用サーバを引き続き利用します。 ・前回利用した Fluentd 用サーバ (AW
Clojure/lucene-kuromojiでテキストマイニング入門 〜形態素解析からワードカウントまで〜 - CLOVER🍀
ClojureとKuromojiを使った、面白そうなエントリがあったので Clojure/kuromojiでテキストマイニング入門 〜形態素解析からワードカウントまで〜 http://antibayesian.hateblo.jp/entry/2013/09/10/231334 Luceneに入っているKuromojiを使って書き直してみました。 プロジェクトの作成。 $ lein new app lucene-kuromoji project.clj (defproject lucene-kuromoji "0.1.0-SNAPSHOT" :description "FIXME: write description" :url "http://example.com/FIXME" :license {:name "Eclipse Public License" :url "http://
テキストマイニング - Wikipedia
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。 出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "テキストマイニング" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL (2018年2月) テキストマイニング（英: text mining）は、文字列を対象としたデータマイニングのことである。通常の文章からなるデータを単語や文節などの単位で区切り、それらの出現の頻度や共出現の相関、共起関係、出現傾向、時系列などを解析することで有用な情報を取り出す、テキストデータの分析方法である[1]。計算的テキスト分析（computational text analysis）、テキストアナリシス（text analysis）と呼ぶこともあるが、情報処理の
形態素解析 - Wikipedia
形態素解析（けいたいそかいせき、（英: morphological analysis）は自然言語の文字列を意味に基づく最小単位へ分割しその品詞を特定する処理である[1]。 形態素解析とは、対象言語の文法や単語の品詞等の情報[注 1]にもとづき、文法的な情報の注記の無い自然言語のテキストデータ（文）を単語の列に分割し、各単語の品詞や活用などを判別することで形態素（おおまかにいえば、言語で意味を持つ最小単位）の列を得る作業である[1]。 自然言語処理の分野における主要なテーマのひとつであり、機械翻訳やかな漢字変換など応用も多い（もちろん、かな漢字変換の場合は入力が通常の文と異なり全てひらがなであり、その先に続く文章もその時点では存在しないなどの理由で、内容は機械翻訳の場合とは異なったものになる）。 もっぱら言語学的な観点を主として言語学で研究されている文法にもとづく解析もあれば、コンピュータ上
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
