TwitterAPIとMeCabを使って「疲れ指数」測定器を作ってみる - Qiita
1. 何をするの？ 自分のツイートを解析して、「疲れ指数」を計算するような簡単なプログラムを作りながら、TwitterAPIとMeCabをサクッと試してみましょう。 ・TwitterAPIで自分のツイートを取得 ・MeCabでツイートを分かち書き（形態素ごとにリスト化） ・「疲」「しんどい」「眠」といった文字列がどれくらいあるかを出力する（「疲れ指数」） ちなみに、MeCabを使わずともTwitter APIだけで似たようなものは作れます。ではなぜMeCabを使うのかというと、例えば 「疲れた疲れた疲れた」 といったようなツイート（少し心配になりますね）を単にstrとして受け取って「疲」が含まれているかどうかを判断すると、値として１を返すのですが、MeCabを使うと 「疲れた」「疲れた」「疲れた」といった風に分かち書きしてくれるので、カウントが3になり、より正確な「疲れ指数」を計算できるよ
AWS SageMakerのノートブックインスタンスにmecabをインストールする - Qiita
$ sudo pip install mecab-python3 Collecting mecab-python==0.996 Using cached https://files.pythonhosted.org/packages/86/e7/bfeba61fb1c5d1ddcd92bc9b9502f99f80bf71a03429a2b31218fc2d4da2/mecab-python-0.996.tar.gz Building wheels for collected packages: mecab-python Running setup.py bdist_wheel for mecab-python ... error Complete output from command /usr/bin/python2.7 -u -c "import setuptools, tokeniz
NLPエンジニアがDockerfileに書くことベスト3 - Qiita
個人的に、Dockerfileに書くことが多い3つの記述をメモします。ただし、ここでメモするのは一般的な「aptでのインストール」とか「pipでのインストール」のようなものではなく、パッケージマネージャでは対応できないことについて書きます。 キーワード: dockerfile MeCabのインストール dockerfile anacondaのインストール dockerfile emacsの設定 dockerfileの例 以下のリンクで私のdockerfileの例をアップロードしています。 https://github.com/sugiyamath/credibility_analysis/blob/master/Dockerfile 前提 このリストは、ベスト3の内容ではなく、dockerfileの前提です。 ユーザはrootとする。 nvidia/cuda:9.0-develのようなub
PythonでMeCabの出力をリスト化するモジュール(mecab-python) - Qiita
import MeCab def mecab_list(text): tagger = MeCab.Tagger("-Ochasen") tagger.parse('') node = tagger.parseToNode(text) word_class = [] while node: word = node.surface wclass = node.feature.split(',') if wclass[0] != u'BOS/EOS': if wclass[6] == None: word_class.append((word,wclass[0],wclass[1],wclass[2],"")) else: word_class.append((word,wclass[0],wclass[1],wclass[2],wclass[6])) node = node.next ret
Pythonで自然言語処理〜WhooshとMecabを使って簡単全文検索〜 - Qiita
はじめに PythonのWhooshとMecabを使用して全文検索を行います。 全文検索とは、その名の通りある文章の中に指定の単語が含まれているかを調べる検索です。 使用データ、環境など 今回使用するデータはwikipediaデータ(2.7GB)ですが好きなテキストデータで行えるので各人でデータを用意してください。 wikiのデータを使用したい場合はこちらからjawiki-latest-pages-articles.xml.bz2をダウンロードしてWikipedia Extractorを使用することで記事ごとに<doc> </doc>で囲まれたテキストデータが得られるみたいです。(配布されたものを使用するので、自分ではこの方法を試していないです。) Anaconda Python3.6使用 (Python2でも実行出来る可能性はあります。) Windows, Mac, Linux(Ubun
pykakasiとMeCabを使ってモールス信号変換器を作る - Qiita
CSGAdventCalendar 9日目 最近ラズパイを使ってモールス符号変換器を作ったので、備忘録。 概要 入力した文字列をモールス信号に変換、それをRaspberry PiのLEDを光らせて遊びました。 その際にpykakasiとMeCabを使ってアルゴリズムを組んだので備忘録です。 Githubのリンクも載せておきます。 環境はMac, python3.5.2です。 モールス信号とは 文字や記号を表象する方法のひとつ。電信による伝達を目的として発明され、短点とその3倍の長さを持つ長点の組み合わせにより文字や記号を表す。ラテン文字を基礎とした国際モールス信号の他、和文モールス信号のように各国の文字に対応したモールス信号が考案されている。 みなさんご存知SOSのあれです。 日本語やアルファベットを「トン」「ツー」の二つの記号で表すことができます。 そんなモールス信号にもいくつかのルール
MacにMeCabを利用できる環境を整える - Qiita
はじめに 何番煎じかわかりませんが、MacにおけるMecabの環境構築方法についてまとめておきます。 OSのバージョンはOS X High Sierraです。 Mecabについて MeCabはオープンソースの日本語の形態素解析器です。 形態素解析の分析において必須のソフトウェアとなっています。 なお、形態素解析の精度を大きく左右するものに、日本語の辞書があります。 利用する辞書によって形態素解析の結果が大きく変わります。 特に、Twitterのツイート本文や検索ワードなど新語が多く登場することが想定される文章ではその性能差が顕著に出ます。 この記事では、MeCabで用いられる代表的な辞書であるIPA辞書とIPA辞書を拡張して開発されたneologd辞書をインストールして利用できるようにするところまでを解説します。 MeCabのインストール MeCabはHomebrewからインストールできま
ChaSenのインストール - Qiita
形態素解析による日本語自然言語処理システムであるChaSenをインストールしたメモ。 環境:centos6.3 こことここを参考にインストールしてみました 環境:centos6.3 まずはChaSenの情報を見に行く http://chasen-legacy.sourceforge.jp/ http://sourceforge.jp/projects/chasen-legacy/ iconvと Darts-0.31が必要らしい。 まずはDartsから。3,2があったので、そっちを入れる。 $ wget http://chasen.org/~taku/software/darts/src/darts-0.32.tar.gz gtar xvzf darts-0.32.tar.gz cd darts-0.32 ./configure make make check sudo make insta
AWS EC2上にNExTをインストールする - Qiita
AWS EC2上にNExTをインストールするメモ。 Named Entity Extraction Tool(以下NExT)は、固有表現抽出ツールである。詳しくは、参考URLからオリジナルのサイトを参照のこと。 NExT Ruby版は、RubyとChasenを使うので、一緒にインストールする必要がある。 0. instance立ち上げ EC2上にinstanceを立ち上げる。 とりあえず、お試しならt1.microでも良いかも。 AWS t1.micro OS: Aamzon Linux ツール、データはS3上に上げておくと、外部からダウンロードするより少し早いし、お財布にも少し優しい。 1. yum update
SageMakerのノートブックインスタンス環境にMecabをインストールする際に困ったこと - Qiita
モチベーション Mecabを使って何かやりたい。が、ローカル環境を汚したくない。EC2を新しく建てるのも面倒だ。 → そうだ。SageMakerのノートブックインスタンス環境にMecabを入れよう！ ということで下記のサイトを参考にやってみたが、なかなか上手く行かなかったので備忘として残しておく。 https://www.yoshiislandblog.net/2018/03/21/amazon-linux_mecab/ Mecabが入らない # sudo rpm -ivh http://packages.groonga.org/centos/groonga-release-1.1.0-1.noarch.rpm # yum -y install mecab mecab-ipadic mecab-devel 上記を素直に実行すると下記のエラーが。そもそもなぜこんなURLにアクセスに行っている
形態素解析ツールの辞書を追加する - Qiita
sudo yum install php-common php-devel php-cli php-pear sudo yum install pcre-devel sudo yum install php-mbstring git clone https://github.com/miraoto/php.mod-mecab-dic.git cd php.mod-mecab-dic mkdir mkdir mod-mecab-dic/tmp cd mod-mecab-dic/tmp wget http://dumps.wikimedia.org/jawiki/latest/jawiki-latest-all-titles-in-ns0.gz php ./mod-mecab-dic/bootstrap.php wikipedia cd mod-mecab-dic/tmp mv mecab-d
FESS で収集した情報を Ruby で取り出す - Qiita
FESS で収集した情報を Ruby で取り出す 機械学習関連情報の収集と分類(構想)の FESS / Elasticsearch 関連部分の詳細です。 実際に調べた時点から半年ほど時間が経っていますので、現状と若干ずれがあるかもしれません。 (1) 記事のスキーマ FESS はクロールした記事の管理に Elasticsearch を使っています。そのスキーマ構造はドキュメントを探しても見つかりませんでした。 が…、FESS の管理画面( http://localhost:8090/admin/dashboard/ 1 ) で、more -> analysis を選択すると ANALYZE BY FIELD TYPE というプルダウンが現れるので、index name / type /field name をプルダウンしてスキーマ構造を確認することができるようです。 結果、/fess/do
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最小構成実行環境の整備【heroku sinatra mecab】 - Qiita
AzureでMeCab×Python - Qiita
mecabインストール手順 - Qiita
形態素解析の環境を整えた日 - Qiita
docker+Jupyter+Rでテキストマイニングできる環境を作る - Qiita
EC2上にChasen環境をつくる - Qiita
ChaSenをUTF-8用にインストール - Qiita
ChaSen を mac にインストールする際のリンクエラー - Qiita
