【Python】MeCabと極性辞書を使ったツイートの感情分析入門 - StatsBeginner: 初学者の統計学習ノート
負のオーラを自動検出したい 前回のエントリで、著作権侵害にあたる違法アップロード動画を自分のTwitterで拡散してしまっている懸念を考えて、YouTube動画のリンクが貼ってあるツイートをまとめて削除しました。 前回のエントリでも言いましたが、著作権侵害モノ以外にも、「残しておくとまずいツイート」は色々ある可能性があり、たとえば誹謗中傷の類いがあるかと思います。誹謗中傷ツイートを自動抽出する方法はにわかには思いつきませんが、たぶん「クソ」とか「死ね」とか「バカ」とかそういう悪口の辞書が必要になりそうです。 ところで、言語データの分析手法として、単語ごとに感情特性を評価した辞書というものがあちこちで作られていまして、これを使ってツイートがどのような感情を帯びているか分析するということが、よくやられています。Yahoo!がそういうツールを提供してたりもします（参考リンク）。 Yahoo!のリ
メールデータ解析のため、Outlookの分類フォルダをまたいでメッセージを一括テキスト変換 - StatsBeginner: 初学者の統計学習ノート
Outlookのマクロ（VBA）に関するエントリです。 オライリーの『入門機械学習』はRによる機械学習の教科書で、正直どっちかというと今は「同じタイトルでPythonによる分析の教科書」の方が欲しい感じなのですが、これもけっこう写経しているだけでも勉強になります。 入門 機械学習 作者: Drew Conway,John Myles White,萩原正人,奥野陽,水野貴明,木下哲也出版社/メーカー: オライリージャパン発売日: 2012/12/22メディア: 大型本購入: 2人 クリック: 41回この商品を含むブログ (11件) を見る 代表的な機械学習モデルの基本的な処理が一通り解説されており、実際にサンプルデータを使って一からコードを書いて分析を進めていくという内容で、前処理から順番に「こういうところでこういう問題が起きるだろ？だからこうやって解決するんだぜ」みたいな感じになっており、
Pythonメモ: Tweepyのややこしいレスポンスデータの読み方 〜Twitter API活用の最初の難関〜 - StatsBeginner: 初学者の統計学習ノート
Twitterのbot作りは良い勉強になる 以前のエントリで紹介したように、Tweepyというライブラリを使うと、かなり簡単にPythonでTwitterを自動操作出来るようになります。 www.statsbeginner.net つぶやいたり、フォロー／アンフォローしたり、RTしたりふぁぼったりといったアクションをTweepyを使って記述し、自動で実行できる環境に置けば、自前のbotが出来上がります。botといえば、ブログ記事の紹介ツイートを定期的に流したり、新しいフォロワーにフォロバするといった使い方がよくされていますが、自作のプログラムであれば例えば特定のキーワードを含むツイートをしているユーザを検索してそのプロフィールを取得してデータベース化するとか、ふぁぼやRTをよくしてくれる人を一定の基準を設けてリストに登録していくといった複合的な作業も、自動化できて手間が省けます。 私は自分
Pythonの入門書としても使える『言語処理のためのプログラミング入門』 - StatsBeginner: 初学者の統計学習ノート
Python及びテキストマイニングの超初心者向け入門書として 友人と週１回ペースで行っている統計＆プログラミングの勉強会で、以前、Pythonの入門書は何がいいだろうかと考えて本書を取り上げました。当時ブログにはまとめていなかったのでまとめておきます。 言語研究のためのプログラミング入門: Pythonを活用したテキスト処理 作者: 淺尾仁彦,李在鎬出版社/メーカー: 開拓社発売日: 2013/06/25メディア: 単行本この商品を含むブログ (3件) を見る 本書はほんとにプログラミングというものに全く触れたことがない人向けのものなので、内容はちょっと簡単すぎた感もあるのですが、勉強会ではRばかりやってきてPythonには皆慣れているわけではないし、テキストマイニングの入門という意味もこめて一応やりました。初心者でもすぐ理解できる内容なのでさっさと終わらせようと思い、１回２章ずつのペース
日本語と英語の、難易度が高い形態素解析の例 - StatsBeginner: 初学者の統計学習ノート
小ネタです。 すもももももももものうち 昨日、日本語形態素解析エンジンMeCabに関するエントリを書きました。 statsbeginner.hatenablog.com ところで、MeCabの公式サイト（リンク）にいくと、インストール完了後のテストとして「すもももももももものうち」の解析が行われています。"Hello world!"のノリで。 $ mecab すもももももももものうち すもも 名詞,一般,*,*,*,*,すもも,スモモ,スモモ も 助詞,係助詞,*,*,*,*,も,モ,モ もも 名詞,一般,*,*,*,*,もも,モモ,モモ も 助詞,係助詞,*,*,*,*,も,モ,モ もも 名詞,一般,*,*,*,*,もも,モモ,モモ の 助詞,連体化,*,*,*,*,の,ノ,ノ うち 名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ EOS これを受けて、MeCabの使い方を解説する
Rメモ: 分散分析で交互作用を可視化するときのあのグラフを、Rで描きたい - StatsBeginner: 初学者の統計学習ノート
交互作用の可視化 心理学（に限らないが）で分散分析を行う場合に、交互作用を可視化することなどを目的として、折れ線のグラフが作られることがありますよね。 主に２要因の場合で、水準数もさほど多くないときに、第１の要因をX軸に、第２の要因は線の種類でかき分けて、Y軸に各群の従属変数の平均値を取る。 こんな感じで。 （出典：7.3 交互作用とは?より。） 線の傾きが違えば、交互作用があるってことです。 これ非常によく見かける図ですが、Rでどうやって作図すれば良いか、パッとはわからなかった。 何か良いパッケージがあるのかもしれないけど調べるのもめんどうなので、以下のようにx軸に配置したい要因の各水準にダミーで数字を当ててムリヤリ折れ線グラフとして描いてみた。 作図 たとえば英語の点数（平均）が、 というような結果になっているとする。 男性より女性のほうが成績がよく、かつ理系より文系のほうが成績が良い
Twilog + Pythonで他人の過去の全ツイート（3200件超）を一括取得する方法 - StatsBeginner: 初学者の統計学習ノート
Twitter APIで「他人の全ツイート」は取得できない さて先日から書いてるように、PythonのTweepyというライブラリを使うと、簡単にTwitterのREST APIを操作することができますので、研究で何か分析するときも、これを使えば手軽に分析用のデータが取得できます。レスポンスのデータの中身を読むのが大変ですが、それなりに理解はできてきました。 statsbeginner.hatenablog.com statsbeginner.hatenablog.com ところで、特定のユーザのツイートの傾向を見たいと思った場合、APIで全ツイートを取得したいところですが、残念ながら最新のものから数えて3200件までしか取得することができません。 「自分のツイート」であれば、Twitterが公式に過去の全件を出力する機能を付けてくれていますが（付属情報がほとんど入って来ませんが）
Spyder（PythonのIDE）を入れてみたところ、とても使いやすい - StatsBeginner: 初学者の統計学習ノート
Pythonを使う時、なんとなく、Canopy ExpressっていうIDEを使ってました。 あまり深い理由はなく、オライリーの『Pythonによるデータ分析入門』でCanopy使いましょうって書いてあったり、IPythonのインストール解説ページにいくと、IPythonを使いたいなら単独で入れるのではなくAnacondaかCanopyのようにパッケージ化されたものを使うべしと書いてあった（リンク）からです。 それで、とりあえず使えたから良いんですが、 スリープになるたびに不正終了としてエラーログをEnthoughtに送信するか聞かれる デバッガを使おうとすると有料 スクリプトの特定部分を選択してその場で実行ってのができない（実行したい分だけコピペしてコンソールに貼れば実行できるけど、カーソルで選択した部分をcommand + enterで実行できる方がよい） など不満な点もあったので、い
Tweepyを使って、PythonでTwitterのAPIを超簡単に操作する - StatsBeginner: 初学者の統計学習ノート
PythonでTwitterのAPIを触りたい PythonでTwitterのAPIを操作し、検索の自動化による情報収集・解析とか、自動でつぶやくbotの作成を可能にしたい。 そこでTweepyというライブラリを使うと、とても簡単に態勢が整いました。10行以内のコードで準備が終わります。 Tweepy ちなみにTwitterのAPIは「REST API」と「Streaming API」の2種類があって、今回使うのはREST APIのほうです。REST APIは（RESTというものの説明はREST - Wikipediaでもみてください）、HTTPリクエストを投げるとそれに対応した情報がjsonで送られてくるってやつで、特定のツイートやユーザの情報を取得したり、検索をしたり、つぶやいたりするのに使うものです。Streaming APIはTwitter上に流れる情報がリアルタイムに流れ込んでく
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
