【Python】MeCabと極性辞書を使ったツイートの感情分析入門 - StatsBeginner: 初学者の統計学習ノート
負のオーラを自動検出したい 前回のエントリで、著作権侵害にあたる違法アップロード動画を自分のTwitterで拡散してしまっている懸念を考えて、YouTube動画のリンクが貼ってあるツイートをまとめて削除しました。 前回のエントリでも言いましたが、著作権侵害モノ以外にも、「残しておくとまずいツイート」は色々ある可能性があり、たとえば誹謗中傷の類いがあるかと思います。誹謗中傷ツイートを自動抽出する方法はにわかには思いつきませんが、たぶん「クソ」とか「死ね」とか「バカ」とかそういう悪口の辞書が必要になりそうです。 ところで、言語データの分析手法として、単語ごとに感情特性を評価した辞書というものがあちこちで作られていまして、これを使ってツイートがどのような感情を帯びているか分析するということが、よくやられています。Yahoo!がそういうツールを提供してたりもします（参考リンク）。 Yahoo!のリ
メールデータ解析のため、Outlookの分類フォルダをまたいでメッセージを一括テキスト変換 - StatsBeginner: 初学者の統計学習ノート
Outlookのマクロ（VBA）に関するエントリです。 オライリーの『入門機械学習』はRによる機械学習の教科書で、正直どっちかというと今は「同じタイトルでPythonによる分析の教科書」の方が欲しい感じなのですが、これもけっこう写経しているだけでも勉強になります。 入門 機械学習 作者: Drew Conway,John Myles White,萩原正人,奥野陽,水野貴明,木下哲也出版社/メーカー: オライリージャパン発売日: 2012/12/22メディア: 大型本購入: 2人 クリック: 41回この商品を含むブログ (11件) を見る 代表的な機械学習モデルの基本的な処理が一通り解説されており、実際にサンプルデータを使って一からコードを書いて分析を進めていくという内容で、前処理から順番に「こういうところでこういう問題が起きるだろ？だからこうやって解決するんだぜ」みたいな感じになっており、
Pythonメモ: Tweepyのややこしいレスポンスデータの読み方 〜Twitter API活用の最初の難関〜 - StatsBeginner: 初学者の統計学習ノート
Twitterのbot作りは良い勉強になる 以前のエントリで紹介したように、Tweepyというライブラリを使うと、かなり簡単にPythonでTwitterを自動操作出来るようになります。 www.statsbeginner.net つぶやいたり、フォロー／アンフォローしたり、RTしたりふぁぼったりといったアクションをTweepyを使って記述し、自動で実行できる環境に置けば、自前のbotが出来上がります。botといえば、ブログ記事の紹介ツイートを定期的に流したり、新しいフォロワーにフォロバするといった使い方がよくされていますが、自作のプログラムであれば例えば特定のキーワードを含むツイートをしているユーザを検索してそのプロフィールを取得してデータベース化するとか、ふぁぼやRTをよくしてくれる人を一定の基準を設けてリストに登録していくといった複合的な作業も、自動化できて手間が省けます。 私は自分
Macに入れた各種Pythonを全部アンインストールしてAnacondaを入れなおす - StatsBeginner: 初学者の統計学習ノート
Pythonいろいろ入れすぎた Python3を単独で入れてみたり、Canopyを入れたりAnacondaを入れたり、Spyderを入れたらその中にもPythonが入っていたり・・・と、わけがわからなくなってきたので、いったんMacに標準で入っているもの以外は全部アンインストールして、Anacondaを基本にすることにしました。 Spyderも、前のエントリではSpyder単独でインストールしたのですが、Anacondaにパッケージされたものを使えばいいことが判明したので、今のうちにやり直したい。 Apple が提供している Python は /System/Library/Frameworks/Python.framework と /usr/bin/python にそれぞれインストールされています。これらは Apple が管理しているものであり Apple やサードパーティのソフトウェア
Spyder（PythonのIDE）を入れてみたところ、とても使いやすい - StatsBeginner: 初学者の統計学習ノート
Pythonを使う時、なんとなく、Canopy ExpressっていうIDEを使ってました。 あまり深い理由はなく、オライリーの『Pythonによるデータ分析入門』でCanopy使いましょうって書いてあったり、IPythonのインストール解説ページにいくと、IPythonを使いたいなら単独で入れるのではなくAnacondaかCanopyのようにパッケージ化されたものを使うべしと書いてあった（リンク）からです。 それで、とりあえず使えたから良いんですが、 スリープになるたびに不正終了としてエラーログをEnthoughtに送信するか聞かれる デバッガを使おうとすると有料 スクリプトの特定部分を選択してその場で実行ってのができない（実行したい分だけコピペしてコンソールに貼れば実行できるけど、カーソルで選択した部分をcommand + enterで実行できる方がよい） など不満な点もあったので、い
Pythonの"Tweepy"でTwitter APIから取得したデータを読んでみる - StatsBeginner: 初学者の統計学習ノート
[追記] このエントリを書いた後、レスポンスデータの読み方について別途詳しくエントリにまとめました。 www.statsbeginner.net [/追記] 前回のエントリで、PythonのTweepyライブラリを導入し、TwitterのAPIをいじることができるようになりました。 statsbeginner.hatenablog.com で、APIから情報を取得して分析とかをするのであれば、Tweepyが返してくるデータから必要な項目を抜き出さなければならず、「Tweepyはいったいどんなデータを返してきているのか」を理解してなければ話にならないですよね。 とにかくまずはTweepy公式サイトのReferenceを読んでいくべきですが、取得されるデータの内容について細かいことは書いてないような気が？ どっかにドキュメントあるのかなと思ってGitHubをみてみたら、ソースコードとかは読めま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
