Pandasによる実践データ分析入門 - Gunosyデータ分析ブログ
こんにちは。データ分析部のオギワラです。最近は「NANIMONO (feat.米津玄師)」をよく聞いています。 今回はPythonのデータ分析ライブラリであるPandasについて、実践的なテクニックを「データ処理」「データ集計(Group By)」「時系列処理」の３カテゴリに分けてご紹介していきます。 Pandasに関する基本的な内容については、前エントリーで既に紹介されているので、是非こちらもご一読して頂けると幸いです。 data.gunosy.io データ処理 データの取り出し(query) 条件文に基づくデータ処理の適用(where) 各行への関数の適用(apply) データ集計(Group By) カラム毎に異なる集計を適用する(agg) 最大・最小値である行を取り出す(first) 標準化や正規化処理を適用する(transform) 時系列処理 時間の丸め処理(round) 時系
【Python】MeCabと極性辞書を使ったツイートの感情分析入門 - StatsBeginner: 初学者の統計学習ノート
負のオーラを自動検出したい 前回のエントリで、著作権侵害にあたる違法アップロード動画を自分のTwitterで拡散してしまっている懸念を考えて、YouTube動画のリンクが貼ってあるツイートをまとめて削除しました。 前回のエントリでも言いましたが、著作権侵害モノ以外にも、「残しておくとまずいツイート」は色々ある可能性があり、たとえば誹謗中傷の類いがあるかと思います。誹謗中傷ツイートを自動抽出する方法はにわかには思いつきませんが、たぶん「クソ」とか「死ね」とか「バカ」とかそういう悪口の辞書が必要になりそうです。 ところで、言語データの分析手法として、単語ごとに感情特性を評価した辞書というものがあちこちで作られていまして、これを使ってツイートがどのような感情を帯びているか分析するということが、よくやられています。Yahoo!がそういうツールを提供してたりもします（参考リンク）。 Yahoo!のリ
Python pandas データ選択処理をちょっと詳しく <中編> - StatsFragments
こちらの続き。 上の記事では bool でのデータ選択について 最後にしれっと書いて終わらせたのだが、一番よく使うところなので中編として補足。 まず __getitem__ や ix の記法では、次のような指定によって 行 / 列を選択することができた。 index, columns のラベルを直接指定しての選択 index, columns の番号(順序)を指定しての選択 index, columns に対応する bool のリストを指定しての選択 ここでは上記の選択方法をベースとして、ユースケースごとに Index や Series のプロパティ / メソッドを使ってできるだけシンプルにデータ選択を行う方法をまとめる。 補足 一部の内容はこちらの記事ともかぶる。下の記事のほうが簡単な内容なので、必要な方はまずこちらを参照。 簡単なデータ操作を Python pandas で行う - S
IPython Notebookをアドホック分析環境として使う
こんにちは、Gunosyのエンジニアの粟飯原です。Gunosyでは、主に広告配信サーバー全般の開発運用インフラを行いつつ、データ集計や分析等を行なっています。 Gunosyのエンジニアブログはこちら http://gunosy.github.io/2014/07/08/iptyhonnotebook.html 今回は、自分が開発業務や分析業務で日常的に利用しているIPython Notebookを便利に使う方法を紹介させて頂きます。 基本的に、pipでライブラリがインストールできる環境とnumpy、scipyの環境が揃っていることが前提で進めます。windows環境であれば、ライブラリのインストールは以下のURLのパッケージ群を利用すると快適です。とはいえこのページで紹介しているライブラリはwindowsでは動かないものもあります。 http://www.lfd.uci.edu/~gohl
numpy, sciypy, matplotlib, pandas, scikit-learnの環境構築とかとか。 - rokujyouhitoma's blog
表題のライブラリ群の必要性が高まってきたので環境構築して遊ぶ。...のだけど環境構築に思った以上に手こずったので記す。 それにしてもPythonはこのあたりのライブラリが充実してるから逃げられないなぁ...。移行先希望。 環境 事前にvirtualenv, virtualenvwrapperでPythonの環境を切っておいた。 OSX 10.8.4 XCode4.8.2 Python 2.7.2 CPython2.7.2。今回はPyPyじゃないよ。PyPyじゃライブラリ動かないのあるから...。 インストール % pip install numpy % pip install scipy % pip install matplotlib % pip install pandas % pip install scikit-learn ??tornadoがインストールされたのかはなぞである。
ログを分析するには？ XMLデータを分析するには？ pandasでデータを分析できる状態にする
ログを分析するには？ XMLデータを分析するには？ pandasでデータを分析できる状態にする：ITエンジニアのためのデータサイエンティスト養成講座（4）（1/3 ページ） データと情報は似て非なるもの。意味のある情報を取り出すために、データを「使える」状態にするには意外と地道な手続きが必要です。手短に実行するために必要なスキルを紹介していきます。 連載バックナンバー はじめに 前回はデータを取り込んだり書き出したりする方法を紹介しましたが、実際の分析対象となるデータのほとんどは、そのまま分析できる状態にはありません。Webログなどはカンマ区切り形式ではなくスペースやカッコで区切られていますので、データを分割する必要があります。また、時系列に関する項目もフォーマットがまちまちなので統一する必要がありますので時系列データのクレンジングについても解説します。では早速具体的な例を使って説明してい
分析技術とビジネスインテリジェンス : Python：データ操作Tips（その１）
2012年10月06日16:47 by norikazu197768 Python：データ操作Tips（その１） カテゴリ分析技術 norikazu197768 Comment(0)Trackback(0) これまで主に分析手法の観点から書いてきたので、今回は視点を変えデータ操作の観点からまとめたい。まずはこれまでの記事で使った操作をまとめたい。 pandas : http://pandas.pydata.org/ orange : http://orange.biolab.si/ pyvttbl : http://code.google.com/p/pyvttbl/ ■TSVファイルの読込 #Pandas >>> from pandas import * >>> adult = read_table('./data/adult.txt') #Orange >>> import Or
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ggplot2のPython実装ができてた
http://web-analytics-or-die.org/2013/07/pandas/