PythonでCSVの読み書き - Qiita2014/07/28 読み込み（Pandas）の追加． 2014/11/28 pandasを使う場合をまとめ． import csv with open('some.csv', 'r') as f: reader = csv.reader(f) header = next(reader) # ヘッダーを読み飛ばしたい時 for row in reader: print row # 1行づつ取得できる
Kaggleで使えるpandasテクニック集 - 天色グラフィティ
PythonでKaggleなどのデータ分析を行う際、pandasでゴリゴリ作業をすることが多いかと思います。 最近知って「めっちゃ便利やん！」ってなったものをまとめておきたいと思います。 全部の関数にドキュメントへのリンクを付けたので参考にしてください。 今回も検証にはTitanicのデータセットを用います。また、文中でのdf.hoge()はpandasのDataFrameのメソッドであることを、pd.hoge()はpandasの関数であることを表します。 df = read_csv('input/train.csv', index_col=0) print(df.shape) df.head() 最低限押さえておきたいやつら まずはここから。 10 Minutes to pandas よく使うやつら。詳しい解説は省略するので、ドキュメントのリンク先を見てください。 関数 内容 リンク d
Streaming Dataframes
This work is supported by Anaconda Inc and the Data Driven Discovery Initiative from the Moore Foundation This post is about experimental software. This is not ready for public use. All code examples and API in this post are subject to change without warning. Summary This post describes a prototype project to handle continuous data sources of tabular data using Pandas and Streamz. Introduction Som
Effectively Using Matplotlib - Practical Business Python
Taking care of business, one python script at a time Introduction The python visualization world can be a frustrating place for a new user. There are many different options and choosing the right one is a challenge. For example, even after 2 years, this article is one of the top posts that lead people to this site. In that article, I threw some shade at matplotlib and dismissed it during the analy
PythonでPandasのPlot機能を使えばデータ加工からグラフ作成までマジでシームレス - Qiita
Pandasのグラフ描画機能 この記事ではPandasのPlot機能について扱います。 Pandasはデータの加工・集計のためのツールとしてその有用性が広く知られていますが、同時に優れた可視化機能を備えているということは、意外にあまり知られていません。 この機能は Pandas.DataFrame.plot() もしくは Pandas Plot と呼ばれるものです。 Pandas Plotを使いこなすことが出来るようになれば、 データの読み込み、保持 データの加工 データの集計 データの可視化 というデータ分析の一連のプロセスを全てPandasで完結させることが出来る、つまり分析の「揺りかごから墓場まで」を実現することが出来ます。 Pandasのプロット以外の機能について この記事ではPandasのデータハンドリングなどに関わる機能は説明しません。 そちらにも興味がある方は下記の記事などを
pythonのpandasとnotebookを使ってデータ分析（２） - TextScript
pythonのnotebookが起動したら、これだけでもう何でも出来る気になる・・・ エクセルの分析の代わりにと思って色々調べていたら、このサイトが見つかった。 http://daisukekobayashi.com/blog/python-least-square-method-exponential-approximation/ こちらを参考にさせて頂いて、まずは簡単に「matplotlib」でグラフでも表示してみる。 jupyterの画面の右上の「new」から「Python2」を選択する。 参考サイトからデータも拝借させて頂く jupyterのセルに、一つ一つ入力していく。 ※「Shift + Enter」で、選択中のセルが実行されるので便利。 %matplotlib inline import pandas import matplotlib.pyplot as plt df =
データ解析向け Python 環境を揃えた USBブートUbuntu をつくる - Qiita
注意：ときどき更新します。誤りもあるかもしれません。 Lili USB Creator で USBメモリに Ubuntu を焼く USB作成環境は Windows7 64bit です。 材料 USBメモリA（インストールCDの代わり, USB2.0, 8GB の余りものを使用） USBメモリB（Ubuntuのインストール先, USB3.0, 16GB を使用） LinuxLive USB Creator ubuntu-ja-15.04-desktop-amd64.iso USBメモリAを差し，Lili USB を起動 STEP1でUSBメモリAを指定，STEP2で上記isoを指定，STEP4で「FAT32でフォーマットする」にチェックを入れ，雷をクリックし，作成完了を待つ できたら windows をシャットダウンし，USBメモリAをブートする（BIOSの設定で起動順位をHDDより上にした
Python XGBoost + pandas 連携の改善 - StatsFragments
一部 こちらの続き。その後 いくつかプルリクを送り、XGBoost と pandas を連携させて使えるようになってきたため、その内容を書きたい。 sinhrks.hatenablog.com できるようになったことは 以下 3 点。 DMatrix でのラベルと型の指定 pd.DataFrame からの DMatrix の作成 xgb.cv の結果を pd.DataFrame として取得 補足 XGBoost では PyPI の更新をスクリプトで不定期にやっているようで、同一バージョンに見えても枝番が振られていたりして見分けにくい。記載は本日時点のこのコミットの情報。 %matplotlib inline import numpy as np import xgboost as xgb from sklearn import datasets import matplotlib.pypl
Ibisを使ってみた（１）
Ibisリリース 本日、Ibis （アイビス＝トキ）という、100%オープンソースのPythonのプロジェクトが公開されました。 どうやら Cloudera が、Python 製のビッグデータ分析フレームワークというのを出したらしいぞ！Pandas の人が作ったらしいぞ！名前は「Ibis(アイビス)」、つまり「トキ」らしいぞ！ https://t.co/3VRrNYnMTj — Sho Shimauchi (@shiumachi) July 20, 2015 IbisはPython用の新しい分析フレームワークです。また、実行エンジンにはImpalaなど利用することができます。PandasなどのPython用の分析フレームワークは便利に使うことができますが、大規模にスケールしないという問題がありました。Ibisを使うことで、ユーザーはHadoopのような大規模スケールの環境で利用できるように
PythonとQGISを使って地理空間を可視化する – UFO目撃情報でのケーススタディ | POSTD
イントロダクション このチュートリアルでは、とあるデータサイエンティストの典型的な1日の過ごし方をご案内しましょう。まず地理空間のデータセットを入手し、不要なものを整理し、補強し、可視化します。使用するツールはPython、BeautifulSoup、pandasとNominatimライブラリ、そして地理情報システムの組織で広く使われているオープンソースの地図ソフトウェア、 QGIS です。 データセットになるのは、全米UFO情報センター（NUFORC）の このページ に掲載されているアメリカ全土のUFO目撃情報です。目標は、過去12カ月間に目撃されたUFOの地図を可視化することです。可視化によりデータセットをはっきりと示し、調査して、目撃されたとされるUFOの行動をよりよく理解することができます。可視化は地図作成プログラム内で行われます。QGISは地理空間データの手軽な試験的分析に特に向
Python geopandas + Bokeh で地理情報をプロットしたい - StatsFragments
数日前、pandas を利用して地理情報をプロットするという非常によいエントリが翻訳されていた。 postd.cc 上のエントリ、前処理が手間に見えるが pd.read_html や .str アクセサを使えばもっと簡単に書けると思う、、、がそれは本題でない。 pandas で地理情報を扱う場合、geopandas という拡張パッケージを利用すると便利なため、その使い方を書きたい。また、処理を Python で完結させるため、QGIS ではなく Bokeh でプロットしたい。 geopandas のインストール pip で。 $ pip install geopandas geopy このエントリでは依存パッケージである shapely、geopy の機能も利用する。shapely は自動的にインストールされるはずだが、geopy については上のように別途インストールが必要。 地理情報の読
データ解析のための統計モデリング入門 - Qiita
自分の勉強のため． 中はRで書かれてるのでそれをPythonに書き換えて頑張る． コード中のコメントアウトはR言語． 2.1 例題：種子数の統計モデリング Rには種子数のカウントデータがあるらしい． 多分numpy,pandasを使って処理した方がいい気がするから， numpy.arrayとpandas.Seriesそれぞれでもデータを用意． あとグラフ用にpyplotも． >>> data = [2, 2, 4, 6, 4, 5, 2, 3, 1, 2, 0, 4, 3, 3, 3, 3, 4, 2, 7, 2, 4, 3, 3, 3, 4, 3, 7, 5, 3, 1, 7, 6, 4, 6, 5, 2, 4, 7, 2, 2, 6, 2, 4, 5, 4, 5, 1, 3, 2, 3] >>> import numpy >>> import pandas >>> matplotlib
Web系の会社で働き始めてだいたい一年がたった_(:3｣∠)_ - 唯物是真 @Scaled_Wurm
そういえばブログには書いていなかったような気もするので改めて書いておくと、大学院を出てニートになった後なんとなく働いています sucrose.hatenablog.com 何社か受けよう的な話があったけど、コミュ力(精神)を消費するのがつらかったので一番早く決まったところで労働しています 自分みたいな無能で精神の弱いコミュ障でもなんとか糊口をしのぐことができていて感謝(？) 仕事はPHPとかJavaScriptとかCSSをいじってWebページを修正したりしてます 他に特筆すべきこととしては、ユーザーの行動のデータを継続的に取るようにしたり可視化とかをやっていましたが一年間やってだいたいネタが尽きてきました 一番下の方にどんな技術・ツールに触ったのか書いたので、よい可視化ツールがあったら教えていただけると嬉しいです 驚いたこと 勤務先はいわゆるWeb系の会社で、働いてみていろいろと驚くことが
Excel->pandas->sqlite - Qiita
Excelのシートからsqlへ放り込むにはODBCのドライバを入れたり、vbaをコツコツと書かないといけないけどpythonだと簡単だよというお話。 ↑C:\temp\Book1.xlsxにこんなシートが開いてるとして pandas経由で放り込むとあら簡単。 めんどくさいcreateとかしなくてもto_sqlで一発でdbとtableの作成もやってくれる。 # -*- coding: utf-8 -*- from xlwings import Workbook, Range import pandas as pd import pandas.io.sql as psql import sqlite3 # 既に開いているExcelブックを読み込む wb = Workbook(r'C:\temp\Book1.xlsx') # A1から終端までのデータを取り込む data = Range('A1'
Pythonでのデータ分析初心者がまず見るべき情報源のまとめ - Qiita
データ分析言語としてデータサイエンスの世界での存在を日々増している(と言われる)Python。 Pythonでのデータ分析、特にPandasの使い方についてまとめてみました。 ・Rユーザーの方がPythonを使いたい場合には特に有用だと思います。 ・基本的なデータハンドリングの方法に主眼をおいています。 RユーザーがPandas,Numpyを使う場合の早見表 【Slide Share】Python for R uses Rで使う記法をPythonで再現するにはどうしたらいいかの 比較早見表が列記されており、RでやっていたことをPythonでやろうと 思ったらかなり有用だと思います。 http://www.slideshare.net/ajayohri/python-for-r-users 【Pandas Official】Pandas -comparison with R 上記と同様、Rで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - ResidentMario/missingno: Missing data visualization module for Python.
Plotting 100% stacked graph issue
Release v1.1.1 · chainer/chainer
Python 3: Creating DataFrame with parsed data
http://nbviewer.ipython.org/url/blaze.pydata.org/notebooks/timings-csv.ipynb