[B! Python][python][pandas] [3ページ] U1and0のブックマーク

U1and0 id:U1and0

Pythonとpythonとpandasに関するU1and0のブックマーク (63)

Pass Pandas DataFrame to Scipy.optimize.curve_fit
U1and0 2016/11/27
Also note that xdata should be a (k, M) array, where k is the number of predictor variables (i.e. columns) and M is the number of observations (i.e. rows). You should therefore transpose your input dataframe so that it is (4, M) rather than (M, 4), i.e. table[['A', 'B', 'C', 'D']].T.

optimize

random

scipy

pandas

Python

array
リンク
『Python　§４０　：　pandasのデータ読み書きはpickleを使うと激速だった！』
前回、pickleというオブジェクトを保存する方法を紹介しました。ひょっとして、このpickleを使うとpandasモジュールを使ったデータ処理結果を保存しておいたり、再度読み出すことが速くなるのではないかと思い、リードライトする速度を測ることにしました。まずは150万行程度のcsvファイルを以下コードで生成します。 def file_write_test(): xy=[] x=np.linspace(-np.pi,np.pi,1500000) for r in x: y=np.sin(r) xy.append([r,y]) wfilename='csv_write.dat' csv_write(wfilename,xy,dialect='comma') return xy
U1and0 2016/11/21
時間計測:CSVモジュールでの書き込み時間: 13.190569166113692 [sec]時間計測:pickleモジュールでの書き込み時間: 0.09422977217429818 [sec] 時間計測:pickleモジュールでの読み込み時間: 0.024253395266534028 [sec]

pickle

csv

pandas

Python
リンク
『Python　§４１　:　実践編Pandasのデータをpickleモジュールで読み書きする』
Python　§４１　:　実践編Pandasのデータをpickleモジュールで読み書きする | hitochan007のブログ（Pythonの勉強ブログ）
U1and0 2016/11/21
pandas

python

pickle
リンク
https://qiita.com/yudsuzuk/items/a13236a415f238da857e
U1and0 2016/11/11
pandas

csv

Qiita

Python

seaborn
リンク
Visualization — pandas 0.18.1 documentation
Table Of Contents What’s New Installation Contributing to pandas Frequently Asked Questions (FAQ) Package overview 10 Minutes to pandas Tutorials Cookbook Intro to Data Structures Essential Basic Functionality Working with Text Data Options and Settings Indexing and Selecting Data MultiIndex / Advanced Indexing Computational tools Working with missing data Group By: split-apply-combine Merge, join
U1and0 2016/10/26
In [31]: df.diff().hist(color='k', alpha=0.5, bins=50)

pandas

matplotlib

python
リンク
Python pandas データ選択処理をちょっと詳しく <中編> - StatsFragments
こちらの続き。上の記事では bool でのデータ選択について最後にしれっと書いて終わらせたのだが、一番よく使うところなので中編として補足。まず __getit em__ や ix の記法では、次のような指定によって行 / 列を選択することができた。 index, columns のラベルを直接指定しての選択 index, columns の番号(順序)を指定しての選択 index, columns に対応する bool のリストを指定しての選択ここでは上記の選択方法をベースとして、ユースケースごとに Index や Series のプロパティ / メソッドを使ってできるだけシンプルにデータ選択を行う方法をまとめる。補足一部の内容はこちらの記事ともかぶる。下の記事のほうが簡単な内容なので、必要な方はまずこちらを参照。簡単なデータ操作を Python pandas で行う - S
U1and0 2016/09/18
python

pandas

tips
リンク
pandasで様々な日付フォーマットを取り扱う - Qiita
新生活応援期間中とのことですので，"pandas"の使い方，特に日付フォーマットについて取り上げたいと思います．「Pythonはデータ分析に強い」という評判がありますが，これは以下のような「定番」パッケージによって実現されています． "pandas" for representing and analyzing data "NumPy" for basic numeriacal computation "SciPy" for scientific computation including statistics "StatsModels" for regression and other statistical analysis "matplotlib" for visualization （以上，"Think Stats" より引用．） pandas は，Seriesオブジェクト(１次元
U1and0 2016/09/18
f3 = '%Y年%m月%d日' my_parser = lambda date: pd.datetime.strptime(date, f3) df3 = pd.read_csv('./pandas_date_ex/example3.csv', index_col=0, parse_dates=0, date_parser=my_parser) ? or ?pd.to_datetime(date, format=f3)

python

pandas

CSV

Qiita
リンク
pandasでread_csv時にUnicodeDecodeErrorが起きた時の対処 (pd.read_table()) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
U1and0 2016/09/11
日本語csv開く方法

python

qiita

pandas

csv

read
リンク
pandasのプロット機能を使いJupyter上で作図 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 環境 OS X El Capitan 10.11.6 python: 2.7.11 pandas: 0.18.0 matplotlib: 1.5.1 numpy: 1.10.4 IPython: 4.1.2 初めに Pythonによる作図のおすすめ10 Pythonには様々な作図方法があり、matplotlibというライブラリを使うのが基本です。ただそれは少し野暮ったいので楽にオシャレに描けるようにするseabornというラッパーがあります。これに満足できなかったら、Bokehとかがいいのかもしれません。ggplotはRで使用している方
U1and0 2016/09/09
pandas

matplotlib

numpy

python
リンク
how to plot arbitrary markers on a pandas data series?
U1and0 2016/09/09
markers = Series([True, False, False, True, True, True, False, False, True, True], index=date_range('1/1/2000', periods=10)) ts = Series(np.random.uniform(size=10), index=date_range('1/1/2000', periods=10)) ts = ts.cumsum() ts2 = ts[markers] fig, ax1 = plt.subplots() ax1.plot(ts.ind

subplot

pandas

python
リンク
How to get/set a pandas index column title or name?
U1and0 2016/09/08
df.index.name = 'foo' In [9]: df.index.name Out[9]: 'foo'

index

python

pandas
リンク
Pandas でデータフレームの結合 (マージ, JOIN)
Last update: 2016-05-06 このページでは、Pandas で作成したデータフレーム同士を結合する方法について紹介します。 2 つのデータフレームを結合する以下の例では、merge() メソッドを用いて、2 つのデータフレームを作成し、内部結合 (inner join) を行います。 Merge メソッドの使い方
U1and0 2016/09/08
merge(horizonal) or concat(vertical)

concat

merge

pandas

python

join
リンク
http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.sort_index.html
U1and0 2016/09/06
カラムをソートしたいときはdf.sort_index(axis=1), インデックスをソートしたいときはdf.sort_index(axis=0)

python

pandas

index

sort
リンク
データの可視化をPython seabornでお手軽に。 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
U1and0 2016/08/23
ax = sns.pointplot( x='DateTime', # x軸にDateTime y='Watt', # y軸にWatt data=data, # DataFrameを指定 markers=['']) # dataをplotするマーカーを非表示に

python

matplotlib

pandas

seaborn
リンク
Python pandas で日時関連のデータ操作をカンタンに - StatsFragments
概要 Python で日時/タイムスタンプ関連の操作をする場合は dateutil や arrow を使っている人が多いと思うが、 pandas でもそういった処理がわかりやすく書けるよ、という話。 pandas の本領は多次元データの蓄積/変形/集約処理にあるが、日時操作に関連した強力なメソッド / ユーティリティもいくつか持っている。今回はそれらを使って日時操作を簡単に行う方法を書いてく。ということで DataFrame も Series もでてこない pandas 記事のはじまり。 ※ ここでいう "日時/タイムスタンプ関連の操作" は文字列パース、日時加算/減算、タイムゾーン設定、条件に合致する日時のリスト生成などを想定。時系列補間/リサンプリングなんかはまた膨大になるので別途。インストール以下サンプルには 0.15での追加機能も含まれるため、0.15 以降が必要。 pip
U1and0 2016/08/23
dtidx = pd.date_range('2014-11-01 00:00', periods=20, freq='H') selector = [False, True, False, False, True] * 4 dtidx[selector].asobject.tolist()

pandas

datetime

python
リンク
Making heatmap from pandas DataFrame
U1and0 2016/08/23
カラーマップplt.pcolor(df) plt.yticks(np.arange(0.5, len(df.index), 1), df.index) plt.xticks(np.arange(0.5, len(df.columns), 1), df.columns) plt.show()

pandas

Python

matplotlib
リンク
Add x and y labels to a pandas plot
Suppose I have the following code that plots something very simple using pandas: import pandas as pd values = [[1, 2], [2, 5]] df2 = pd.DataFrame(values, columns=['Type A', 'Type B'], index=['Index 1', 'Index 2']) df2.plot(lw=2, colormap='jet', marker='.', markersize=10, title='Video streaming dropout by category') How do I easily set x and y-labels while preserving my ability to use specific colo
U1and0 2016/08/23
pandas.plotの設定はpandas.plotをした後にplt.hoge()ってな感じで設定を付け加えるdf2.plot(lw=2,colormap='jet',marker='.',markersize=10,title='Video streaming dropout by category') plt.xlabel('xlabel') plt.ylabel('ylabel') plt.show()

Python

pandas
リンク
Sign in - Google Accounts
U1and0 2016/08/18
# 行、列のインデックスを指定して取り出す。 # 列のインデックス指定 df[['a','c']] df['a']だとSeriesで、df[['a']]だとデータフレームでとりだす

subset

pandas

python
リンク
Python pandas 関連エントリの目次 - StatsFragments
このブログ中の pandas 関連のエントリをまとめた目次です。最近 pandas 開発チームと PyData グループの末席に加えていただき、パッケージ自体の改善にもより力を入れたいと思います。使い方についてご質問などありましたら Twitter で @ ください。目次につけた絵文字は以下のような意味です。 🔰: 最初に知っておけば一通りの操作ができそうな感じのもの。 🚧: v0.16.0 時点で少し情報が古く、機能の改善を反映する必要があるもの。 🚫: 当該の機能が deprecate 扱いとなり、将来的に代替の方法が必要になるもの。基本簡単なデータ操作を Python pandas で行う 🔰 Python pandas でのグルーピング/集約/変換処理まとめ 🔰 また、上記に対応した比較エントリ: R {dplyr}, {tidyr} Rの data.tab
U1and0 2016/07/31
pandas

python

まとめ
リンク
Python pandas プロット機能を使いこなす - StatsFragments
pandas は可視化のための API を提供しており、折れ線グラフ、棒グラフといった基本的なプロットを簡易な API で利用することができる。一般的な使い方は公式ドキュメントに記載がある。 Visualization — pandas 0.17.1 documentation これらの機能は matplotlib に対する薄い wrapper によって提供されている。ここでは pandas 側で一処理を加えることによって、ドキュメントに記載されているプロットより少し凝った出力を得る方法を書きたい。補足サンプルデータに対する見せ方として不適切なものがあるが、プロットの例ということでご容赦ください。パッケージのインポート import matplotlib.pyplot as plt plt.style.use('ggplot') import matplotlib as mpl m
U1and0 2016/07/31
パレート図を描くにはライングラフをaxに一度格納してから、棒グラフの描画先をaxに指定するax=ax

pandas

python

matplotlib
リンク
前のページ 1 2 3 4 次のページ