python+pandasで大規模データを扱うときのメモ - Qiita
"""Get data from MySQL with pandas library.""" import MySQLdb import pandas.io.sql as psql con = MySQLdb.connect(db='work', user='root', passwd='') # DB接続 sql = """SELECT product_id, product_nm, product_features FROM electronics""" df = psql.read_sql(sql, con) # pandasのDataFrameの形でデータを取り出す con.close()
pandas.DataFrameの行名・列名の変更 | note.nkmk.me
pandas.DataFrameの行名（index, インデックス）・列名（columns）を変更するには、rename()メソッドやset_axis()メソッドなどを使う。 既存の列をインデックスに設定するset_index()というメソッドもある。 関連記事: pandas.DataFrameの列をインデックス（行名）に割り当てるset_index 本記事のサンプルコードのpandasのバージョンは以下の通り。バージョンによって仕様が異なる可能性があるので注意。以下のpandas.DataFrameを例として使う。 import pandas as pd print(pd.__version__) # 2.0.3 df = pd.DataFrame({'A': [11, 21, 31], 'B': [12, 22, 32], 'C': [13, 23, 33]}, index=['ON
<Python, pandas> 行(row)を追加する。 - ねこゆきのメモ
行rowを追加する。行の追加。 こういうデータフレームDataFrameがあった時、 In [71]: df Out[71]: id name birthday is_relative 0 1 Hage 1960-01-01 1 1 2 Hige 1960-01-02 1 １行追加したい時は、シリーズSeriesでデータ作って、.append()すればいいっぽい。 やってみた。 In [74]: se = pd.Series([3, 'Hoge', date(1960,1,3), 1], index=df.columns) In [75]: se Out[75]: id 3 name Hoge birthday 1960-01-03 is_relative 1 dtype: object In [76]: df.append(se, ignore_index=True) Out[76]:
Python pandas 図でみる データ連結 / 結合処理 - StatsFragments
なんかぼやぼやしているうちにひさびさの pandas エントリになってしまった。基本的な使い方については網羅したい気持ちはあるので、、、。 今回は データの連結 / 結合まわり。この部分 公式ドキュメント がちょっとわかりにくいので改訂したいなと思っていて、自分の整理もかねて書きたい。 公式の方はもう少し細かい使い方も載っているのだが、特に重要だろうというところだけをまとめる。 連結 / 結合という用語は以下の意味で使っている。まず憶えておいたほうがよい関数、メソッドは以下の 4 つだけ。 連結: データの中身をある方向にそのままつなげる。pd.concat, DataFrame.append 結合: データの中身を何かのキーの値で紐付けてつなげる。pd.merge, DataFrame.join 連結 (concatenate) 柔軟な連結 pd.concat ふたつの DataFram
PDFの表をpandasのDataFrameにできる tabula-py 作った - once upon a time,
RubyKaigiに参加するとコード書きたいという気持ちが高まって良いのですが、今回はPDFの表を読み込んで pandas の DataFrame に変換できる tabula-pyを作りました。 これをもってRubyKaigiの参加報告とさせていただければと思います。 tabula-pyとは tabula というJavaで書かれたPDFから表を抽出するライブラリをPythonでうすーくラップしたものです。実装を見てもらえばわかると思いますが、本当にsubprocessでJavaのプログラムを叩いて標準出力で受け取るというだけしかやっていません。 もともとは、Rのtabula実装がかなり色々できるのを知ってPythonがないらしいというので作りました。Rの実装はマジでJavaをごりごり書いていて尊敬の念を抱いています。 tabulizerパッケージによるPDF表データからのデータ取得 git
Python pandas のデータを scikit-learn でうまいこと処理したい - StatsFragments
はじめに Python で機械学習する場合、pandas で前処理したデータを scikit-learn で処理する、というケースが多いと思う。pandas, scikit-learn には それぞれ 簡単にできる / できない処理があるので、うまいこと連携できるとうれしい。 scikit-learn の各メソッドは numpy.ndarray に対する処理を前提にしているため、pandas のデータ形式 (DataFrame や Series) を渡すと 内部で ndarray に変換して結果を返してくる。そのため、結果に対して 直接 pandas の処理を続けることはできない。 ndarray で処理すりゃいいじゃん、、というむきもあるが、自分はどうしても pandas で処理がしたいんだ。とりあえず、pandas のデータをできるだけ維持したい、というモチベーションがあるものとして処
Python DataFrame の行 or 列 を元に行った演算結果を、DataFrameに列追加 or 行追加して格納する際に使えるメソッドいろいろ - Qiita
>>> >>> import pandas as pd >>> >>> data_dict = {'A':[100, 564, 347], 'B':[1200, 853, 139]} >>> df = pd.DataFrame(data_dict) >>> >>> print(type(df)) <class 'pandas.core.frame.DataFrame'> >>> >>> print(df) A B 0 100 1200 1 564 853 2 347 139 >>> >>> print(df['A']) 0 100 1 564 2 347 Name: A, dtype: int64 >>> >>> print(df['B']) 0 1200 1 853 2 139 Name: B, dtype: int64 >>> >>> df['A * B + 2*A'] = df['A
pandas 0.16.0/0.16.1 の主要な新機能 - StatsFragments
先日 5/11 に pandas 0.16.1 がリリースされた。前バージョンである 0.16.0 とあわせて、主要な変更点である以下3点の概要をまとめたい。各見出しの括弧内には対応したバージョンを記載した。 簡単な列追加 / DataFrame.assign (0.16.0) 文字列処理の強化 (0.16.0/0.16.1) ランダムサンプリング DataFrame.sample (0.16.1) 変更点全体はリリースノートを参照。上記3点以外にも便利な変更はあるのだが、 Categorical や Frequency など 元機能の説明がないとわからない箇所なので別途、、。 簡単な列追加 / DataFrame.assign (0.16.0) DataFrame への列追加をより簡潔に行うためのメソッドとして、DataFrame.assign が追加された。R {dplyr} の mu
Pandas のデータフレームに行や列 (カラム) を追加する
このページでは、Pandas で作成した、もしくは、読み込んだデータフレームに行や列 (カラム) を追加する方法について紹介します。 行を追加する >>> import pandas as pd >>> import numpy as np >>> # データフレーム df を作成 >>> df = pd.DataFrame([[1, 2], [3, 4]], columns=list('AB')) >>> df A B 0 1 2 1 3 4 >>> # データフレーム df2 を作成 >>> df2 = pd.DataFrame([[5, 6]], columns=list('AB')) >>> df2 A B 0 5 6 >>> # データフレーム df と df2 を結合 >>> df.append(df2) A B 0 1 2 1 3 4 0 5 6 複数行の追加は以下のようにし
pandasとSQL - keisukeのブログ
参考：pandasでRDBの読み書きをする Pandasは、R言語のdata.frameと呼ばれるデータ構造をPythonに移植したもので、 データ解析によく使われるライブラリ。 データ解析にはデータベースが切っても切れない関係であるため、 PandasはSQLと密に連携できるようになっている。 SQLには色々な方言があるのだが、Pythonでそれらの方言を統一的に扱おうとしているのがSQLAlchemyというライブラリ。 そこで、PandasからSQLAlchemyを使ってデータベースから読んだデータをDataFrameに変換するには： import sqlalchemy import pandas as pd # この例ではsqliteを使うが、 engine = sqlalchemy.create_engine('sqlite:///example.db') # 例えば、Postgr
pandasにsqlでよくやる処理をやらせてみる | mwSoft
概要 pythonによるデータ分析入門を参考に、MovieLens 1Mを使ってsqlで普段やってるようなこと（joinとかgroup byとかsortとか）をpandasにやらせてみる。 ファイルの読み込み 落としてきたファイルを解凍すると、movies.dat、rating.dat、users.datという3つのファイルが入っているので、read_csvで読み込む。 import pandas as pd movies = pd.read_csv( 'ml-1m/movies.dat', sep='::', header=None, names=['movie_id', 'title', 'genres'] ) ratings = pd.read_csv( 'ml-1m/ratings.dat', sep='::', header=None, names=['user_id', 'mo
<pandas, regexp> パンダさんと正規表現を使って置換 - ねこゆきのメモ
pandasのapply()で正規表現regexpを使った置換。 まずは、セットアップ。 In [1]: import pandas as pd In [2]: import re In [3]: df = pd.DataFrame([ ...: '(00001) hage', ...: '(00002) hige', ...: '(02000) taro', ...: '(12345) jiro', ...: ]) In [4]: df Out[4]: 0 0 (00001) hage 1 (00002) hige 2 (02000) taro 3 (12345) jiro で、apply()と置換re.sub()。 In [7]: df.apply(lambda x: re.sub(r'\(([0-9]{5})\).*', r'\1', str(x[0])), axis=1) Out[
Python pandas でのグルーピング/集約/変換処理まとめ - StatsFragments
これの pandas 版。 準備 サンプルデータは iris で。 補足 (11/26追記) rpy2 を設定している方は rpy2から、そうでない方は こちら から .csv でダウンロードして読み込み (もしくは read_csv のファイルパスとして直接 URL 指定しても読める)。 import pandas as pd import numpy as np # 表示する行数を設定 pd.options.display.max_rows=5 # iris の読み込みはどちらかで # rpy2 経由で R から iris をロード # import pandas.rpy.common as com # iris = com.load_data('iris') # csv から読み込み # http://aima.cs.berkeley.edu/data/iris.csv names
pandas でメモリに乗らない 大容量ファイルを上手に扱う - StatsFragments
概要 分析のためにデータ集めしていると、たまに マジか！? と思うサイズの CSV に出くわすことがある。なぜこんなに育つまで放っておいたのか、、、？ このエントリでは普通には開けないサイズの CSV を pandas を使ってうまいこと処理する方法をまとめたい。 サンプルデータ たまには実データ使おう、ということで WorldBankから GDPデータを落とす。以下のページ右上の "DOWNLOAD DATA" ボタンで CSV を選択し、ローカルに zip を保存する。解凍した "ny.gdp.mktp.cd_Indicator_en_csv_v2.csv" ファイルをサンプルとして使う。 http://data.worldbank.org/indicator/NY.GDP.MKTP.CD?page=1 補足 pandas の Remote Data Access で WorldBan
pythonによるデータ分析入門を写経していく（その２） - どらちゃんのポッケ
pythonによるデータ分析入門を写経していってます。 pythonすごい便利。これはRからpythonに乗り換えたいって思ってきました。 とりあえずP２５まで。進みが遅い・・・。 この本 リスト内包のif リスト内包にifで条件をつけることができる 下記の例は'tz'を含むもののみを抽出している In [73]: time_zone = [rec['tz'] for rec in records if 'tz' in rec] In [74]: time_zone[:10] Out[74]: ['America/New_York', 'America/Denver', 'America/New_York', 'America/Sao_Paulo', 'America/New_York', 'America/New_York', 'Europe/Warsaw', '', '', ''] d
librabuch.jp
We’re getting things ready Loading your experience… This won’t take long.
pandasで使われるデータ構造 ～1次元、2次元、3次元のデータの扱い方～ - 今日も窓辺でプログラム
この記事について 今までなんとなくで使用していたpandasですが、なんとなくで実装していたコード（日経平均予想のやつです）が汚くメンテナンスが難しくなってきたので、一度ちゃんとpandasでのデータの扱い方をまとめておこうと思って書いたものです。 pandasの公式ドキュメントに Intro to Data Structures というものがあり、基本的にはそこで説明されていることの一部をピックアップして紹介している記事になります。 http://pandas.pydata.org/pandas-docs/stable/dsintro.html 目次 この記事について 目次 Series: 1次元のデータ Seriesの作り方 Seriesはnumpyのndarrayに似ている SeriesはPythonの辞書に似ている ベクトル的な計算もできます Name属性 DataFrame: 2
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonの環境構築とDBへのSQL実行例と統計用基本処理のメモ2019 - Qiita
http://www.kisse-logs.com/2017/04/08/python-dataframe/
Python/pandasのデータ処理で再帰代入撲滅委員会
