PandasからPolarsへ移行した方がいいのか - Qiita
なぜこの記事を書くのか 皆さん、データ解析を行う際にどのようなライブラリを用いているでしょうか。 おそらく大半の人はpandasを使っているのではないでしょうか。 私もpandas使ってます。簡単だよね(´・ω・｀) しかし、業務でバカクソでけえデータを読み込もうとしたときに、読み込み時間がとんでもなくかかったり、メモリ不足でそもそも読み込めもしないことが起きていました。 読み込みにメモリ食われすぎて他の作業ができずに待機した挙句、燃え尽きたかのようにノーパソのファンが止まると同時にメモリ不足のエラーが出たときには切れ散らかします。 （画像元：葬送のフリーレン公式Xアカウントのポストより） そんなこともあり、AWSなどのクラウドサービスでメモリに余裕を持たせるためにめちゃくちゃ良いインスタンスを使用していましたが、コストの問題で断念しました。 しかし、どうしても読み込みたいということもあり
Python pandas で日時関連のデータ操作をカンタンに - StatsFragments
概要 Python で日時/タイムスタンプ関連の操作をする場合は dateutil や arrow を使っている人が多いと思うが、 pandas でもそういった処理がわかりやすく書けるよ、という話。 pandas の本領は多次元データの蓄積/変形/集約処理にあるが、日時操作に関連した強力なメソッド / ユーティリティもいくつか持っている。今回は それらを使って日時操作を簡単に行う方法を書いてく。ということで DataFrame も Series もでてこない pandas 記事のはじまり。 ※ ここでいう "日時/タイムスタンプ関連の操作" は文字列パース、日時加算/減算、タイムゾーン設定、条件に合致する日時のリスト生成などを想定。時系列補間/リサンプリングなんかはまた膨大になるので別途。 インストール 以下サンプルには 0.15での追加機能も含まれるため、0.15 以降が必要。 pip
Pythonのpandas-datareaderで株価を取得してみる① - Qiita
はじめに モチベーション 近頃、ちまたでは人工知能のライブラリが簡単に使えるのだそうです。そしてそれを使ったら、もしかして株価予測とかで一儲けといけるのではないかと思ったりするわけです。 しかし、それには株価のデータを集めなくてはならないんですよね。 AIはデータが命ですから。 データ分析とかAIとかだと、とりあえずpythonでしょう。そこでpythonで何かないかなあと調べてみると、pandas-datareaderといういいものがあるそうな。 （これを使い始めた頃はGoogleとかyahooとかデータが取れたんですが、最近どんどん取れなくなってきています。世知辛い世の中ですね） まあそれはさておき、とりあえず始めていきましょう！ 作るもの pandas-datareaderを使って、過去の株価データを拾ってきてCSVに保存するプログラミング。 わざわざ書くまでもないですかね。 使うも
Python: pandas の永続化フォーマットについて調べた - CUBE SUGAR CONTAINER
以前、このブログでは pandas の DataFrame を Pickle として保存することで読み込み速度を上げる、というテクニックを紹介した。 blog.amedama.jp 実は pandas がサポートしている永続化方式は Pickle 以外にもある。 今回は、その中でも代表的な以下の永続化フォーマットについて特性を調べると共に簡単なベンチマークを取ってみることにした。 Pickle Feather Parquet 使った環境とパッケージのバージョンは次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.5 BuildVersion: 17F77 $ python -V Python 3.6.5 $ pip list --format=columns | egrep "(pandas|feather-format|
Kaggleで使えるpandasテクニック集 - 天色グラフィティ
PythonでKaggleなどのデータ分析を行う際、pandasでゴリゴリ作業をすることが多いかと思います。 最近知って「めっちゃ便利やん！」ってなったものをまとめておきたいと思います。 全部の関数にドキュメントへのリンクを付けたので参考にしてください。 今回も検証にはTitanicのデータセットを用います。また、文中でのdf.hoge()はpandasのDataFrameのメソッドであることを、pd.hoge()はpandasの関数であることを表します。 df = read_csv('input/train.csv', index_col=0) print(df.shape) df.head() 最低限押さえておきたいやつら まずはここから。 10 Minutes to pandas よく使うやつら。詳しい解説は省略するので、ドキュメントのリンク先を見てください。 関数 内容 リンク d
pandas.DataFrameの複数の列の文字列を結合して新たな列を生成 | note.nkmk.me
pandas.DataFrameの複数の列の文字列を結合（連結）して新たな列を生成する方法について、以下の内容を説明する。 文字列の列同士の結合（連結） str.cat() +演算子 欠損値NaNの処理 文字列の列と数値の列の結合（連結） 連結した列をpandas.DataFrameに追加 例として、以下のデータを使用する。 import pandas as pd df = pd.read_csv('data/src/sample_pandas_normal.csv').head(3) print(df) # name age state point # 0 Alice 24 NY 64 # 1 Bob 42 CA 92 # 2 Charlie 18 CA 70
PyConJP 2016: pandas による 時系列データ処理
Improving Search @scale with efficient query experimentation @BerlinBuzzwords 2024
2/22 扱いにくいと叩かれていたcsvをpandasで整形してみた - glamorousdammy
政府の出しているcsvが、クソcsvだと話題になっていました。 国民の祝日について - 内閣府 これですね。 まずアホみたいに読み込んでみましょう。 割りと普通に読めます。合格点。 目検で要らない行を取りましょう。ついでに連結のために列名を変えましょう。直接書いてますが、リスト内包とかで書けると思います。多分。わかんないけど。 顧客が本当に欲していたcsvを作りましょう。ついでに、あとの事を考えてflagの列を作りましょう。 さて、例題ですが、分析する上で、祝日は売上が上がったりしそうなので、祝日かどうかを判定したいです。ということで、売上フレームを作って、そこに祝日情報をjoinしましょう。 こんな感じですね。 せっかくなのでgroup byして平均売上高をグラフにしてみましょう。 データの作り方から当たり前ですが、大差無いですね。 ということで、クソcsvに思えても、pandasでなら
pandasでcsv/tsvファイルの読み書き | mwSoft
csvの読み込み csv読み込み。 そのままread_csvすると1行目をheaderとして認識する。ヘッダがない場合はheader=Noneとしておけば良い。 下記のようなファイルを読み込んでみる。 10,8,3 12,1,5 5,3,3 import pandas as pd pd.read_csv("foo.csv", header=None) 10 8 3 0 12 1 5 1 5 3 3 試してみたところ、header=-1とかheader=Falseでも同じ挙動になった。 headerに名前を付ける場合は、namesを使用。 pd.read_csv( 'foo.txt', names=('a', 'b', 'c') ) a b c 0 10 8 3 1 12 1 5 2 5 3 3 ヘッダ行があれば特に何も指定せずに読み込める。 下記のようなファイルを読み込んでみる。 col1
Python pandas データのイテレーションと関数適用、pipe - StatsFragments
pandas ではデータを 列 や 表形式のデータ構造として扱うが、これらのデータから順番に値を取得 (イテレーション) して何か操作をしたい / また 何らかの関数を適用したい、ということがよくある。このエントリでは以下の 3 つについて整理したい。 イテレーション 関数適用 pipe (0.16.2 で追加) それぞれ、Series、DataFrame、GroupBy (DataFrame.groupbyしたデータ) で可能な操作が異なるため、順に記載する。 まずは必要なパッケージを import する。 import numpy as np import pandas as pd イテレーション Series Series は以下 2つのイテレーション用メソッドを持つ。各メソッドの挙動は以下のようになる。 __iter__: Series の値 ( values ) のみをイテレーシ
<Python, pandas> カラムの値で要素を検索する。 複数条件。 - ねこゆきのメモ
また忘れかかっていたので、再度メモ。 データフレームDataFrameでカラムcolumnの値で検索をかけて、 特定要素elementの値を書き換える方法。 .loc[]を使う。 複数の条件も指定可能。 In [1]: import pandas as pd In [2]: df = pd.DataFrame({'a':[1,2,3,4,5],'b':[2,4,6,8,10],'c':[5,7,8,9,10]}) In [3]: df Out[3]: a b c 0 1 2 5 1 2 4 7 2 3 6 8 3 4 8 9 4 5 10 10 In [5]: df.loc[(df.a == 2) & (df.b == 6), 'c'] Out[5]: Series([], Name: c, dtype: int64) In [6]: df.loc[(df.a == 2) & (df.b
PyCon APAC 2016 Keynote
Wes McKinney gave the keynote presentation at PyCon APAC 2016 in Seoul. He discussed his work on Python data analysis tools like pandas, Apache Arrow, and Feather. He also talked about open source sustainability and governance. McKinney is working on the second edition of his book Python for Data Analysis, which is scheduled for release in 2017.Read less
第1回 現地の様子とカンファレンス1日目 ～pandas開発者によるKeynote～ | gihyo.jp
こんにちは、芝田 将です。2016年8月13日（土）～8月15日（月）の3日間、韓国で開催されたPyCon APAC 2016 in Koreaに参加してきました。このレポートでは最初の2日間に行われたConference Dayの様子をお届けします。 昨年、台湾で開催されたPyCon APAC 2015の参加者数は約700名であったのに対し、今年のPyCon APAC 2016は約1500名の参加者が集まった非常に大規模なカンファレンスとなりました。昨年のPyCon APAC 2015には筆者も参加し、gihyo.jpにてレポートしています。興味のある方はぜひそちらも合わせてご覧ください。 台湾で開催された「PyCon APAC 2015」参加レポート 今回は、現地の様子とカンファレンス1日目の内容をお届けします。 PyCon APAC 2016 in Koreaについて PyCon
pandasql
Verified details These details have been verified by PyPI Maintainers glamp Unverified details These details have not been verified by PyPI Project links Homepage GitHub Statistics pandasql allows you to query pandas DataFrames using SQL syntax. It works similarly to sqldf in R. pandasql seeks to provide a more familiar way of manipulating and cleaning data for people new to Python or pandas. Inst
投票: pandasによる時系列データ処理 | PyCon JP 2016 in TOKYO
データ分析では売上データやログデータなどの時系列での傾向を分析したいことがあります。こういった時系列のデータについて、データ分析ライブラリであるpandasを利用してグループ化や集計、サンプリングなどの処理を簡単・高速に行う方法を説明します。pandasでは以下のような処理を少ないコード量で直感的に記述することができます。 - 日時文字列のパース処理 - 適当な日時単位(年月, 四半期...)でのグループ化、集計 - サンプリング、フィルタ (移動平均など) - タイムゾーン - 可視化 また、API上の利便性と処理のパフォーマンスを両立するために行っているデータの内部表現と内部処理についてもご説明します。 最後に、統計解析パッケージであるstatsmodelsを用いて簡単な時系列モデリングを行い、 時系列中のトレンドや季節性を抽出するとともに、将来の予測を行います。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Pythonメモ】pandas-profilingが探索的データ解析にめちゃめちゃ便利だった件 - Qiita
https://pandas.pydata.org/pandas-docs/stable/indexing.html
http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html
Using Pandas To Create an Excel Diff - Practical Business Python
Python Pandas Pivot tables to pie chart