Pandas で時系列データをグループ化して集計できる「Grouper」 - kakakakakku blog
Pandas で groupby() 関数を使うと，データセットをグループ化して集計できる．さらに Grouper オブジェクトと組み合わせると，より高機能なグループ化を実現できる．今回は groupby() 関数と Grouper オブジェクトを組み合わせて「時系列データの集計」を試す．最後に関連する resample() 関数も試す． pandas.DataFrame.groupby — pandas 1.2.4 documentation pandas.Grouper — pandas 1.2.4 documentation データセット 🪢 今回使うサンプルデータセットを準備する．まず，Pandas の date_range() 関数を使って 2020/1/1 ~ 2020/12/31 の範囲で1年間の DatetimeIndex を作る．そして DatetimeIndex をイ
Pandasのgroupbyを使った要素をグループ化して処理をする方法 - DeepAge
グループ分けした処理の概要 groupby関数を使ってデータをグループ分けする(Splitting) 列データからグループ分け 複数の列データから作成 Indexの値を使う MultiIndexでグループ分け GroupByオブジェクトの中身を確認する GroupByオブジェクトをイテレータとして扱う 特定の列データを指定する グループごとに処理を実行する(Applying) Pandasの組み込み関数を使う apply関数を使って適用させる 複数の関数を一度に適用させる 列ごとに処理を指定する transform関数を使ったデータ整形 フィルタリング グラフにプロットする まとめ 参考 Pandasでの代表的な機能の1つとしてgroupby関数があります。 これはデータをある列データなどを基準にグルーピングして処理を行うために使います。例えば、事業部ごとの売上や、年代別での成績などを算出
pandas.DataFrame, Seriesの重複した行を抽出・削除 | note.nkmk.me
pandas.DataFrame, pandas.Seriesから重複した要素を含む行を検出・抽出するにはduplicated()、削除するにはdrop_duplicates()を使う。 pandas.DataFrame.duplicated — pandas 0.22.0 documentation pandas.DataFrame.drop_duplicates — pandas 0.22.0 documentation また、重複した要素をもとに値を集約するgroupby()についても最後に簡単に触れる。 以下の内容について説明する。 重複した行を抽出: duplicated() 残す行を選択: 引数keep 重複を判定する列を指定: 引数subset 重複した行の数をカウント 重複した行を削除: drop_duplicates() 引数keep, subset 引数inplace
MySQLで重複する行を削除する - Qiita
+----+-----------+-------+ | id | name | price | +----+-----------+-------+ | 1 | りんご | 100 | | 2 | りんご | 200 | | 3 | バナナ | 250 | | 4 | バナナ | 250 | ←削除したい | 5 | ぶどう | 100 | | 6 | ぶどう | 100 | ←削除したい | 7 | ぶどう | 120 | +----+-----------+-------+ DELETE FROM fruits WHERE id NOT IN (SELECT min_id from (SELECT MIN(id) AS min_id FROM fruits GROUP BY name, price) AS tmp); +----+-----------+-------+ | id |
時系列データで使うPandas小技集 - け日記
時系列データを扱うにあたって役に立った、Pandasのテクニックを紹介します。 文字列型のSeriesから日時型・日付型のSeriesへ変換する 日付に欠測値を含むデータを日毎に集計する 累積和を計算する 今回の例に使う時系列データは以下です。 ある商品の4/1〜4/3の購入履歴をイメージしてください。ユーザ(user_id)の購入日時(timestamp)と購入数(item_count)が入ったDataFrameとなっています。 import pandas as pd df = pd.DataFrame(...) print(df.info()) # <class 'pandas.core.frame.DataFrame'> # RangeIndex: 5 entries, 0 to 4 # Data columns (total 3 columns): # timestamp 5 no
Rubyで配列内の重複する値を抽出する方法 - 久保清隆のブログ
Rubyで重複する値を排除したい場合は、uniqメソッドを使えばOK。 a = [1, 2, 3, 4, 5, 6, 5, 4] a.uniq #=> [1, 2, 3, 4, 5, 6] 重複している値があるかどうかを調べるなら、uniqを利用すれば簡単にわかる。 a = [1, 2, 3, 4, 5, 6, 5, 4] a.size == a.uniq.size #=> false でも、配列から重複している値を抽出するメソッドは見当たらない（たぶん）。 そこで、配列から重複している値を抽出するスクリプトを書いてみた。 配列から重複している値を抽出する a = [1, 2, 3, 4, 5, 6, 5, 4] a.uniq.map{|v| v if a.inject(Hash.new(0)) {|h, key| h[key] += 1; h}[v] >= 2}.compact #=>
pandasにsqlでよくやる処理をやらせてみる | mwSoft
概要 pythonによるデータ分析入門を参考に、MovieLens 1Mを使ってsqlで普段やってるようなこと（joinとかgroup byとかsortとか）をpandasにやらせてみる。 ファイルの読み込み 落としてきたファイルを解凍すると、movies.dat、rating.dat、users.datという3つのファイルが入っているので、read_csvで読み込む。 import pandas as pd movies = pd.read_csv( 'ml-1m/movies.dat', sep='::', header=None, names=['movie_id', 'title', 'genres'] ) ratings = pd.read_csv( 'ml-1m/ratings.dat', sep='::', header=None, names=['user_id', 'mo
Python pandas でのグルーピング/集約/変換処理まとめ - StatsFragments
これの pandas 版。 準備 サンプルデータは iris で。 補足 (11/26追記) rpy2 を設定している方は rpy2から、そうでない方は こちら から .csv でダウンロードして読み込み (もしくは read_csv のファイルパスとして直接 URL 指定しても読める)。 import pandas as pd import numpy as np # 表示する行数を設定 pd.options.display.max_rows=5 # iris の読み込みはどちらかで # rpy2 経由で R から iris をロード # import pandas.rpy.common as com # iris = com.load_data('iris') # csv から読み込み # http://aima.cs.berkeley.edu/data/iris.csv names
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Blogger
Python/pandasのデータ処理で再帰代入撲滅委員会