PyArrowとParquet - Atsuo Ishimoto's blog
さて、ビッグデータ全盛の昨今、数ギガバイト程度のデータのやり取りは珍しくもなんともない時代になりました。交換用データファイルのフォーマットもいろいろな形式が使われていますが、ここではPythonで一般的に使われているファイル形式を簡単に検討してみましょう。 CSV¶昔から、単純な表形式のデータにはCSVが使われてきました。Microsoft Excelをはじめとしてさまざまなツールでサポートされており、幅広い環境で利用できます。 データの作成¶例として10万行・100カラムのデータを作成し、CSV形式で保存してみましょう。インデックスとして、datetime型の値を指定してます。 %pip install pandas pyarrow numpy tqdm dask graphviz import sys import numpy as np import pandas as pd pd.
python環境でcsv, pickle, joblib, parquetの読み書き速度と容量を比較 - Qiita
やったこと pythonで2次元配列データを一時保存するときによく使う pickle.dump joblib.dump pyarrowに変換してparquet保存 pd.write_csv のそれぞれについて読み書き速度と保存容量を比較しました。 結論 圧縮率と速度ならpickle protocol=4 一部だけ読んだり書いたりを繰り返すような場合はpyarrowでparquet保存 が良さそう 試行環境 CPU: Xeon E5-2630 x 2 chip VRAM: 128GB Windows8 64bit python 3.6 比較に使ったデータ 機械学習用の特徴量データで試行しました ・pandas.DataFrameの 536行178886列 0.77GB ・pandas.DataFrameの4803行178886列 6.87GB 比較結果 0.77GBのDataFrame 6.
PandasのデータをpyarrowでParquet変換してGCS(Google Cloud Storage)にアップロード - YOMON8.NET
タイトルの通りです。PandasのDataframeをpyarrowでParquetに変換して、そのままGCSにアップロードしています。 スクリプト こんな形で実行可能です。ファイルを経由しないでBufferから、そのままアップロードしています。 import pandas as pd import pyarrow as pa import pyarrow.parquet as pq import numpy as np import datetime from google.cloud import storage as gcs # ダミーデータでDataframe作成 row_num = 100000 string_values = ['Python', 'Ruby', 'Java', 'JavaScript', 'PHP','Golang'] df = pd.DataFrame({
LambdaのLayer機能活用してpandas,pyarrow,s3fs使ってParquet変換する簡易ETL処理を実装する - YOMON8.NET
小さなファイルのETLにGlueを使うのがもったいなかったので、Pandasやpyarrowで実装しました。 Lambda Layerにpandasとpyarrowを追加 Layerに登録するパッケージを作成 パッケージをアップロード Lambdaのコード エラー対応 参考 Lambda Layerにpandasとpyarrowを追加 Layerに登録するパッケージを作成 今回利用するのはpandasとpyarrow、s3fsなのですが少し工夫が必要でした。 ３つを全てを一つのZIPに纏めるとLambda Layerの50MBの制限にかかってしまいます。 3つにZIPを分割するとLambdaにレイヤー追加する時の制限にかかってしまいます。 Layers consume more than the available size of 262144000 bytes 大きなnumpyなどを共有
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
