PandasからPolarsへ移行した方がいいのか - Qiita

なぜこの記事を書くのか 皆さん、データ解析を行う際にどのようなライブラリを用いているでしょうか。 おそらく大半の人はpandasを使っているのではないでしょうか。 私もpandas使ってます。簡単だよね(´・ω・｀) しかし、業務でバカクソでけえデータを読み込もうとしたときに、読み込み時間がとんでもなくかかったり、メモリ不足でそもそも読み込めもしないことが起きていました。 読み込みにメモリ食われすぎて他の作業ができずに待機した挙句、燃え尽きたかのようにノーパソのファンが止まると同時にメモリ不足のエラーが出たときには切れ散らかします。 （画像元：葬送のフリーレン公式Xアカウントのポストより） そんなこともあり、AWSなどのクラウドサービスでメモリに余裕を持たせるためにめちゃくちゃ良いインスタンスを使用していましたが、コストの問題で断念しました。 しかし、どうしても読み込みたいということもあり

[minamishinji]

Polars、書き方に慣れると気持ちいいくらい速い。 / Pandas は Arrow エンジンになるタイミングで化けるのかな。

[misshiki]

“生物としてもパンダは白熊に勝てないのは明らかであって、PolarsとPandasを比較しても圧倒的な速度の差があり、ライブラリとしての性能もPolarsが圧勝しています。”

[bfoj]

ブコメが流行らせたい人たちに見えなくもないが、前処理大全の改訂版で扱われるんだっけ？まあ、買うけど🐼🐼https://gihyo.jp/book/2024/978-4-297-14138-7

[murabits]

お仕事でPolars使ってるけどPolarsが6秒 /GB、Pandasが62秒/GBってのあながち誇張表現じゃないと思う／PandasでPyarrow使ってもPolars程速くはならないんだよね…

[maketexlsr]

“信憑性はほとんどありませんが、約1GBのcsvファイルを読み込んだときの速度を比較したところ Polars：6秒 Pandas：62秒 でした。” なんだこれ本当かよ？

[mayumayu_nimolove]

目的を達成できないのに使い続ける意味はない

[tsuboty]

私は280GBメモリのAWSを借りて解決した。(物理

[deejayroka]

“Polras特有の書き方に慣れる必要がある 欠損値の読み込み方などが面倒 ぐらいですかね。”

[elsheep]

Rのdata.tableとの比較も見てみたい。

[kei_1010]

“業務でバカクソでけえデータを読み込もうとしたときに、読み込み時間がとんでもなくかかったり、メモリ不足でそもそも読み込めもしない” 俺には関係無さそう。

[attakei]

tldrはどこ？

[kds1256]

ブクマ勢の「俺は突っ込まないぞ」という強い意思をを感じる。

[gnety]

pandasは100万行以上になると遅すぎてヤバイ