Pandasで行うデータ処理を100倍高速にするOut-of-CoreフレームワークVaex - フリーランチ食べたい

TL;DR アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。 string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍) 文字列処理以外でも数倍~数十倍の高速化が行えそうです。 この記事では性能の比較のみ行い、解説記事は別で書こうと思います。 pandasより1000倍早いフレームワーク？ 今週、興味深い記事を読みました。重要な部分だけ抜き出すと次のような内容です。 Vaexの最近のアップデートでの文字列処理が超早くなった 32コアだとpandasと比べて1000倍早い towardsdatascience.com 1000倍って本当なの？って感じですよね。そもそも自分はVaex自体を知らなかったので調べてみました。 ちなみに調べていて気づいたのですが、この記事の著者はVaexの作者なんですよね。 疑っているわけ

[ikedaosushi]

書きました。正直そんなに期待しておらず、ちょっと調べてみよう、くらいの気持ちだったのですが、その性能にビビりました。

[uchiten]

Vuex ではない。

[hat2718me]

python pandas

[ftmaccho]

これはメモ

[jmako]

マジか！試してみるか。

[vaaaaaanquish]

課題も書いてあってえらい

[nikutaiha]

pandas,より速い

[qpci32siekqd]

「NYSOL: Pythonにおける大規模データ前処理支援ツール」より早そうか。https://www.nysol.jp/nysol_python/bench/mcmd_fit2018.html

[nori1027]

はや！これは使ってみるしかない！！

[yarumato]

“Pythonライブラリ。Pandas作者が語るPandasへの後悔「遅延評価なし　低パフォーマンス」を解決している。36コア、メモリ72GBで速度調査。文字列処理は134倍早い。文字列以外も22倍高速。欠点はAPI不足と高速化状況の制限”

[somemo]

“Dask.dataframe tries to attack large datasets by building on top of Pandas, but inherits its issues.”

[RabbitBit]

大規模データセットを取り扱う場合には、Pandasの代わりに使用する事を考える。そういう立ち位置かな。

[Nyoho]

“アウトオブコア、かつマルチコアでデータ処理を行えるVaex”

[otani0083]

面白い

[buenaarbol]

今度使ってみよ

[theatrical]

適切なパッケージ化というのも、流行ったときにコントリビューターによる拡張が進みやすい要素だし、流行ってくれるといいな

[shogo_okamoto]

Vaexという速いPandasみたいのがあるらしい。