Python向けデータ分析ライブラリ「Pandas」のバージョン2.0が登場、処理性能を大幅に改善

「Pandas 2.0」では、処理性能向上に特に力を入れた。まず、「Apache Arrow」のPythonバインディングである「PyArrow」が使えるようになった。Apache Arrowは言語非依存のデータ分析フレームワークであり、データを列形式で扱うことで、データの読み出しやデータ処理を並列で実行できるようにしている。Pandas 2.0では、PyArrowを利用することで処理速度が向上し、メモリ消費量が減少した。特に、大規模データセットを扱うときに大きな効果が得られるという。 続いて、メモリ上でのデータ操作にコピーオンライト（Copy-on-Write）の手法を取り入れた。これは、オブジェクトをコピーしたときに、メモリ上ではすぐにはコピーせず、元データへの参照を作る手法だ。コピーしたデータに変更が加わるまで、参照を作成するだけで済ませ、変更が加わったら実際にコピーする。不必要にデ

[misshiki]

“ Python向けデータ分析ライブラリ「Pandas」の開発チームは、最新バージョンとなる「バージョン2.0」を2月26日（現地時間）に公開し”