これからのデータ分析はPandasにDuckDBも併用して高速化しようという話

こんにちは。 株式会社アイデミーでデータサイエンティストをやっている米倉と申します。 今回はデータ分析を高速化するために、従来のPandasによる実装に加えてDuckDBも併用して高速化を図ってみたのでご紹介します。 BI(ダッシュボード)作った → データ重すぎて動かない問題 データサイエンティストや機械学習エンジニアの代表的な日常業務として、データ分析があります。 データ分析作業を楽にしたり、より良い意思決定に繋げるための考察を得る手段として、BIツール（ダッシュボード）を作ることがあります。 Pythonでダッシュボード的なものを作ろうとした場合、WEBアプリ系のフレームワークがいくつか存在します。 代表的なものとして、私も日々の業務で使っているStreamlitがあります。 Streamlit： とにかく簡単に作れて、速攻で可視化できるのが、現場のデータサイエンティストには大助かり

[sh19910711]

"PyGWalker: Dataframeからドラッグ&ドロップでX軸とY軸にする列を選択してグラフを作成 + DuckDBをベースとした内部エンジンがあり、それを有効化できるとのこと" 2023