タグ

polarsに関するdannのブックマーク (6)

  • Pandas → Polars 早見表

    データサイエンスやデータエンジニアリングの分野において、効率的かつ柔軟なデータ処理を実現するためには、適切なツールの選択が不可欠です。最近では、高速かつ省メモリなデータ操作ライブラリであるPolarsが注目を浴びています。記事では、この新たなライブラリと既存のデータ処理ツールであるPandasとの対応関係を簡潔にまとめます。特に、Polarsへの移行やトライアルをスムーズに進めるために、両ライブラリの使い方に焦点を当てて解説します。 逆引きクックブックのようなイメージです。 ブログの見方 以下のフォーマットでまとめています。 <処理概要>

    Pandas → Polars 早見表
    dann
    dann 2023/05/20
  • Polars, 旬の13のお役立ち機能 - Qiita

    import polars as pl pl.show_versions() ---Version info--- Polars: 0.16.6 Index type: UInt32 Platform: Linux-5.15.79.1-microsoft-standard-WSL2-x86_64-with-glibc2.31 Python: 3.10.9 (main, Dec 27 2022, 12:45:52) [Clang 15.0.6 ] ---Optional dependencies--- pyarrow: 10.0.1 pandas: 1.5.3 numpy: 1.24.2 fsspec: <not installed> connectorx: <not installed> xlsx2csv: <not installed> deltalake: <not installed

    Polars, 旬の13のお役立ち機能 - Qiita
    dann
    dann 2023/02/19
  • Introduction - Polars documentation

    Home Getting started User guide Introduction This User Guide is an introduction to the Polars DataFrame library. Its goal is to introduce you to Polars by going through examples and comparing it to other solutions. Some design choices are introduced here. The guide will also introduce you to optimal usage of Polars. Even though Polars is completely written in Rust (no runtime overhead!) and uses A

  • pandasから移行する人向け polars使用ガイド - Qiita

    pandasではデフォルトでは文字列をオブジェクトデータ型で扱うようになっています。それに対してpolarsには最初から文字列専用のデータ型が用意されています。 pandasで日付を扱う場合は一般的には時刻を0:00:00にした日時np.datetime64で代用しますが、polarsには日付のみを扱うpl.Dateが存在し、また時刻のみを扱うpl.Time、日付+時刻を扱うpl.Datetimeもそれぞれ存在します。 型変換メソッド、つまりpandasの.astype()は、polarsでは.cast()です。 エクスプレッション(pl.Expr()) polarsには、データフレーム・シリーズとは別にエクスプレッションというクラスが存在します。エクスプレッションは「一連の操作の命令」だと思うとよいでしょう。 例えば、「"A"列を選択→3で割る→10より小さい値は2倍して大きい値は2で割

    pandasから移行する人向け polars使用ガイド - Qiita
    dann
    dann 2023/01/26
  • 超高速…だけじゃない!Pandasに代えてPolarsを使いたい理由 - Qiita

    PolarsというPandasを100倍くらい高性能にしたライブラリがとても良いので布教します1。PolarsRustベースのDataFrameライブラリですが、記事ではPythonでのそれについて語ります。 ちなみにpolarsは白熊の意です。そりゃあまあ、白熊と大熊比べたら白熊のほうが速いし強いよねってことです2。 何がいいの? 推しポイントは3つあります 高速! お手軽! 書きやすい! 1. 高速 画像はTPCHのBenchmark(紫がPolars)3。 日語でも色々記事があるので割愛しますが、RustやApach Arrowなどにお世話になっており、非常に速いです。MemoryErrorに悩まされる問題も解決されます。開発者のRitchieがしゃれおつなツイートをしてるので、そちらも参考にどうぞ ↓ 4。 抄訳: (ひとつ目)Pandasは黄色くした部分でDataFram

    超高速…だけじゃない!Pandasに代えてPolarsを使いたい理由 - Qiita
  • 超高速DataFrameライブラリー「Polars」について

    はじめに ここ最近、Polarsについて調べる中で色々と面白そうだと思い現在勉強中です。今回の記事では勉強内容の整理も兼ねて、Polarsの特色を紹介できればと思っています。 Polarsとは RustPythonで使える[1]超高速("Blazingly fast")DataFrameライブラリー、つまりデータ解析に使えるライブラリーとなります。pandasに対するPolars(しろくま)であり洒落ているなと思います。 Core部分はRustで実装されており、インターフェースとしてPythonからも呼び出せるようになっています。RustからPythonパッケージへのビルドはmaturin(PyO3)を使っています。 環境 記事作成時のOSや言語、ライブラリーのバージョンは以下になります。関連が強そうなもののみ抜粋しています。 Ubntu 22.04 Python 3.10.6 (mai

    超高速DataFrameライブラリー「Polars」について
  • 1