タグ

ブックマーク / zenn.dev/chimuichimu (1)

  • PanderaでPolarsのデータバリデーションを試す

    この記事は何? データバリデーションライブラリのPanderaがPolarsのサポートを開始したので、早速それを試してみるもの。基的なバリデーションのやり方を確認した上で、実行速度への影響を簡単な実験で確認した。 なお2024/3/16現時点では機能はベータ版という状態であるため、今後なんらかの大きな変更が発生する可能性がある。最新の情報を得たい場合は、公式のリリースやドキュメントを参照してほしい。 Beta release 0.19.0b0: Polars integration Data Validation with Polars 前提 Panderaとは? Panderaは、pandas.DataFrameのような2次元の表形式の構造を持つデータ(=データフレーム)に対するバリデーションを提供するライブラリである。事前にデータフレームに対して、各カラムの型や制約をスキーマとして

    PanderaでPolarsのデータバリデーションを試す
    sh19910711
    sh19910711 2024/03/18
    "PanderaがPolarsのサポートを開始 / Polarsのlazy APIによる遅延評価の仕組みを使っていたとしても、Panderaによる実行時バリデーションを行うタイミングで.collect()による評価が行われ"
  • 1