Narwhals
Home Home Why Installation and quick start Intro tutorial Narwhals and SQL Concepts Overhead Perfect backwards compatibility policy Supported libraries and extending Narwhals How it works Ecosystem Security Resources Narwhals - Extremely lightweight and extensible compatibility layer between dataframe libraries! Full API support: cuDF, Modin, pandas, Polars, PyArrow. Lazy-only support: Dask, DuckD
DataFrame を Validation する pandera 入門
はじめに Python を用いてデータ分析を行うにあたりよく使われるライブラリとして pandas があります。 pandas は大変使い勝手の良いライブラリですが、多くの場合データを丸ごと pd.DataFrame 型で保持するため「どのような列を持っているのか」、「各列がどのような型か」、「各列の値にどのような値が入りうるのか」等がソースコードを一見しただけでは分からないことが多いです。 結果として処理がブラックボックス化してしまい、デバッグコストの増加やコードの可読性低下といった問題を生じさせることがあります。 この問題への解決策の一つとして、本記事ではデータフレームのバリデーション機能を提供するライブラリである pandera を紹介します。 pandera とは データ処理パイプラインの可読性とロバストさを高めるために dataframe に対してデータ検証を行う機能を提供するラ
BigQuery DataFrames を使用する | Google Cloud
BigQuery DataFrames を使用する BigQuery DataFrames は、BigQuery エンジンによる Pythonic DataFrame と ML API を提供します。BigQuery DataFrames は、オープンソースのパッケージです。 pip install --upgrade bigframes を実行すると、最新バージョンをインストールできます。 BigQuery DataFrames には、次の 3 つのライブラリが用意されています。 bigframes.pandas は、BigQuery でデータの分析と操作に使用できる pandas API を提供します。多くのワークロードは、インポートをいくつか変更するだけで pandas から bigframes に移行できます。bigframes.pandas API は、テラバイト単位の BigQ
Pandas 2.0はPolarsよりも速いのか？ - Qiita
PandasはPythonのデータ解析ライブラリです。 データの加工や集計、分析に皆様活用されていると思います。 最近ではPolarsというRustベースの高速データ解析ライブラリが登場し、こちらを利用する人も増えているのではないかと思います。 PolarsではApache Arrowという列指向のデータフォーマットをベースにしており、データの高速処理を実現しています。 そんな中、最近Pandasの2.0がプレリリースされたようです。 2.0では、Apache ArrowをPython操作できるようにしたライブラリPyArrowがPandasで使えるようになったようなので、どれだけ高速に処理できるのか早速試してみました。 参考：Pandas2.0の新機能 前提 Pandas2.0はプレリリース版を使用します。 （この記事を書いている2023/3/21時点では、まだ正式リリースされていないよ
Apache Arrow の紹介 - GO Tech Blog
タクシーアプリ『GO』のデータエンジニアをしている牧瀬です。 Apache Arrow という OSS を知り、弊社でも活用できる機会があるのではないかと興味を持ちました。本記事では Apache Arrow の概要を紹介します。 概要 Apache Arrow とは、インメモリのカラムナーフォーマット仕様および、それを操作するための各種プログラミング言語用のライブラリ実装です。 Apache Arrow が作られた目的は、大きなデータセットを高速に処理したり、データセットを異なるシステムやプログラミング言語の間で効率的にやりとりするためです。 なぜインメモリ？ 一般的なカラムナーフォーマットの多くはストレージに保存する際のフォーマットですが、Apache Arrow はインメモリの仕様も定められています。 これは 1台のマシン上で異なる言語やプロセスの間でデータをやり取りする際、シリアラ
Pandas[GPU] vs Polars[CPU] vs Polars[GPU]
※結合(merge, join)は小野寺さん、冨山さんの発表の中で十分GPUの恩恵を受ける処理であることが自明だったので今回は省略しました。 処理速度を計測するためのデータセットは以下のコードで作成しました。 import pandas as pd import polars as pl import numpy as np import random from datetime import datetime, timedelta import time # データの行数 num_rows = 100_000_000 # データ生成関数 def generate_data(seed): # 乱数のシードを固定 np.random.seed(seed) random.seed(seed) # USER_ID列の生成 user_ids = np.random.randint(1, 1001,
![Pandas[GPU] vs Polars[CPU] vs Polars[GPU]](https://cdn-ak-scissors.b.st-hatena.com/image/square/c47602075032d271fef7e07e6148facbfc9f1f9d/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--VJz0JB42--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3APandas%25255BGPU%25255D%252520vs%252520Polars%25255BCPU%25255D%252520vs%252520Polars%25255BGPU%25255D%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Aparfait%252528%2525E3%252583%252591%2525E3%252583%2525AB%2525E3%252583%252595%2525E3%252582%2525A7%252529%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzhhNzJiYWY1NjIuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
pandasから移行する人向け polars使用ガイド - Qiita
pandasではデフォルトでは文字列をオブジェクトデータ型で扱うようになっています。それに対してpolarsには最初から文字列専用のデータ型が用意されています。 pandasで日付を扱う場合は一般的には時刻を0:00:00にした日時np.datetime64で代用しますが、polarsには日付のみを扱うpl.Dateが存在し、また時刻のみを扱うpl.Time、日付＋時刻を扱うpl.Datetimeもそれぞれ存在します。 型変換メソッド、つまりpandasの.astype()は、polarsでは.cast()です。 エクスプレッション（pl.Expr()） polarsには、データフレーム・シリーズとは別にエクスプレッションというクラスが存在します。エクスプレッションは「一連の操作の命令」だと思うとよいでしょう。 例えば、「"A"列を選択→3で割る→10より小さい値は2倍して大きい値は2で割
Apache Arrow and the “10 Things I Hate About pandas” – Wes McKinney
This post is the first of many to come on Apache Arrow, pandas, pandas2, and the general trajectory of my work in recent times and into the foreseeable future. This is a bit of a read and overall fairly technical, but if interested I encourage you to take the time to work through it. In this post I hope to explain as concisely as I can some of the key problems with pandas’s internals and how I’ve
ArcticDB
ArcticDB is precisely designed to solve for a single pain point: getting quants productive with their data as quickly as possible. ArcticDB seamlessy integrates with common Python data science libraries, transforming your ability to operate complex data at petabyte scale with remarkable speed. Billions of rows of data, hundreds of thousands of columns processed in seconds.
Huggingface Datasets 入門 (2) - データセットの読み込み｜npaka
以下の記事を参考に書いてます。 ・Huggingface Datasets - Loading a Dataset ・Huggingface Transformers 4.1.1 ・Huggingface Datasets 1.2 1. データセットの読み込み「Huggingface Datasets」は、様々なデータソースからデータセットを読み込むことができます。 (1) Huggingface Hub (2) ローカルファイル (CSV/JSON/テキスト/pandas pickled データフレーム) (3) インメモリデータ (Python辞書/pandasデータフレームなど) 2. Huggingface Hub からのデータセットの読み込みNLPタスク用の135を超えるデータセットが、「HuggingFace Hub」で提供されています。「Huggingface Dataset
Polarsの入門者向け逆引きリファレンス（よく使いそうな機能まとめ） - Qiita
この記事は朝日新聞社Advent Calendar2024の11日目の記事です。 昨日の記事は村瀬さんのAWS Lambda SnapStartを試してみたでした。 Polars 入門向けよく使いそうな機能の逆引きリファレンス こんにちは、朝日新聞社の新妻です。 皆さん、Polars使ってますか？ 自分はこの半年間くらいPandasからPolarsに乗り換えて、しばらく使ってみていました。 個人的な感想として、メモリの効率さや処理の高速さが非常に良くて、特にSNSの投稿のような大規模なデータを扱うときには非常に助かっています。 ということで、非常にオススメできるのですが、 慣れてるツールを乗り換えたりするのって結構ハードルが高いですよね。 ということで、個人的な備忘録も兼ねてPolarsの機能の簡易的な逆引きリファレンスを作ってみました。 ここ半年間の自身の利用履歴から候補を絞っているので
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - sfu-db/connector-x: Fastest library to load data from DB to DataFrames in Rust and Python
PyDataTT #33 - Introducing Zero-Code Change Acceleration of Pandas and NetworkX
Python dataframe API standard — Python dataframe API standard 2023.04-DRAFT documentation
GitHub - narwhals-dev/narwhals: Lightweight and extensible compatibility layer between dataframe libraries!
Polars, DuckDB, PySpark, PyArrow, pandas, cuDF: how Narwhals has brought them all together! PyData London 2025
Generate synthetic data with BigQuery DataFrames and LLMs | Google Cloud Blog
Pandas → Polars 早見表
pandasはPolarsに性能面で追いつき追い越せるのか
Updated PDS-H benchmark results (May 2025)