タグ

qiitaとpandasに関するclavierのブックマーク (3)

  • import polars as pd でどこまでいけるか! - Qiita

    shape: (891, 12) ┌─────────────┬──────────┬────────┬──────────────────┬───┬────────────┬─────────┬───────┬──────────┐ │ PassengerId ┆ Survived ┆ Pclass ┆ Name ┆ … ┆ Ticket ┆ Fare ┆ Cabin ┆ Embarked │ │ --- ┆ --- ┆ --- ┆ --- ┆ ┆ --- ┆ --- ┆ --- ┆ --- │ │ i64 ┆ i64 ┆ i64 ┆ str ┆ ┆ str ┆ f64 ┆ str ┆ str │ ╞═════════════╪══════════╪════════╪══════════════════╪═══╪════════════╪═════════╪═══════╪═══════

    import polars as pd でどこまでいけるか! - Qiita
  • 正規表現のポテンシャルを引き出す自作関数3選 [Python] - Qiita

    はじめに 文字列処理に関する3種類の自作関数を紹介します。 具体的には、主に以下の2点を目的としています。 ・正規表現の円滑な適用 ・英字 / かな / カナ / 漢字 / 数字 の識別 ☆ 02/26 時点で全体構成を刷新しました。 下準備

    正規表現のポテンシャルを引き出す自作関数3選 [Python] - Qiita
  • Daskで使用メモリ容量に制限をかける - Qiita

    pandasで処理しきれないデータを扱う際には、pandasライクにout-of-core処理がかけるDaskがよく利用されます。今回の記事はそんなDaskをサーバ1台の環境やローカルのマシンで動かす際にメモリ使用制限をかけたい、という方向けのお話です。 めちゃくちゃニッチな話かもしれませんね。。。需要ないかも。 (少し拡張すれば分散環境にも適用できるので、そちらに興味のある方にも響くことを期待してます。) ##概要 メモリに使用制限をかけるにはDaskの分散処理モード?(distributed)のLocalClusterを利用します。LocalClusterはローカルのマシンに擬似的な分散処理環境を作ります。擬似的な分散処理環境のため、schedulerとworkerが必要になります。この時、実際に処理をさばくworkerのメモリ使用量に上限を設定することで、目的のメモリ使用量に制限をか

    Daskで使用メモリ容量に制限をかける - Qiita
  • 1