タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
皆さんこんにちは。 @tereka114です。 今年末はKaggleで開催される面白いコンペも多くて日々、エンジョイしています。 最近は巨大なデータを扱うことが増えており、Pandasだと時間がかかりすぎて効率が悪いと感じています。 そのため、データを高速に処理できるcuDFを利用することも多くなってきました。 この記事ではcuDFの魅力と扱う際の注意点を説明していきます。 ※この記事は「Pythonその2 アドベントカレンダー」10日目の記事です。 qiita.com cuDFとは cuDFはNVIDIAさんが開発している、Pandasの代わりに利用することができるGPUのライブラリです。 最も大きな特徴はGPUで計算するため、高速であることです。 主に、カテゴリ変数ごとの平均計算や、テーブル同士の結合といった、時間のかかるテーブル処理で、効果を発揮します。 github.com cuD
環境 CPU : Ryzen 7 3700X GPU : RTX3090 OS : Windows11 / WLS2(Ubuntu 20.04) (GPUとCPUのスペック差ありすぎだろというのは承知してますが、許してください。) ライブラリ pandas : 1.3.5 polars : 0.15.16 cudf : 21.10.01 定義 カテゴリ_カラム数：groupbyやmergeで使うkeyの数(※行数が増えるとカテゴリの数は増えます。) 集計先_カラム数：上記のカラム以外のカラムの数。groupbyなどで平均値などが算出されるカラム 比較 groupby 行数の変化 コード例 df.groupby(['Category']).mean() カテゴリ_カラム数：1固定 集計先_カラム数：1固定 行数 pandas polars cudf 10000 0.002895 0.0031
Pandasは、データ分析にPythonを使うデータサイエンティストにとって、最もよく使われているツールの1つです。 GPU データフレームのライブラリーの1つに、pandasライクなRAPIDS cuDF（cuda based Dataframes）というものがあります。 v23.10から、cuDFはpandasアクセラレータモードを提供するようになりました。 このことによって、%load_ext cudf.pandasをjupyterノートブックに追加するだけで、Pandasを150倍速く動かすことができます。 GPUが利用可能な場合、データ操作を高速化します。GPUが利用できない場合、CPUにフォールバックし高速化の程度が弱くなります。 RAPIDSのインストール 以下から、インストールするためのコードを取得できます。 今現在（2023年11月16日現在）、pipでインストールすると
pandasの代わりにGPUを扱えるcudfを用いた高速なデータ処理 | ゆるいDeep Learning
高速にデータ処理を行いたい pandasをデータ処理で用いることが多いですが、データサイズが大きくなると遅くなり、待ち時間が長くなってしまいます。そこで今回はGPUを使用して高速に処理が可能なcudfの紹介をします。 環境構築 検証環境 Ubuntu 18.04メモリ：64GBGPU: Geforce 1080CPU : Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz NVIDIA GPU CLOUDにすでに環境構築されたDocker環境が存在します。今回はDockerを使用して環境構築をできるだけスキップして行います。 NVIDIA GPU CLOUDとは Dockerコンテナ、学習済みモデル、学習用スクリプトなどを提供しているサイトです。ここにあるリソースを使用すればGPUを用いた処理を始めることが容易になります。 https://www.nvidia.
はじめに こんにちは！ 18年10月にデータマイニング推進部に中途入社したY.Saと申します。 これまでは主にシステムの運用やSQLを使用してシステムテストなどを経験してきました。 エム・フィールド入社後も社内研修だけでなく、社外でもLT(Lightning talks、5～10分程度の短い発表）を行ったり、勉強会に参加しています。 今回の記事では18年10月に参加したPyData.tokyo One-day Conference 2018という勉強会で紹介されていたNVIDIAが開発したRAPIDSというライブラリ群の1つ、cuDFというライブラリについて紹介します。 コードを使った実例に入る前にNVIDIAとGPUについてすこし紹介します。 NVIDIAはGPU（Graphics Processing Unit）を開発して販売しているアメリカの企業です。 GPUは大量の単純な計算を高速
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
超爆速なcuDFとPandasを比較した - Taste of Tech Topics
pandas vs polars vs cudf 速度比較 - ざこぷろのメモ
Pandasを150倍速く動かす1行コード%load_ext cudf.pandas
GPUを使ってCSVファイルを読み込むcuDFを使ってみた | エム・フィールド - Tech Blog
b.hatena.ne.jp
eetimes.itmedia.co.jp
news.livedoor.com
l.smartnews.com
news.livedoor.com
cafedoruku.blogspot.com