気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
zenn.dev/d2c_mtech_blogエントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
0
記事へのコメント0件
- 注目コメント
- 新着コメント
新着コメントはまだありません。
このエントリーにコメントしてみましょう。
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
awswrangler(Athena)でのデータ抽出をPolarsへ置き換えて高速化する
はじめに こんにちは。D2Cデータサイエンティストの名越です。 Pythonでs3にある大規模なテーブルデータ... はじめに こんにちは。D2Cデータサイエンティストの名越です。 Pythonでs3にある大規模なテーブルデータを多少の条件をつけて抽出する際どのように取得していますでしょうか？ Pandasを使ってデータ処理をする場合は大規模データだと重くなってしまうためできるだけ事前に処理をしたものを取り出したいですよね。 私の所属している部署では awswrangler を用いてAthenaでデータ取得することができる環境が整っているため、私はそこまで深く考えることもなくシステム内ではこのやり方でデータを抽出することが多いです。 本記事では既にある程度十分に速いawswranglerを用いた大規模データの条件付きのデータ抽出を、そのパフォーマンスの良さで注目を浴びている表計算ライブラリ Polars へ置き換えてさらに高速化できるのかを検証してみようと思います。 開発環境 検証については以下の環境で行
zenn.dev/d2c_mtech_blog
zenn.dev/d2c_mtech_blog
zenn.dev/d2c_mtech_blog
zenn.dev/d2c_mtech_blog
www.bengo4.com
geoshape.ex.nii.ac.jp
www.jcp.or.jp
gundam-official.com
www.nichepcgamer.com
www.itmedia.co.jp
www.itmedia.co.jp
developersblog.dmm.com
www.itmedia.co.jp
internet.watch.impress.co.jp
rubyonrails.org
internet.watch.impress.co.jp
note.com/safie_
ameblo.jp/tarteohcitron
levtech.jp
onaji.me
levtech.jp
sakumaga.sakura.ad.jp
