Kaggleで戦いたい人のためのpandas実戦入門 - ML_BearのKaggleな日常
はじめに 自分は元々pandasが苦手でKaggleコンペ参加時は基本的にBigQuery上のSQLで特徴量を作り、最低限のpandas操作でデータ処理をしていました。 しかし、あるコードコンペティションに参加することになり、pythonで軽快にデータ処理をこなす必要が出てきたので勉強しました。 そこで、当時の勉強メモをもとに「これだけ知っていればKaggleでそこそこ戦えるかな」と思っているpandasの主要機能をまとめました。 注記 実戦入門 のつもりが ほぼ辞書 になってしまいました orz pandasとはなんぞや的な内容は書いていません (import pandasやDataFrameとは何かなど) pandas1.0系でも動くように書いたつもりですが間違ってたらすみません 目次 はじめに 注記 目次 Options DaraFrame 読み書き CSVファイル 読み込み 書き出
PandasとNumPyの違いと使い分け方
PandasとNumPyとの違い NumPyは計算が速い Pandasは扱うデータが幅広い PandasはSQLと似た操作が揃っている Pandasは集計関数などの統計処理に強い Pandasは時系列データに強い Pandasは様々なインタフェースとの互換性を持つ 実際のデータ分析での流れ データの可視化の比較 計算速度の比較 違いのまとめ PandasとNumPyの互換性 NumPy→Pandas Pandas→NumPy まとめ Pythonでデータサイエンスをしている人は必ずと言っていいほどPandasとNumPyを使用していると思います。Pandasは、NumPyを利用してさらにAPIを拡張し、使いやすくしたものです。 本記事では PandasとNumPyの違い PandasとNumPyのデータ型の変換方法 について解説します。 PandasとNumPyとの違い PandasとNu
たった一文でPandasのapplyメソッドを高速化する方法（検証計算あり） - Qiita
以下では、DaskやPandasなどと比較して、swifterがどの程度高速なのかを検証したいと思います。 swifterはベクトル化可能な場合とそうでない場合で挙動が異なるので、各々の場合を検証します。 使用したPCのスペックはIntel Core i5-8350U @1.70GHz、メモリが16GBです。 ベクトル化可能な場合 swifterはベクトル化可能なときはベクトル化するので、swifterの計算時間は単純にベクトル化した場合と ほぼ等しくなるはずです。これを確認してみましょう。 import pandas as pd import numpy as np import dask.dataframe as dd import swifter import multiprocessing import gc pandas_time_list = [] dask_time_list
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
