Deep Learning and Reinforcement Learning Summer School 2017 DLSS: June 26th - July 1st, 2017 & RLSS: July 3rd - 5th, 2017
今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。(オレオレライブラリ嫌い) Pickleは早いけど。。。 結論はDask使おう! 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +
9. リクルートジョブズリクルート住まい カンパニー リクルート住まい カンパニー RECRUIT VENTURESTechLab PAAK RECRUIT VENTURES RECRUIT VENTURES RECRUIT VENTURES (全拠点生放送) http://www.slideshare.net/i2key/leanstartup-devlove-leanstartup http://l-orem.com/lean-startup-18-anti-patterns/ 多くの新規事業の現場から 見えてきたアンチパターン集 エンジニアなのに・・・ 膨大な量のビジネス企画のシャワーを浴びる RECRUIT VENTURES、リクルートグループ各社での布教活動(いっ ぱい)/各種審査員/新規事業アイデアの壁打ちメンター(大量)/etc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く