今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。(オレオレライブラリ嫌い) Pickleは早いけど。。。 結論はDask使おう! 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +
Second Life2003年開始。 2006年ごろに日本でも話題となり、現在では「バブル的な流行」の代名詞として何かと引き合いに出される仮想空間サービスだが、もちろん現在でも運営は続いている。 このジャンルのパイオニアらしく最近はVRにも力を入れており、「Sansar」と呼ばれるVRプラットフォームのβ版が先日公開されたばかりだ。 secondlife.com Groupon2008年開始。 2011年のおせち騒動など日本では何かと悪評がつきまとった共同購入型クーポンサービス。 2015年に大規模なリストラを断行するなど長らく低迷が続いていたが、その甲斐あってかこの四半期の業績は好調だったという。 www.groupon.com Myspace2003年開始。 一時はSNSの覇権を握ったかに思えたが、2009年に後発の「Facebook」に追い抜かれたあとは、すっかり存在感をなくしてい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く