PythonでCSVを高速＆省メモリに読みたい - tkm2261's blog
今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。（オレオレライブラリ嫌い） Pickleは早いけど。。。 結論はDask使おう！ 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +
NumPyの使い方（５） ベクトル演算とユニバーサル関数 - Remrinのpython攻略日記
ベクトル演算とユニバーサル関数について。 ベクトル演算 ndarrayと数値(スカラー)の計算は全要素対象で、forループを使わない。 ndarrayどうしの演算は対応する位置の要素どうしで計算。 [注意]ndarray * ndarrayは内積や外積にはならない。 import numpy as np a1 = np.arange(6).reshape(2, 3) print(a1) # [[0 1 2] # [3 4 5] print(a1 + 1) # [[1 2 3] # [4 5 6] print(a1 - 1) # [[-1 0 1] # [ 2 3 4] print(a1 * 2) # [[ 0 2 4] # [ 6 8 10] print(a1 / 10) # [[ 0. 0.1 0.2] # [ 0.3 0.4 0.5] print(a1 ** 2) # [[ 0 1 4
NumPyの軸(axis)と次元数(ndim)とは何を意味するのか
ndarrayの次元数(ndim)とは何か axisについて 関数の引数としてのaxis NumPyのndarrayは、NumPy操作をするための多次元配列です。多次元の構造はndarray.shapeで確認することができます。 多次元構造を操作するために必須となるのが、軸(axis)を正しく理解することです。多次元の配列構造を処理するために、NumPyの関数の引数には、axisを指定することが出来る場面が多々あります。 他の記事において、要素の合計を計算するnp.sum関数、要素の平均を計算するnp.average関数、最大の要素を探すnp.amax関数などを紹介してきましたが、それぞれの関数の中で引数としてaxisがあります。 これは配列の軸にあたるものですがどの軸がどの次元に対応しているのか分かりにくいことが多いです。 そのため、本記事では、 次元数とはなにか 軸(axis)とは何か
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
