はてなブックマーク

はじめに 一般的な線形最小二乗法 $$ \text{argmin}_\mathbf{x} \bigl\vert \mathbf{y} - \mathrm{A} \mathbf{x} \bigr\vert^2 $$ の解 $\mathbf{x}$ を求めるというようなシーンはいたるところで出てきます。なおこの解は $$ \mathbf{x}^\mathrm{opt} = \bigl(\mathrm{A}^\top \mathrm{A}\bigr)^{-1} \mathrm{A}^\top \mathbf{y} $$ となります。実装する際は、既存のライブラリを用いることが多いと思います。例えば python の場合、 とすればよいでしょう。 （ここでは本題でないので触れませんが、逆行列 $(\mathrm{A^\top A})^{-1}$ を計算してから $\mathbf{A^\top y}

CPU <-> GPU でのメモリ転送 私は Cupy を深層学習以外の目的に使っていますが、その主なボトルネックになるのは、CPU <-> GPU 間のメモリの転送です。 GPUメモリはだいたい 4GB とか 8GB とかしかないので、学習データの全てをGPUに置けないことが多くなります。 そのため、メインメモリに置いてあるデータを毎回読みだしてGPUメモリに転送して、それを使ってトレーニングするということになります。 ただし、メインメモリからGPUメモリにデータを転送するには結構時間がかかってしまうので、小さなネットワークだと訓練時間よりもデータ転送に時間がかかってしまって、CPUで計算したほうが速いなんてこともよくあります。 非同期処理を行うことでそれを解決できることがあるかもしれません。 つまり、あるミニバッチを用いてモデルを訓練している間に、次のミニバッチをGPUに転送しておくこ

多次元データ解析ライブラリ　xarray この記事では、多次元データ解析を支援するPythonのライブラリxarrayを紹介します。 さらに詳しい情報は本家の情報を参照してください。 xarrayの特徴 背景 科学計測データは往々にして多次元になります。 例えば、複数の位置に設置したセンサで時系列データを計測する場合、 計測データは 空間チャンネル方向 × 時間方向 の二次元データになります。 さらにそのデータに短時間フーリエ変換を施す場合は 空間チャンネル方向 × 時間方向 × 周波数方向 の三次元データになったりします。 一般的にこういうデータを扱う場合、numpy の np.ndarray を使うことが多いと思います。 しかし、np.ndarray は単純な行列（もしくはテンソル）なので他の情報は別途置いておく必要があります。 上の例だと、 次元の順番：二次元データのうち1次元目が空