KYudyのブックマーク - はてなブックマーク
お仕事でPyTorchを扱っているのですが、以下のような疑問がふつふつと湧いてきましたので、Tensorのデータが実際にはどうやって保持・管理されているのかを調べて整理しました。 image_tensor = minibatch_tensor[i, :, :, :]はメモリコピーが発生するのか？ input_tensorをコピーして別々のネットワークにフォワードしたいのだけどどうすればいいのか？ 効率的にメモリアクセスできるレイアウトになっているのか？ この投稿ではPyTorch 1.1.0を使ってます。 import torch import numpy as np print(torch.__version__) # 1.1.0 Tensorでのデータの持ち方 Tensorはnumpyのビューとよく似ています。 メモリ上の実体はStorageオブジェクトが持つ Tensorのデータはメ
Linux のメモリー管理(メモリ―が足りない？,メモリーリークの検出-防止)(Kodama's tips page)
サ−バ等に使っているPC のメモリが十分かどうか気になる事は多いと思う. 調べ出すと フリーメモリーの不足や SWAP にメモリーがはみだしている様子など 心配な事がいろいろでて来る. PC の動作が遅くなる原因は様々な要因が絡み合っているので, 表面に現れた症状だけでは効果的な対策が分からない事もある. 以下では, メモリ−関連にしぼって解説する. メモリの状況を調べる メモリ−は十分なはずなのに 余裕が無い？ どのプロセスがメモリを消費しているのか？ メモリーのリークを検出する方法？ 防止する方法？ メモリ−は十分なはずなのに SWAP を使ってる？ じゃ, 本当のメモリ−不足はどうしたら分かるの？ メモリーと SWAP 領域はどのくらい確保すると良いのか メモリの状況を調べる メモリの利用状況を調べる方法は, free, top, ps, vmstat, /proc/meminfo
Linux におけるメモリの解放（vm.drop_caches） ( ・∀・)ｼﾞｻｸｼﾞｴﾝ
ストレージ性能の違いによるサービスやアプリケーションの起動速度の違い…等を検証する時には必須です。 ( ・∀・)ｼﾞｻｸｼﾞｴﾝ /proc/sys/vm/drop_caches (Linux 2.6.16 以降) このファイルに書き込みを行うことで、クリーンなキャッシュ、dentry、inode をメモリ上から外し、そのメモリを解放する。 ページキャッシュを解放するには、echo 1 > /proc/sys/vm/drop_caches とする。dentry、inode を解放するには、echo 2 > /proc/sys/vm/drop_caches とする。ページキャッシュ、dentry、inode を解放するには、echo 3 > /proc/sys/vm/drop_caches とする。 この操作は非破壊的な操作で、ダーティな (dirty) オブジェクトは解放されないので、この
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
