3. サイバー系 自己紹介 和田 計也（@wdkz） 静岡県袋井市出身 サイバー系企業でデータマイニングエンジニア職 創立記念日が3月18日 社長の出身地が福井県鯖江市 前職はバイオベンチャー バイオマーカ探索してた 学生時代は枯草菌の研究 2011/11/26 2
RのffとbigmemoryとRevoScaleRとを比較してみた
3. サイバー系 自己紹介 和田 計也（@wdkz） 静岡県袋井市出身 サイバー系企業でデータマイニングエンジニア職 創立記念日が3月18日 社長の出身地が福井県鯖江市 前職はバイオベンチャー バイオマーカ探索してた 学生時代は枯草菌の研究 2011/11/26 2
Rで高速に大量データを読み込んでデータフレームに格納する方法 (1) - About connecting the dots.
注）この記事よりもっと効率的なやり方が，Rで高速に大量データを読み込んでデータフレームに格納する方法 (2) - About connecting the dots.に載っています． === サンプリングした小規模データをRでいろいろ処理して，必要な分析がすべてできたら，最後に全データを読み込んで同じ処理を再度行う，といったことをよくやります．Rは基本的にデータがメモリに載らないと処理できないので，必然的にそれほど大きなデータを扱うことはできません．しかし手元にあるメモリ8GBのMBAでも，だいたい1GBのデータを読み込んで諸々の処理をすることくらいは問題なくできます．それでも，1GBのデータを読み込んでメモリに載せるだけで2-3GB近く食ってしまう仕様はどうにかならないのかなと思いますが... さて，濱田さんの勉強会資料や金明哲先生の解説ページなんかでも触れられているように，小中規模のデ
Linux のメモリー管理(メモリ―が足りない？,メモリーリークの検出-防止)(Kodama's tips page)
サ−バ等に使っているPC のメモリが十分かどうか気になる事は多いと思う. 調べ出すと フリーメモリーの不足や SWAP にメモリーがはみだしている様子など 心配な事がいろいろでて来る. PC の動作が遅くなる原因は様々な要因が絡み合っているので, 表面に現れた症状だけでは効果的な対策が分からない事もある. 以下では, メモリ−関連にしぼって解説する. メモリの状況を調べる メモリ−は十分なはずなのに 余裕が無い？ どのプロセスがメモリを消費しているのか？ メモリーのリークを検出する方法？ 防止する方法？ メモリ−は十分なはずなのに SWAP を使ってる？ じゃ, 本当のメモリ−不足はどうしたら分かるの？ メモリーと SWAP 領域はどのくらい確保すると良いのか メモリの状況を調べる メモリの利用状況を調べる方法は, free, top, ps, vmstat, /proc/meminfo
0093 Weblog: Rでメモリが足りなくて大変だよ！助けてドラえもん！
最近Rで結構大規模なデータを扱っており，読み込むのも一苦労な代物なんですが，色々データをいじくっているとMacの4GBのメモリがいい感じにゴリゴリと削れていき，あまり心臓に良いものではないです． 特に帰る前にプログラムを動かして，朝仕事場に来たら強制終了していたときは泣きたくなります． というわけで色々なところから抜粋 ・gc()を使おう，それも２回 RjpWikiの「知っているといつか役にたつ (?)関数達」より 「Rの基礎とプログラミング技法」、U. Ligges 著、石田基広訳、によるとガベージコレクション関数 gc() は二度続けて行なう方が良いそうである。理由はもっともで、直近の計算結果を保存する .Last.value というオブジェクトが気づかぬままに巨大になっていることがあるが、一度目の gc() でこれが消え、二度目の gc() 実行で解放されたメモリーが整頓される、から
統計ソフトＲメモリオーバーへの対処 - たくさん行列やリストの箱をつくると、結構早くパソコンのメモリがオーバーしてしまいます。こ... - Yahoo!知恵袋
工夫の仕方はそれこそ各種ありますし、今までのやり取りから 工夫の余地（削れる無駄）が多そうだという感触もあるのですが、 確証もありませんし 正直あまり突っ込んだ話はできかねます。 質問から得られる情報量が少なすぎます。 ?Memory のヘルプページは読まれましたか？ apropos("memory") で検討を付けて表示される関数 memory.size() memory.limit() memory.profile() でメモリオーバー時に情報取得を試みましたか？ gc(T,T) でメモリ掃除を試みましたか？ その時のオブジェクト達に object.size() で str(eapply(.GlobalEnv, object.size)) のような 調査をして、大柄なオブジェクトを同定できましたか？ そもそも、ＰＣの大まかなCPU/MEM/HDDの性能はどの位でしょうか？ Ｒは64bi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
