タグ

ブックマーク / smrmkt.hatenablog.jp (1)

  • Rで高速に大量データを読み込んでデータフレームに格納する方法 (1) - About connecting the dots.

    注)この記事よりもっと効率的なやり方が,Rで高速に大量データを読み込んでデータフレームに格納する方法 (2) - About connecting the dots.に載っています. === サンプリングした小規模データをRでいろいろ処理して,必要な分析がすべてできたら,最後に全データを読み込んで同じ処理を再度行う,といったことをよくやります.Rは基的にデータがメモリに載らないと処理できないので,必然的にそれほど大きなデータを扱うことはできません.しかし手元にあるメモリ8GBのMBAでも,だいたい1GBのデータを読み込んで諸々の処理をすることくらいは問題なくできます.それでも,1GBのデータを読み込んでメモリに載せるだけで2-3GB近くってしまう仕様はどうにかならないのかなと思いますが... さて,濱田さんの勉強会資料や金明哲先生の解説ページなんかでも触れられているように,小中規模のデ

    Rで高速に大量データを読み込んでデータフレームに格納する方法 (1) - About connecting the dots.
  • 1