全体の行数がわからないデータからランダムにN行取り出す - Qiita

テキストデータからランダムにN行取り出す方法ですが、まず「シャッフルしてN行取り出す」というのがあります。 しかし、データが大きいとシャッフルにも大量のメモリが必要になるので、別の方法を考えたいところです。 ここで、全体の行数がわかっていれば簡単に書ける（後で書きます）ところですが、一度行数を調べてから取り出すとなると二度手間になってしまいます。 こういうときは、Perl（-nオプション）で次のように書くと、$n個を配列に格納することができます（順序はランダムではありません）。 $ randpick -n 5 KEN_ALL.CSV | piconv -f cp932 01665,"08833","0883332","ﾎｯｶｲﾄﾞｳ","ｶﾜｶﾐｸﾞﾝﾃｼｶｶﾞﾁｮｳ","ｻﾂﾄﾓﾅｲｹﾞﾝﾔ","北海道","川上郡弟子屈町","札友内原野",0,0,0,1,0,0 08227,"3080

[takeda25]

書いた。