数百万行あるログから、ごく一部分の期間を最短時間で取得 - Qiita数百万行あるログから、ごく一部分の期間を最短時間で取得 課題 システムを運用していると数百万行を超える膨大なログの中から、ほんの数行のログを抜き出したいことがある。 それもできることなら時間もかけず、サーバーに負荷もかけずに行いたい。 検証 Vagrantで仮想マシンCentOS 6.4を立ち上げて検証。 実現するアプローチはいくつもあるが、今回は大きく2つを調べる。 ・sedコマンドで行数を指定して抽出 ・headで一度抜き取り、そこからtail どちらが短時間で目的を達成できるか検証した。 検証対象のファイルは500万行あるログファイルとし、 頭の方（ 1万行目～ 1万1000行目） 中の方（250万行目～250万1000行目） 下の方（499万行目～499万1000行目） の3パターンで検証した。 頭の方（ 1万行目～ 1万1000行目） 抽出条件 10,000件目から11,000件
