エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
数百万行あるログから、ごく一部分の期間を最短時間で取得 - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
数百万行あるログから、ごく一部分の期間を最短時間で取得 - Qiita
数百万行あるログから、ごく一部分の期間を最短時間で取得 課題 システムを運用していると数百万行を超... 数百万行あるログから、ごく一部分の期間を最短時間で取得 課題 システムを運用していると数百万行を超える膨大なログの中から、ほんの数行のログを抜き出したいことがある。 それもできることなら時間もかけず、サーバーに負荷もかけずに行いたい。 検証 Vagrantで仮想マシンCentOS 6.4を立ち上げて検証。 実現するアプローチはいくつもあるが、今回は大きく2つを調べる。 ・sedコマンドで行数を指定して抽出 ・headで一度抜き取り、そこからtail どちらが短時間で目的を達成できるか検証した。 検証対象のファイルは500万行あるログファイルとし、 頭の方( 1万行目~ 1万1000行目) 中の方(250万行目~250万1000行目) 下の方(499万行目~499万1000行目) の3パターンで検証した。 頭の方( 1万行目~ 1万1000行目) 抽出条件 10,000件目から11,000件