数百万行あるログから、ごく一部分の期間を最短時間で取得 - Qiita
数百万行あるログから、ごく一部分の期間を最短時間で取得 課題 システムを運用していると数百万行を超える膨大なログの中から、ほんの数行のログを抜き出したいことがある。 それもできることなら時間もかけず、サーバーに負荷もかけずに行いたい。 検証 Vagrantで仮想マシンCentOS 6.4を立ち上げて検証。 実現するアプローチはいくつもあるが、今回は大きく2つを調べる。 ・sedコマンドで行数を指定して抽出 ・headで一度抜き取り、そこからtail どちらが短時間で目的を達成できるか検証した。 検証対象のファイルは500万行あるログファイルとし、 頭の方（ 1万行目～ 1万1000行目） 中の方（250万行目～250万1000行目） 下の方（499万行目～499万1000行目） の3パターンで検証した。 頭の方（ 1万行目～ 1万1000行目） 抽出条件 10,000件目から11,000件
sed一括置換術(Gitにも対応) - Qiita
Linuxのターミナルで作業しているとき、あるディレクトリ以下のファイルすべてについて一括置換したいなぁって思うときありますよね。 そのときのTips。 普通のやつ
grepした結果をsed(正規表現置換)したかったときにMacだとハマった話 - 憧れ駆動開発
だいたい基本的にLinux前提で書かれている ググってよくみつかるのは以下のワンライナー grep -r hoge * | xargs sed -i "s/hoge/hufa/g" ハマってる話をあまり聞かない限りは、たぶんこれで基本的にできるんだろう。 Macだとsedがハマる そもそもMacのsedはBSD経由のsedらしくて、GNU版のsedとは違うらしい。だから -i オプションがつかえなかった。ということでbrewでgnu-sedいれた。port版もちゃんとあるらしい brew install gnu-sedコマンドは gesd になる。あとはgnu-sedなのでいつもどおりなsedが使える。と思う あるプロジェクト以下の文字列を一括変換したかった grep -rl hoge ./ | xargs gsed -e -i "s/hoge/hufa/g"できたし！！！！ @xxxxx
BSD(Mac) で find xargs sed を使う際の注意点 - tkuchikiの日記
ファイルを一括置換するときに、 find /path/to/dir -type f | xargs sed -i "s/hoge/foobar/g" みたいにコマンドを打つことがあると思いますが、 Macでは、 sed: 1: "/path/to/dir": invalid command code . や、 sed: 1: "path/to/dir/file": extra characters at the end of p command のようなエラーが出る。 これは、Mac の sed が BSD のものらしく、GNUのBSD と使い方が若干違うようです。 そのため、GNU の sed をインストールして使うことで対応できるようです。 参考(grepした結果をsed(正規表現置換)したかったときにMacだとハマった話 - 憧れ駆動開発) homebrew を使っているのであれば、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
sedとxargsで特定文字列を一括置換 - プログラマでありたい
