構造化テキストデータを操作するためのコマンドラインツールリスト | POSTD
テキストベースのファイル形式と、それぞれを（主にLinux上で）操作するためのコマンドラインツールのリストを掲載しています。 目次 DSV XML,HTML JSON YAML,TOML INI 設定ファイル おまけ：単一ファイルデータベース用コマンドラインインタフェース（CLI） ライセンス 情報開示 DSV CSV や TSV などを含む DSV（Delimiter-separated values、区切り文字で区切られた値） です。 Awk AwkはPOSIXで標準化されているコマンドラインツールで、DSVデータ処理用プログラミング言語です。Awkに関するリンクは以下のとおりです。 Awk.info — Awkに関する情報が豊富です。 AWK Vs NAWK Vs GAWK —プラットフォーム別実装の比較です。 すでにプログラミング言語を使用してプログラミングをしている場合は、naw
正規表現 & sed & awk - Qiita
echo がエスケープ文字 (\n など) を解釈しない場合は -e オプションをつける POSIX 正規表現 grep のパターン、および sed 's/A/B/' の A (置換対象) などで使えるもの 名前 基本正規表現 (BRE) 拡張正規表現 (ERE) 対象文字列 (表現は ERE) 例 (ERE)
awkで末尾から数えてn番目のフィールドを取り出す。 - Qiita
インフラエンジニアの方なら、調査の時に下記のような感じでawk のprint文を使ってログファイルから必要なフィールドだけ取り出すことも多いと思う。 # awk '{print $1,$4,$5}' /var/log/httpd/access_log 46.161.9.4 [07/Feb/2016:03:55:32 +0900] 133.130.88.115 [07/Feb/2016:03:58:13 +0900] 142.54.169.164 [07/Feb/2016:04:06:17 +0900] 133.130.88.115 [07/Feb/2016:04:08:13 +0900] 133.130.88.115 [07/Feb/2016:04:18:14 +0900] 157.7.137.160 [07/Feb/2016:04:28:13 +0900] 133.130.88.115
先頭行だけ grep してファイル名を表示したい - 誰かの役に立てばいいブログ
/usr/local/bin にある #!/usr/bin/python3 をみつけたい、場面です。 こんな感じ。 find /usr/local/bin -type file | xargs awk '/python3/ {print FILENAME} {nextfile}' １行目だけ検査したらさっさと nextfile で次に移るので OK というわけ。 nextfile Stop processing the current input file. The next input record read comes from the next input file. FILENAME and ARGIND are updated, FNR is reset to 1, and processing starts over with the first pattern in the
awkで作られた3Dシューティングゲーム「awkaster」が凄い | ソフトアンテナ
awkといえばgrep、sed等とともにUNIX黎明期から存在するテキスト処理コマンドとして知られています。最近は高機能なスクリプト言語が台頭し、使いこなせる人も小数派となってきたなか(?)、awkを使ってなんと3Dシューティングゲームが開発されてしまいました。その名も「awkaster」gawk 4.0.0以上を使用しターミナル上で動作します。 awkasterは、レイキャスティングと呼ばれる技術を使った疑似3Dシューターで、モンスターと闘いつつマップを移動して脱出エレベータを目指すゲームです。 ターミナルを開き「gawk -f awkaster.awk」で起動できます。 キーバインドはWASDキーで移動、pで弾丸を発射、1-4でカラーモードの変更、xでエレベーターの起動となっています。 awkを使いこなし、かつゲームプログラミングにも詳しい方はソースコードを探検してみると新たな発見があ
awk のハマるポイントまとめ - Qiita
ダブルクォートではなくシングルクォートでくくること ダブルクォートでくくると，シェルが引数と勘違いするので，シングルクォートでくくるかエスケープすること． 誤
実用 awk ワンライナー - Qiita
AWK（オーク）を使ったワンライナーはとても強力で簡便なテキスト処理を可能とします．最近は，Perl や Ruby でもほとんど同様のことができ，取って代わられて久しいですが未だにその枯れ力といいますか，汎用性に関しては群を抜いているように思います． また，awk とは AWK の処理系のことを指しています． 一般に元祖 awk と呼ばれる処理系が最初と言われています．実際はわかりませんが，絶滅種の如く見かけることはなく，その文法などに関しても関数定義などの基本的な部分が抜けていたので New awk（通称，nawk）として多少の文法が追加された処理系が，その流派を継いでいます． そして GNU プロジェクトによって大幅強化された awk が gawk です． よく見かけるのは，gawk か nawk のどっちかだと思います． 現在，Linux では標準で gawk が，OS X では 2
”私の環境で”大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog
大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog を書きましたが、awk file > file より cat file|awk > file が速い環境は稀なようなので、私の環境でなぜ cat file|awk > file のほうが速いのか調べてみました。プロセススケジューラが関係しているようです。 ↑はPerf + Flame Graphs で、awk file > file 実行時のコールスタックと所要時間を可視化したものです。 結論(たぶん) SSDの暗号化・復号をカーネルスレッドで行なっているのと、プロセススケジューラが awk とカーネルスレッドを同じ CPU にスケジューリングしていた(他に空いている CPU があるのに)。 awk file > file では暗号化データを復号するカーネルスレッドと awk のプロセスをプロセススケ
大きなテキストファイルをawkで処理するときにcatで投げ込むのと、ファイル読み込みするのどっちが速いか比較 - カメニッキ
追記が増えたので整理 経緯 2.5GBのテキストファイルを加工する必要があり、①vimで開いて加工→vim死亡②sublime textで開いて加工→sublime text死亡となったため、awkを用いて以下の様なコマンドを実行した。 $ cat sample.txt | awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' > result.txt すると 「catいらなくね？」と指摘 さらにMATSUMOTO, Ryosuke (@matsumotory) | Twitter ＜ 「キャッシュに入れて高速化してるんかと思った」 とコメントをもらいました。ので、どっちが速いかの検証です。 注意 加工の目的はログファイルからある期間だけの行を抜き取りたい 正規表現がいけてないのは気にしない 比較 awkにファイル指定す
gitのコミットグラフをクリッカブルなsvgで出力してみる - Qiita
GIT_DIR=/path/to/git/.git BASE_URL="http://example.com" f() { git --git-dir=$GIT_DIR log --pretty='format: %h %p' "$@" | awk -v base_url=$BASE_URL ' BEGIN { print "digraph git {" } END { print "}" } { for(i=1; i<=NF; ++i) { printf(" _%s[label=\"%s\" URL=\"%s/%s\"]\n", $i, $i, base_url, $i); } for(i=1; i<=NF; ++i) { printf(" _%s ", $i); if(i == 1) { printf(" -> { "); } } printf("}\n\n") } '; }; f H
統計屋のためのAWK入門 - あんちべ！
はじめに 本稿はAWKという言語を用いて、 ごく簡単にデータ分析用の前処理*1をするための解説記事です。 AWKは短いコマンドを記述するだけで多様なデータ処理を可能にします。 特にデータの抽出に関して恐るべき簡易さを提供します。 具体的には、input.txtというファイルの中から "fail"という文字列を含む行を抽出したければ次のように書くだけです。 awk /fail/ input.txt つまり、スラッシュ記号で文字列を指定するだけで その文字列を含む行を抽出できるのです。 大変簡単ですね！ また、awkはLinuxやMacには標準で入っており、 Windowsでもawk.exeを一つ用意するだけなので、 面倒なインストール作業や環境構築は不要で誰でも即座に使えるため、 自分で書いた処理を他人に渡したり*2各サーバに仕込むなども簡単に出来ます。 複雑な処理をする場合はPythonや
たった6個のsedを通せば、Apacheログは驚くほど扱いやすくなる - Qiita
Q. awk '{print $9}'とかでUser-Agent丸ごと取り出したい とか思ったことない? Apacheのログ解析で。でもできないじゃない。例えば 192.168.0.1 - - [17/Apr/2014:11:22:33 +0900] "GET /index.html HTTP/1.1" 200 43206 "https://www.google.co.jp/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.116 Safari/537.36"
簡単で、奥深くて、超便利！ LLの元祖「AWK」にさわってみよう
編注1：「シェル芸」とは、UNIXシェル（主にbash）のワンライナーを駆使して文字列加工を自由自在に操ることです。また、そのような能力をもつ人をシェル芸人と呼びます。 パターンとアクション AWKはパターンとアクションを組み合わせるプログラム言語です。日本語で「もし○○だったら、○○をする」という文章のうち、「もし○○だったら」という部分がパターンであり、「○○する」という部分がアクションです注1。このようにパターンとアクションで構成されるAWKの基本文法は直感的であるため、様々な機会で用いられます。これをAWKスクリプトで記述すると以下のようになります。 さて、「パターン」という名前から「正規表現にマッチする」ようなイメージを持たれるかもしれませんが、AWKのパターンは「条件式」そのものであり、その条件式の戻り値による「真偽」にしたがいアクションが実行されます。今回はこのパターンの真偽
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
grepで長い行を省略しながら表示 - Qiita
これは強力！ AWKとパイプの新しい関係 ～ 時刻を取得する関数、Socket通信、双方向パイプ
正規表現がもっと使える！ 直感的にも使いやすくなった最新GNU AWKの拡張機能を知る
AWKのトリッキーな配列＆連想配列の仕組み・動作と目からウロコのテクニック
シェルで表計算ができるかも!? AWKの四則演算と数値演算関数
AWKで一番の得意ワザ！ シェルで文字列を自在に扱うための文字列関数
AWKプログラミングの真髄の1つ フィールド（列）を操る基礎テクニック
