awkでデリミタ(区切り文字)を複数指定する | 俺的備忘録 〜なんかいろいろ〜
awkでデリミタ(区切り文字)を複数指定する場合は、「」で囲ってやる事で-Fで指定することができる。 例えば、以下の例だと「,」と「-」で列を区切るように指定している。 awk -F'[:-]' '{…}' [root@localhost ~]# cat /tmp/test.file aaaaa,111-11,super,66666661 bbbbb,222-22,wonder,66666662 ccccc,333-33,dorderar,66666663 ddddd,44-444,atacker,66666664 eeeee,55-55,pepsi,66666665 fffff,66-666,papet,66666666 ggggg,777-77,dagashikasi,66666667 hhhhh,888-88,goemon,66666668 [root@localhost ~]# a
大きなテキストファイルをawkで処理するときにcatで投げ込むのと、ファイル読み込みするのどっちが速いか比較 - カメニッキ
追記が増えたので整理 経緯 2.5GBのテキストファイルを加工する必要があり、①vimで開いて加工→vim死亡②sublime textで開いて加工→sublime text死亡となったため、awkを用いて以下の様なコマンドを実行した。 $ cat sample.txt | awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' > result.txt すると 「catいらなくね？」と指摘 さらにMATSUMOTO, Ryosuke (@matsumotory) | Twitter ＜ 「キャッシュに入れて高速化してるんかと思った」 とコメントをもらいました。ので、どっちが速いかの検証です。 注意 加工の目的はログファイルからある期間だけの行を抜き取りたい 正規表現がいけてないのは気にしない 比較 awkにファイル指定す
統計屋のためのAWK入門 - あんちべ！
はじめに 本稿はAWKという言語を用いて、 ごく簡単にデータ分析用の前処理*1をするための解説記事です。 AWKは短いコマンドを記述するだけで多様なデータ処理を可能にします。 特にデータの抽出に関して恐るべき簡易さを提供します。 具体的には、input.txtというファイルの中から "fail"という文字列を含む行を抽出したければ次のように書くだけです。 awk /fail/ input.txt つまり、スラッシュ記号で文字列を指定するだけで その文字列を含む行を抽出できるのです。 大変簡単ですね！ また、awkはLinuxやMacには標準で入っており、 Windowsでもawk.exeを一つ用意するだけなので、 面倒なインストール作業や環境構築は不要で誰でも即座に使えるため、 自分で書いた処理を他人に渡したり*2各サーバに仕込むなども簡単に出来ます。 複雑な処理をする場合はPythonや
USP 友の会勉強会 AWK 一行野郎百裂拳
USP 友の会勉強会 2013/12/22 AWK 一行野郎百裂拳 Normal Action-less 1 awk '{print $0}' awk '4' ファイルの中身を書き出す。 ≒ cat 2 awk '{}' awk '' 何も表示しない。 ≒ cat > /dev/null 3 awk '{print NR, $0}' awk '$0 = NR " " $0' 行番号を付ける。 ≒ cat -n 4 awk 'NR <= N {print $0}' awk 'NR <= N ' 最初の N 行を抜き出す。 ≒ head -n N 5 awk 'NR == N , NR == M {print $0}' awk 'NR == N , NR == M ' N 行目から M 行目を抜き出す。 6 awk 'NR >= N && NR <= M {print $0}' awk 'N
なるべく書かないawkの使い方 - ザリガニが見ていた...。
awkという、古くからのスクリプト言語がある。（1977年生まれ。読み方は「オーク」である。エイ・ダブリュ・ケイではない）man awkをPDFに変換してみると、たったの3ページ強しかない。 $ man -t awk|pstopdf -i -o ~/Downloads/awk.pdf とてもシンプルな言語仕様ではあるが、awkには必要十分な表現力がある。特にテキストを処理する場面においては、最小限のシンプルな記述で、気の利いた処理を素早くこなす。無駄のないawkワンライナーを見ると、ある種の感動を覚える。awk以降に生まれたスクリプト言語は、少なからずawkの影響を受けていると思われる。 awkを知ることで、間違いなく幸福度は上がると思う。いつかきっと「知ってて良かった」と思える時が来るはず。もっともっと、awkを知りたくなってきた。 基本動作 awkの基本動作は、とってもシンプルである。
AWK Users JP :: 日本の AWK ユーザのためのハブサイト
YAPC::Asia 2008 で Michael Schwern は「SEO に有効な独自ドメインを取って、もっと Perl 初心者が集まりやすい nice な Perl の情報を集めたサイトを作れ!」と言っていたので、ここに AWK-users.jp を開始します。 Perl Is unDead - Michael Schwern (Schwern) これは awk も同じであり、ちょうど Perl-users.jp の発表のある前日に Web サイトの再構築の話題を ML に出したところでした。 微妙なタイミングだなぁに書きましたが、Perl Is unDead - Michael Schwern (Schwern) の中の話を私なりに awk でも通用するようにまとめると以下のようになると思います。(聞き取れていないかもしれませんが・・・) あたかもゾンビが脳みそを欲しがるように、
awkコマンドでファイルの合計サイズを簡単に計算する
export LIFE=HAPPY! Wer mit Ungeheuern kämpft, mag zusehn, dass er nicht dabei zum Ungeheuer wird. Und wenn du lange in einen Abgrund blickst, blickt der Abgrund auch in dich hinein. １３年ほど昔、会社の先輩に教わった方法です。複数のファイルの合計サイズをawkコマンドで簡単に算出できます。多分、知っている人は知っているテクニックだと思いますが、知らない方のお役に立てれば。 まず、合計サイズを計算したいファイルをlsコマンドで確認します。 # ls -l messages* -rw---- 1 root root 572080 Dec 13 04:02 messages.4 -rw---- 1 root roo
AWK Users JP :: クロス集計を AWK で
クロス集計をBash(とawk)だけで実装した話 にインスパイヤされて AWK で作ってみます。 ここでは クロス集計をBash(とawk)だけで実装した話 の資料の P. 5 にある左の表を右の表の形式に変換します。 ここでは以下のような表を準備しました。 $ cat sample.txt User Item Money A Ice 130 A Ice 180 B Juice 120 B Ice 130 I OREO 210 I OREO 210 I OREO 210 ユーザー (User) と商品 (Item) の重複を避けるために連想配列にインデックスと値が同じものを構成しています。 #! /usr/local/bin/gawk -f # table.awk NR > 1 { user[$1] = $1; item[$2] = $2; money = $3; total[$1, $2
大量の接続がやってきた!ヤァ!ヤァ!ヤァ! - 元RX-7乗りの適当な日々
※ 以下、フィクションです。 はじめに： こんなサーバ(↓dstat) (裏バッチによりiowaitとLAが高いのは一時的な仕様とする) 気付けばログに・・・ Mar 29 18:08:02 hostname kernel: printk: 48843 messages suppressed. Mar 29 18:08:02 hostname kernel: TCP: time wait bucket table overflow Mar 29 18:08:07 hostname kernel: printk: 54962 messages suppressed. Mar 29 18:08:07 hostname kernel: TCP: time wait bucket table overflow Mar 29 18:08:12 hostname kernel: printk: 648
文字数の多い行順に並べ替える - 技術メモ帳
# cat ./test.txt | awk '{print length($0), $0}' | sort -nr | cut -d' ' -f2- script lessバージョン # cat ./test.txt | tr '\n' '\0' | xargs -0 -L1 expr length | \ nl -ba -nln | join - <(nl -ba -nln ./test.txt) | sort -k2nr | cut -d' ' -f3- 各行の文字数を、 xargs + expr length で調べているところがポイント。 あと、こういう場面でしか使える気がしない join コマンドも素敵。 我田引水、自画自賛。
awk歴一日の初心者が語るawk理解のポイント - シリコンの谷のゾンビ
今までテキスト処理などでワンライナーを使うときはperlを使っていた．Perlを先に覚えた身としてはawkやsedは過去の産物だと思い込んでいた．awkの方が簡潔に書けるケースに出くわしたことをきっかけにawkを勉強してみたら単な食わず嫌いだったことに気が付いたのでポイントをまとめてみる． なおプログラミング言語としてはAWKという表記が正しく (Aho, Weinberger, Kernighanの頭文字! ということだけは以前から知っていた)，オリジナル処理系のことをawkと呼ぶのだろうけれど，今回は処理系の違いは気にしないのでawk, nawk, gawkの違いは気にしないことにした．ていうか詳しく知らない． 「awkってなんぞ?」という方が対象読者．スクリプト言語と正規表現の基礎知識が少しでもあれば，たぶんすぐに使えるようになると思う．awkを一度でも使ったことがある人には新しい情
突然のTwitter砲にもなんとか耐えたさくらVPSに感謝する - As a Futurist...
なんか、2/6 の夜に「修士論文の代わりに退学願を提出してきた」が Twitter でばずったらしく、Yahoo 砲よろしく突如としてアクセスが集中しました。下の方にリソースモニタリングのグラフを貼りつけてますが、今までがほぼ 0 に見えてしまうくらいに来てたのでびっくりでした。 まぁ色々コメントつけて頂いたりしてますが、もう2 年も前なんでこのエントリについて今更僕から突っ込むことは無くて、あのエントリはあのエントリとして見て頂ければと思います。ここでは今回そんな突然のアクセス集中にも見事耐えてくれたさくら VPS に感謝しつつ、アクセス集中の状況を鯖管的立場から分析してみましょう。 ちなみに、以前エントリに書いていますがサーバの構成としてはさくら VPS1 台で、CentOS+Apache+mod_fastcgi+PHP-FPM+MySQL5.5(InnoDB)で WordPress
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWKプログラミングの真髄の1つ フィールド（列）を操る基礎テクニック
Charming Python: Functional programming in Python, Part 3
IDEA * IDEA