タグ

awkに関するfumikonyのブックマーク (9)

  • sedやawkが覚えられないRubyistのための「rbコマンド」 - yhara.jp

    この記事はRuby Advent Calendar 2018の21日目の記事です。 今年のある日、rubyweeklyで流れてきたのがこれ。どうやらsedやawkみたいなワンラインプログラムが、Rubyで簡単にできるようになるみたいだが…? https://github.com/thisredone/rb -nは覚えられない 一応、Ruby体にも-nや-pという、ワンライナ向けのオプションがあるんだよな。そう、あることは知っている。でも使い方は覚えてない。 sedやawkも一緒で、使えたら便利なんだろうなーと思いつつ、未だに覚えてない(少なくとも何も見ずに書ける程には)。 そこでrbコマンド? rbコマンドのいいところは、「普段Rubyを使ってるときの感じのままで」ワンライナが書けるところだ。 とりあえず例を見てもらおう。rbコマンドには1行ずつ処理する「lineモード」と、ファイル全体

  • AWK Users JP :: awk 基礎文法最速マスター

    この文書は書きかけです ここでは nawk (new awk) で使用可能な命令で記述しています。 gawk (GNU awk) を使うことで、さらに効率よい記述を行うことができますが、nawk の文法で覚えておくと全ての awk で使うことができます。 print 文 表示は print 文です。 print "Hello World!"; コメント # 以降がコメントになります。 スクリプトの実行 以下のように '-f' に続いてスクリプトを指定します。 nawk -f foo.awk 複数の awk スクリプトを指定することもできます。 nawk -f foo1.awk -f foo2.awk -f foo3.awk スクリプトを直接指定できます。 # "Hello World" と表示 nawk 'BEGIN { print "Hello World" }' BEGIN, END,

    fumikony
    fumikony 2016/05/04
  • AWK によるテキストのワンライナー処理クックブック集 - Qiita

    ログ集計など、コマンドラインで作業するとき、awk でさらっとワンライナーが書けると捗ることがあります。 記事で、ユースケースに応じた awk のコマンド実行例を記していきます。主にサーバ運用に従事する方向けの内容になるでしょう。 私自身のユースケースに当てはまらないものは書かないこともありそうです。 何かお気づきの点があればお知らせ下さい。 入門編 指定したフィールドを抽出

    AWK によるテキストのワンライナー処理クックブック集 - Qiita
    fumikony
    fumikony 2016/04/13
  • 麗しきawkの世界 - 黒縁眼鏡は海を飛ぶ

    awkについて この記事はShell Script Qiita Advent Calendar 2015の9日目の記事です。 12/8は@yudsuzukさんのiPhone7等の新製品を誰よりも早く予約する為に、予約サイトがオープンしたらSlackに通知する方法でした! 記事ではテキスト処理時に凄まじい力を発揮するawkコマンドを僅かながら紹介したいと思います。 awkを使うと、特定のレコードやフィールドに対して様々な加工/整形/出力を行うことができます。 精通した方が使うとまるで魔法です。 知っていると大変便利ですので、是非お勉強しましょう!(そして私に教えてください。) 記事ではGNU Awk 4.1.3を使用しています。 また、シェル芸勉強会の過去問を使用させていただいております。 四則演算とか 第10回シェル芸勉強会 1問 $ echo 1 2 3 4 5 | tr ' ' '

    麗しきawkの世界 - 黒縁眼鏡は海を飛ぶ
  • grep, awk, sed でバッファしない方法 | TECHSCORE BLOG | TECHSCORE BLOG

    こんにちは、TechscoreBlogのログ閲覧が日課になっている河野です。 ログをtailでリアルタイムに見ているときに、grep, awk, sedと組み合わせることがあります。ところが、特にオプションを指定しないと、各コマンドでバッファされてしまうので、ログの表示が遅延することがあります。単にアクセス状況を眺めているだけなら問題ありませんが、チューニングしてる時とか気になりますよね。 そんなわけで、今回はバッファさせない方法を紹介します。 grep : --line-buffered grepでのオプションです。正確にはバッファさせないのではなくて、1行毎に出力するというオプションです。 tail -f logfile | grep --line-buffered -vE '\.(css|js|ico|png|gif|jpe?g)'

  • AWK で十分ですよ - その1 - 和,平均,最大,最小

    2011年 8月 1日 掲載 「AWK なんて化石だ」 Perl を使っていたころはそう思っていた. が,データを解析する分には,AWK で十分どころか, Perl なんかを使うよりずっと楽だということがわかり, 今では毎日 AWK のお世話になっている. そんな AWK でいかに処理が簡単に書けるかを,この連載では紹介していこうと思う. このような趣旨で書いていくので,掲載するスクリプトは簡単なものばかりになる. あらかじめご承知おき願いたい. 今回は,超基的な統計量を求めるスクリプトを紹介する. まずは,サンプルデータの用意である. もちろん AWK で作る. $ awk 'BEGIN{for(i = 0; i < 100; i++) print rand()}' > data.txt これで,100個の乱数列が書き込まれたファイル data.txt ができたはずである. $ wc

    fumikony
    fumikony 2014/01/07
  • なるべく書かないawkの使い方 - ザリガニが見ていた...。

    awkという、古くからのスクリプト言語がある。(1977年生まれ。読み方は「オーク」である。エイ・ダブリュ・ケイではない)man awkをPDFに変換してみると、たったの3ページ強しかない。 $ man -t awk|pstopdf -i -o ~/Downloads/awk.pdf とてもシンプルな言語仕様ではあるが、awkには必要十分な表現力がある。特にテキストを処理する場面においては、最小限のシンプルな記述で、気の利いた処理を素早くこなす。無駄のないawkワンライナーを見ると、ある種の感動を覚える。awk以降に生まれたスクリプト言語は、少なからずawkの影響を受けていると思われる。 awkを知ることで、間違いなく幸福度は上がると思う。いつかきっと「知ってて良かった」と思える時が来るはず。もっともっと、awkを知りたくなってきた。 基動作 awkの基動作は、とってもシンプルである。

    なるべく書かないawkの使い方 - ザリガニが見ていた...。
    fumikony
    fumikony 2013/12/10
  • テキストファイルを処理するときのUnixコマンドまとめ - nokunoの日記

    個人的にテキストファイルを処理することが多いのですが,簡単な処理ならUnixのコマンドをパイプとリダイレクトで組み合わせてできることが多くあります.今回はそんななかでもちょっとマニアックなTIPSをまとめてみました. sortコマンドでタブ区切りのファイルを指定する最近知って驚愕したのがこれ.sortコマンドでタブ区切りのファイルを指定したいときは,Ctrl+v Tabでタブ文字を入力していたのですが,$ sort -t $'\t' -k 2,2 のようにしてタブ区切りで2番目のキーでソートすることができます. 1000行おきにデータをサンプリングする1000行おきにファイルからデータをサンプリングしたいときとかは,perlでワンライナーを書くのが速いようです.$ perl -ne '$i++; print unless ($i % 1000)' 某所のコードゴルフによるとこれだけ短くでき

  • awk歴一日の初心者が語るawk理解のポイント - シリコンの谷のゾンビ

    今までテキスト処理などでワンライナーを使うときはperlを使っていた.Perlを先に覚えた身としてはawkやsedは過去の産物だと思い込んでいた.awkの方が簡潔に書けるケースに出くわしたことをきっかけにawkを勉強してみたら単なわず嫌いだったことに気が付いたのでポイントをまとめてみる. なおプログラミング言語としてはAWKという表記が正しく (Aho, Weinberger, Kernighanの頭文字! ということだけは以前から知っていた),オリジナル処理系のことをawkと呼ぶのだろうけれど,今回は処理系の違いは気にしないのでawk, nawk, gawkの違いは気にしないことにした.ていうか詳しく知らない. 「awkってなんぞ?」という方が対象読者.スクリプト言語と正規表現の基礎知識が少しでもあれば,たぶんすぐに使えるようになると思う.awkを一度でも使ったことがある人には新しい情

    awk歴一日の初心者が語るawk理解のポイント - シリコンの谷のゾンビ
  • 1