[B! awk] hiroomiのブックマーク

[FreeBSD][Linux] DHCPサーバ(isc-dhcpd)でリースしているIPアドレスの数を監視するには | Nobwak's Lair

DHCPサーバのIPアドレス数を監視したい。具体的には、リースしているIPアドレス数と、空いているIPアドレス数のそれぞれである。基になるデータはdhcpd.leasesにあるのだが、そのままでは使えない。 manなど読めば分かるのだが、ここにはIPアドレスの貸与、更新、破棄が末尾にだらだらと追記されていくので、同じクライアントが複数回出てきたりする。だからリースされたもの、空いているものを数えようとすると意外に手間取るのである。同じ悩みを持つ方はいるようで、少し検索すると、こういったIPアドレス数を数えるスクリプトはいくつか見つかる。調べてみた結果を記す。なお先に結論を言っておくと、どこかの誰かが作ってくれたawkスクリプトを使用することにした。いくつかのスクリプトいずれも判で押したようにperlスクリプトである。繰り返すがここにあるものは使っていない。 DHCPsta

hiroomi 2019/08/28

リンク

awkの使いかた - Qiita

基本的にワンライナーで使うことを想定してメモ。（長くなる場合はスクリプトの形で記載する。） awk の良いところ Linuxでテキストデータをちゃちゃっと処理できる。ほとんどのLinux OSで標準で使える（プレインストールされているので，自分でインストールする必要がない）。 WindowsのMingwや，Macでも標準で装備されているので互換性や移植性が高い（スクリプトだけコピーして持っていれば，だいたいどこでも使える）。書き方は，Cと似ているので覚えやすい。コンパイルが不要。 codingが簡単なので，作業時間が短く済む。基本 awkはテキストファイルを，行ごとに処理を行う。それぞれの要素（列）に対しての処理をcodingすることが基本となる。それぞれの要素に関しては，以下で紹介するような組み込み変数で指定する。例えば，テキストファイル内の1列目の全数値データに対して，2

hiroomi 2018/09/25

awk

リンク

Vimで行頭に行番号を挿入する方法いくつか - 座敷牢日誌

:set number で行番号を表示するのではなく、本文の行頭に行番号を挿入したいことがある。いろいろやりようがある。知ってるのを整理してみた。外部コマンドでフィルタする (cat, awk) 外部コマンドでフィルタリングするアプローチは、行番号の挿入に限らず役立つことがけっこうある。 vimで行頭に行番号を付加 - 備忘録 beta 普段は cat コマンドでやっている。 :%!cat -n 開始番号をコントロールしにくいところがちょっと使いづらい。 awk でも出来る。見栄えはこっちのほうが調整しやすいかも。次のコマンドで右詰め・スペース埋めした行番号が挿入される。 :%!awk "{ print sprintf(\"\%3s\", NR) \":\", $0 }" 開始する行番号を調整することも一応できる。次のようにすると、「31:」から出力される。が、こんな使い方はし

hiroomi 2017/10/11

sed
awk

リンク

AWK Users JP :: クロス集計を AWK で

クロス集計をBash(とawk)だけで実装した話にインスパイヤされて AWK で作ってみます。ここではクロス集計をBash(とawk)だけで実装した話の資料の P. 5 にある左の表を右の表の形式に変換します。ここでは以下のような表を準備しました。 $ cat sample.txt User It em Money A Ice 130 A Ice 180 B Juice 120 B Ice 130 I OREO 210 I OREO 210 I OREO 210 ユーザー (User) と商品 (It em) の重複を避けるために連想配列にインデックスと値が同じものを構成しています。 #! /usr/local/bin/gawk -f # table.awk NR > 1 { user[$1] = $1; it em[$2] = $2; money = $3; total[$1, $2

hiroomi 2017/04/20

awk

リンク

The GNU Awk User’s Guide

General Introduction ¶ This file documents awk, a program that you can use to select particular records in a file and perform operations upon them. Copyright © 1989, 1991, 1992, 1993, 1996–2005, 2007, 2009–2023 Free Software Foundation, Inc. This is Edition 5.3 of GAWK: Effective AWK Programming: A User’s Guide for GNU Awk, for the 5.3.0 (or later) version of the GNU implementation of AWK. Permiss

hiroomi 2016/06/26

awk

リンク

AWKで一番の得意ワザ！シェルで文字列を自在に扱うための文字列関数

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

hiroomi 2014/07/25

awk

リンク

シェルコマンドを使った処理の効率化は　AWKの行（レコード）操作がカギをにぎる

編注1：「シェル芸」とは、UNIXシェル（主にbash）のワンライナーを駆使して文字列加工を自由自在に操ることです。また、そのような能力をもつ人をシェル芸人と呼びます。「行」＝「レコード」デフォルトでAWKは「行」を「レコード」というものとして扱います。正しくは組込変数RS (Record Separater) で区切られたものをレコードと呼びますが、デフォルトでは、この組込変数RSは改行になるため、行がレコードそのものになります。また、このレコード単位の分割は、アクションでテキストファイルを読み込むと必ず行われるものとなっているため、ユーザーが特別に分割処理をしなくてもレコード単位で扱ってくれる、とても便利な仕組みです。特殊なものとして、段落単位で読み込むために組込変数RSに空文字列を代入するものや、GNU AWK編注2ではファイル全体をひとつのレコードとして読み込む手法、組込変数

hiroomi 2014/05/27

awk

リンク

データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Y's note

Index データ集計コマンド爆速で検索したいぜ！ lookを使う LC_ALL=Cを設定するデータのランダムサンプリングがしたいぜ！ sedを使う awkを使う sortの--random-sortを使う Script言語を使う shufを使うランダムサンプリング速度比較合計と平均値を集計したいぜ！列データ取得重複行のカウント合計値出力平均値出力複数ファイルのデータ結合がしたいぜ！共通項目での結合同じ行数での結合まとめデータ集計コマンド joinコマンドが便利過ぎて生きるのが辛い - Yuta.Kikuchiの日記 lookコマンドによる二分探索が速すぎて見えない - Yuta.Kikuchiの日記今日はデータ集計を行う上で絶対に覚えておいた方が良いコマンドと知識を紹介したいと思います。これを身につければシステム処理と業務効率化に大きく繋がると思います。この記

hiroomi 2013/08/01

awk

リンク

AWK リファレンス | UNIX & Linux コマンド・シェルスクリプトリファレンス

AWK リファレンス AWK とは? AWK はフィルタリングによく使用されるコマンドであるが、同様にしてフィルタリングに使用される grep や cut と決定的に違うところは、AWK 自体が独立した一つのスクリプト言語であるということだ。つまり、AWK は正確にはコマンドではなく、AWK スクリプト・インタプリタである。例えばテキストから 1 フィールド目を抽出する場合には、awk '{ print $1 }' と実行するが、ここで引数として AWK に渡している { print $1 } の部分が AWK スクリプトのソースになっている。ちなみにこの { print $1 } は「全ての行に関して 1 フィールド目を標準出力に出力せよ」という意味になる。この AWK は Perl などといった他のスクリプト言語ほど高機能ではないが、単一のテキストファイルや標準入力からのテキスト

hiroomi 2012/02/06

awk

リンク

突然のTwitter砲にもなんとか耐えたさくらVPSに感謝する - As a Futurist...

なんか、2/6 の夜に「修士論文の代わりに退学願を提出してきた」が Twitter でばずったらしく、Yahoo 砲よろしく突如としてアクセスが集中しました。下の方にリソースモニタリングのグラフを貼りつけてますが、今までがほぼ 0 に見えてしまうくらいに来てたのでびっくりでした。まぁ色々コメントつけて頂いたりしてますが、もう2 年も前なんでこのエントリについて今更僕から突っ込むことは無くて、あのエントリはあのエントリとして見て頂ければと思います。ここでは今回そんな突然のアクセス集中にも見事耐えてくれたさくら VPS に感謝しつつ、アクセス集中の状況を鯖管的立場から分析してみましょう。ちなみに、以前エントリに書いていますがサーバの構成としてはさくら VPS1 台で、CentOS+Apache+mod_fastcgi+PHP-FPM+MySQL5.5(InnoDB)で WordPress

hiroomi 2011/04/22

awk

リンク

AWKの第一歩

小栗栖修金沢大学理学部計算科学科 2001年1月8日(月): 第1版 2002年10月10日(木):第1.1版 ogurisu[AT]kanazawa-u.ac.jp この文書の目標は AWKを使ったことがない人が使い始めるきっかけになればというところにあります。 Cや Javaよりも気楽にプログラミングが楽しめて、もちろん実用的なプログラムが書けるのが AWKやperl, rubyに代表されるスクリプト言語です。すでにweb上にも AWKの文書が日本語のものも含めてたくさんあります。本格的なマニュアル形態の文書も、 A4に印刷して数枚程度のものもあります。が、ちょっと使ってみようというには本格的な文書はしんどいし、 A4数枚程度のものは簡潔すぎて何ができるのかよくわからないと思います。それを補完できればなと思っています。もし、この文書以上のことをしたくなったら、もっと

hiroomi 2010/10/25

awk

リンク

GNU Awk ユーザーズガイド: General Introduction

General Introduction This file documents awk, a program that you can use to select particular records in a file and perform operations upon them. Copyright © 1989, 1991, 1992, 1993, 1996, 1997, 1998, 1999, 2000, 2001, 2002, 2003, 2004, 2005 Free Software Foundation, Inc. This is Edition 3 of GAWK: Effective AWK Programming: GNU Awkのためのユーザーズガイド, for the 3.1.5 (or later) version of the GNU implement

hiroomi 2010/10/25

awk

リンク

AWK Users JP :: 日本の AWK ユーザのためのハブサイト

YAPC::Asia 2008 で Michael Schwern は「SEO に有効な独自ドメインを取って、もっと Perl 初心者が集まりやすい nice な Perl の情報を集めたサイトを作れ!」と言っていたので、ここに AWK-users.jp を開始します。 Perl Is unDead - Michael Schwern (Schwern) これは awk も同じであり、ちょうど Perl-users.jp の発表のある前日に Web サイトの再構築の話題を ML に出したところでした。微妙なタイミングだなぁに書きましたが、Perl Is unDead - Michael Schwern (Schwern) の中の話を私なりに awk でも通用するようにまとめると以下のようになると思います。(聞き取れていないかもしれませんが・・・) あたかもゾンビが脳みそを欲しがるように、

hiroomi 2010/10/25

awk

リンク

Charming Python: Functional programming in Python, Part 3

IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant techno logies such as generative AI, data science, AI, and open source.