実用 awk ワンライナー - Qiita
AWK（オーク）を使ったワンライナーはとても強力で簡便なテキスト処理を可能とします．最近は，Perl や Ruby でもほとんど同様のことができ，取って代わられて久しいですが未だにその枯れ力といいますか，汎用性に関しては群を抜いているように思います． また，awk とは AWK の処理系のことを指しています． 一般に元祖 awk と呼ばれる処理系が最初と言われています．実際はわかりませんが，絶滅種の如く見かけることはなく，その文法などに関しても関数定義などの基本的な部分が抜けていたので New awk（通称，nawk）として多少の文法が追加された処理系が，その流派を継いでいます． そして GNU プロジェクトによって大幅強化された awk が gawk です． よく見かけるのは，gawk か nawk のどっちかだと思います． 現在，Linux では標準で gawk が，OS X では 2
生データファイル処理のための基本的なUnixコマンドラインツールまとめ - Qiita
データ分析業務において、データベースなどに登録されている場合は簡単に行えるようなデータの操作を、生データファイルに対して行いたい時がたびたび発生します。 今回は、そんな時に私がよく使っている、生データファイルを処理するための基本的なコマンドラインツールについて、その概要と簡単な使い方を紹介します。 cat ファイル内容を表示する ファイルの内容を標準出力に表示するコマンドです。 $ cat sample1.csv 都道府県名,人口（人）,面積（平方km） 茨城県,2969770,6095.72 栃木県,2007683,6408.28 群馬県,2008068,6362.33 埼玉県,7194556,3798.13 千葉県,6216289,5156.7 東京都,13159388,2187.5 神奈川県,9048331,2415.86 head ファイルの先頭数行を表示する ファイルを先頭から指
awkの使いかた - Qiita
基本的にワンライナーで使うことを想定してメモ。（長くなる場合はスクリプトの形で記載する。） awk の良いところ Linuxでテキストデータをちゃちゃっと処理できる。 ほとんどのLinux OSで標準で使える（プレインストールされているので，自分でインストールする必要がない）。 WindowsのMingwや，Macでも標準で装備されているので互換性や移植性が高い（スクリプトだけコピーして持っていれば，だいたいどこでも使える）。 書き方は，Cと似ているので覚えやすい。 コンパイルが不要。 codingが簡単なので，作業時間が短く済む。 基本 awkはテキストファイルを，行ごとに処理を行う。 それぞれの要素（列）に対しての処理をcodingすることが基本となる。 それぞれの要素に関しては，以下で紹介するような組み込み変数で指定する。 例えば，テキストファイル内の1列目の全数値データに対して，2
unixtime と 日付 の相互変換
日付 から unixtime への変換方法 date コマンドに ‘+%s’ 引数をつけると unixtime で表示する。 $ date +%s 1108218628 特定の日付を変換したいときは、’–date’ オプションを利用する。 $ date +%s --date "2005-01-01 00:00" 1104505200 unixtime から 日付 への変換方法 $ date --date "@1104505200" Sat Jan 1 00:00:00 JST 2005 ぼくが知る限り、date コマンドでは変換できない。このため、awk をもちいる。 awk でもできる。 $ echo 1104505200 | awk '{print strftime("%c",$1)}' Sat Jan 1 00:00:00 2005 フォーマットをそろえる場合。 $ echo 11
URLエンコード・デコードする - Qiita
Webサーバーログ解析で使いたかった Webサーバーのログを見ていると、検索ページからジャンプしてきている形跡があった。しかし、検索キーワードはURLエンコードされた状態であり、デコードしないとわからない。果たしてどんなキーワードなのか興味があった。 そこで、FreeBSDのportsに収録されているurlendecというプログラムをサクっとインストールしようとしたら…… # cd /usr/ports/net/urlendec # make install ===> urlendec-1.0 is only for i386, while you are running amd64. *** [install] Error code 1 Stop in /usr/ports/net/urlendec. # これだから、POSIX準拠でないコマンドは信用ならんのじゃ!!! しょーがないので
How to sleep for 1 second between each xargs command?
For example, if I execute ps aux | awk '{print $1}' | xargs -I {} echo {} I want to let the shell sleep for 1 second between each echo. How can I change my shell command?
scanコマンドというcliツールを作った - さんちゃのblog
scanコマンドというcliツールを作った。 GitHub - genya0407/scan scanコマンドは、標準入力の各行に対して正規表現を適用し、ほしい部分を取り出すコマンドだ。使い方は以下の通り。 $ scan --help Usage: scan [options] OUTPUT_FORMAT -p [PATTERN] specify regexp -d [DELIMITER] specify delimiter 使用例を見てもらったほうが早いだろう。 使用例 正規表現を適用する例 例えばこういうファイルがあったとする。 $ cat data.txt hogehoge_nyan hohho_nyan これに対して、アンダースコアの左だけを取り出す正規表現を適用するには、以下のようにする。 $ cat data.txt | scan -p "(.+?)_.+" {1} hogeh
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Awk Command Cheat Sheet & Quick Reference
コマンドの小ネタ備忘録 - Qiita
python ワンライナーに挑戦 〜 初心者のお勉強 m(_ _)m - Qiita
GitHub - kantord/emuto: manipulate JSON files
awk - too many open files issue / date parsing
awkでコマンドの実行結果を変数に入れる方法 - Qiita
How To Scan AWS's Entire IP Range to Recon SSL Certificates
psコマンドからプロセスIDを取得する - Qiita
Parallel processing in awk?
GNU parallel used with xargs and awk
Bash Shell awk/xargs magic
サーバにSSHアクセスがあったので、ログを調べてみた。 - Extrasensory Perception + ER + Blog
IPアドレスからAS番号を調べる方法 - Qiita