GitHub - iostreamer-X/FuncShell: Improve your shell by making it functional through Haskell! (An update to Awkward)You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Bertrand's brain grep | jq : sed, grep and awk for json
From the very useful tools department: today I stumbled on jq, via Jeroen Janssen's 7 command-line tools for data science blog post. As the tagline says, jq is like sed, grep and awk for json: a command-line filter that lets you format, select and output JSON data. As an example, here's how you can list all the OSGi bundles from your Sling instance together with their state. The raw bundles.json i
ターミナルで簡単にグラフを描くツール termeter - Qiita
ターミナル上で簡単にグラフを描くためにtermeterというツールを作成してみました。 Getting Started termeterは通常のコマンドラインツールとして使用することができます。タブ区切りやカンマ区切りのデータを標準入力かファイルであたえることでグラフを描く事ができます。 例として以下のような三角関数のタブ区切りのデータを考えます。 $ seq 100 | awk 'BEGIN{OFS="\t"; print "x","sin(x)","cos(x)"}{x=$1/10; print x,sin(x),cos(x)}' | head x sin(x) cos(x) 0.1 0.0998334 0.995004 0.2 0.198669 0.980067 0.3 0.29552 0.955336 0.4 0.389418 0.921061 0.5 0.479426 0.877
統計屋のためのAWK入門 - あんちべ！
はじめに 本稿はAWKという言語を用いて、 ごく簡単にデータ分析用の前処理*1をするための解説記事です。 AWKは短いコマンドを記述するだけで多様なデータ処理を可能にします。 特にデータの抽出に関して恐るべき簡易さを提供します。 具体的には、input.txtというファイルの中から "fail"という文字列を含む行を抽出したければ次のように書くだけです。 awk /fail/ input.txt つまり、スラッシュ記号で文字列を指定するだけで その文字列を含む行を抽出できるのです。 大変簡単ですね！ また、awkはLinuxやMacには標準で入っており、 Windowsでもawk.exeを一つ用意するだけなので、 面倒なインストール作業や環境構築は不要で誰でも即座に使えるため、 自分で書いた処理を他人に渡したり*2各サーバに仕込むなども簡単に出来ます。 複雑な処理をする場合はPythonや
awk v.s. bashどっちが強い？@OSC2011Tokyo
OSC2011 Tokyo/Fallで、日本gnu awkユーザー会の斉藤さんと行ったプレゼンテーションです。awkとbashの馴れ合い、もとい、共存共栄がテーマです。
突然のTwitter砲にもなんとか耐えたさくらVPSに感謝する - As a Futurist...
なんか、2/6 の夜に「修士論文の代わりに退学願を提出してきた」が Twitter でばずったらしく、Yahoo 砲よろしく突如としてアクセスが集中しました。下の方にリソースモニタリングのグラフを貼りつけてますが、今までがほぼ 0 に見えてしまうくらいに来てたのでびっくりでした。 まぁ色々コメントつけて頂いたりしてますが、もう2 年も前なんでこのエントリについて今更僕から突っ込むことは無くて、あのエントリはあのエントリとして見て頂ければと思います。ここでは今回そんな突然のアクセス集中にも見事耐えてくれたさくら VPS に感謝しつつ、アクセス集中の状況を鯖管的立場から分析してみましょう。 ちなみに、以前エントリに書いていますがサーバの構成としてはさくら VPS1 台で、CentOS+Apache+mod_fastcgi+PHP-FPM+MySQL5.5(InnoDB)で WordPress
rubyでワンライナー - arupaka-_-arupakaの日記
rubyでawkのような一行野郎を作る。 rubyはawkのようにファイルを一行ずつ 読み込む処理が可能である。 起動オプションを変えることで、 簡単に実現できる。 たとえば、 a,b,c e,f,g h,i,j のようなファイルがある場合、 ruby -F, -an 'puts $F[1]' ファイル名 とすると b f i 状況としては まず-aオプションで 一行ずつ読み取るモードをオンにする。 その後-nオプションで一行ずつ$Fに入れる。 そのとき自動的に-Fオプションで指定した 区切り","で分割される。 （一行野郎のことは最近はワンライナー というらしい。） 参考ページ： http://blog.lilyx.net/2007/11/29/writing-one-liner-in-ruby/ http://d.hatena.ne.jp/keita_yamaguchi/2008083
AWK Users JP :: awk 基礎文法最速マスター
この文書は書きかけです ここでは nawk (new awk) で使用可能な命令で記述しています。 gawk (GNU awk) を使うことで、さらに効率よい記述を行うことができますが、nawk の文法で覚えておくと全ての awk で使うことができます。 print 文 表示は print 文です。 print "Hello World!"; コメント # 以降がコメントになります。 スクリプトの実行 以下のように '-f' に続いてスクリプトを指定します。 nawk -f foo.awk 複数の awk スクリプトを指定することもできます。 nawk -f foo1.awk -f foo2.awk -f foo3.awk スクリプトを直接指定できます。 # "Hello World" と表示 nawk 'BEGIN { print "Hello World" }' BEGIN, END,
卜部昌平のあまりreblogしないtumblr
昔と違って今は{PostNotes}がテーマに入ってるから、wgetでページぶっこ抜いてきてawkかperlでちょろっと整形してgraphvizに突っ込むだけでこういう画像が簡単に。 zsh % export target="http://shyouhei.tumblr.com/post/339223403/tumblr-tumblr"; \ zsh -c 'wget -O - $target | tidy -i -w 0 -utf8 | ruby -n <(cat) | neato -Tpng -o tmp.png' <<'EOF' BEGIN { require 'open-uri' require 'thread' $h = Hash.new $q = Queue.new $th = Thread.start { loop { url = $q.deq $th.exit unless
特定のデータベースだけをmysqldumpで作成したダンプファイルから抜き出すawkスクリプト
タイトルのまんまのプチトリビアを紹介しようと思う。mysqlの--one-databaseオプションを使えば「mysqldumpで--all-databasesとか--databasesオプションを使って作成したダンプファイルに含まれる複数のデータベースから、一つのデータベースだけを選択してリストアする」という操作ができるけど、毎回ダンプファイル全体を読み込むのは無駄じゃないか？と思われることもあるだろう。だったら事前にダンプファイルを分けちゃいたい！と考えるのが人情というもの。そんなときはawkコマンドを使うといい。 #!/usr/bin/awk -f BEGIN { dump_current_db = 0; num_db = split(databases, db_arr, ",") for (i = 1; i <= num_db; i++) { db_arr[i] = "`" db_
AWKのススメ - クックパッド開発者ブログ
はじめまして。インフラチームの菅原といいます。 今年の7月に入社してから、コンソールとにらめっこする毎日を過ごしています。クックパッドのようにアクセスの多いサイトのサーバを扱うことが今まで無かったので、いろいろと勉強になることが多いです。 さて、インフラチームではサーバの状況をモニタリングして、サーバに問題がないかを常に把握するようにしています。そのため日常的にtailでログを追いかけているのですが、そんなときはAWKが非常に便利なことに気付き、最近はかなりAWKにハマっています。 今回は絶賛マイブーム中のAWKの活用例をご紹介したいと思います。 なぜAWKなのか？ 残念ながらAWKの知名度はあまり高くないようで、社内でも「なぜRubyでやらないのか？」と聞かれることがありました。僕も入社するまではcutの代わりぐらいにしか使っていなかったのですが、あるときログ出力の整形に使って以来、AW
2009-06-01
自分がよいと思う、人類の行きつく先のイメージとして、今までは「ヨコハマ買い出し紀行」の世界観が近いと思っていたのだが、http://blog.tatsuru.com/2009/05/30_0949.phpで示されている「上がり」のイメージの方が近い。 人口減少（というより適正化）と経済活動の縮小、持続可能な資源利用という流れを「上がり」としてはいかがというご提言である。 私はここで２１世紀日本のゆくべき道として、「鎖国攘夷論」を具申する。 ヨコハマ買い出し紀行 1 (アフタヌーンKC) 作者: 芦奈野ひとし出版社/メーカー: 講談社発売日: 1995/08メディア: コミック購入: 2人 クリック: 113回この商品を含むブログ (96件) を見る ブルーベリーで検索したときにわかさ生活越えるのが今月の目標です。 こんな記事を見かけて思ったことhttp://gihyo.jp/dev/col
AWKの第一歩
小栗栖 修 金沢大学理学部計算科学科 2001年1月8日(月): 第1版 2002年10月10日(木):第1.1版 ogurisu[AT]kanazawa-u.ac.jp この文書の目標は AWKを使ったことがない人が使い始めるきっかけになれば というところにあります。 Cや Javaよりも気楽にプログラミングが楽し めて、もちろん実用的なプログラムが書けるのが AWKやperl, rubyに代表さ れるスクリプト言語です。すでにweb上にも AWKの文書が日本語のものも含 めてたくさんあります。本格的なマニュアル形態の文書も、 A4に印 刷して数枚程度のものもあります。が、ちょっと使ってみようというには本格 的な文書はしんどいし、 A4数枚程度のものは簡潔すぎて何ができる のかよくわからないと思います。それを補完できればなと思っています。もし、 この文書以上のことをしたくなったら、もっと
AWK Users JP :: 日本の AWK ユーザのためのハブサイト
YAPC::Asia 2008 で Michael Schwern は「SEO に有効な独自ドメインを取って、もっと Perl 初心者が集まりやすい nice な Perl の情報を集めたサイトを作れ!」と言っていたので、ここに AWK-users.jp を開始します。 Perl Is unDead - Michael Schwern (Schwern) これは awk も同じであり、ちょうど Perl-users.jp の発表のある前日に Web サイトの再構築の話題を ML に出したところでした。 微妙なタイミングだなぁに書きましたが、Perl Is unDead - Michael Schwern (Schwern) の中の話を私なりに awk でも通用するようにまとめると以下のようになると思います。(聞き取れていないかもしれませんが・・・) あたかもゾンビが脳みそを欲しがるように、
Getting Started with awk
Getting started with awk This qref is written for a semi-knowledgable UNIX user who has just come up against a problem and has been advised to use awk to solve it. Perhaps one of the examples can be quickly modified for immediate use. Pre-Info Ohhh ohh what flavor? For More Info References Introduction The Basics Some Samples Whats a pattern, whats an action? With a regular expression? Comparisons
xlawk.rb: Excel 用の awk を Ruby で作る：Rainy Day Codings：So-net blog
私が Ruby を使う機会はもっぱら Win32OLE モジュールを使って Excel ブックを定型処理するような場合が多くなっています。 以前はこういう用途に Perl を使っていたのですが、よく使う「～の条件を満たすすべてのシートに対して～」というような処理はブロックを使った構文が書きやすいようです。 しかし構文がいくら書きやすくても結局いつも似たようなコードを書いているのに気づきます。Excel データに定型的な処理を行う場合に書くコードというのは大抵以下のようなものです。 1. 引数で与えられたすべてのブックに対して、 2. 中に入っているすべてのシートについて（何かの条件付きでフィルタして）、 3. シート中の最後の行までを（やはり何かの条件付きでフィルタして、データを変換したりしながら）走査する。 こうした処理というのは実は要するに awk であって、Excel に対する aw
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
これは強力！ AWKとパイプの新しい関係 ～ 時刻を取得する関数、Socket通信、双方向パイプ
AWKのトリッキーな配列＆連想配列の仕組み・動作と目からウロコのテクニック
AWKで一番の得意ワザ！ シェルで文字列を自在に扱うための文字列関数
Effective AWK Programming by Arnold D. Robbins - Download link