awk歴一日の初心者が語るawk理解のポイント - シリコンの谷のゾンビ
今までテキスト処理などでワンライナーを使うときはperlを使っていた．Perlを先に覚えた身としてはawkやsedは過去の産物だと思い込んでいた．awkの方が簡潔に書けるケースに出くわしたことをきっかけにawkを勉強してみたら単な食わず嫌いだったことに気が付いたのでポイントをまとめてみる． なおプログラミング言語としてはAWKという表記が正しく (Aho, Weinberger, Kernighanの頭文字! ということだけは以前から知っていた)，オリジナル処理系のことをawkと呼ぶのだろうけれど，今回は処理系の違いは気にしないのでawk, nawk, gawkの違いは気にしないことにした．ていうか詳しく知らない． 「awkってなんぞ?」という方が対象読者．スクリプト言語と正規表現の基礎知識が少しでもあれば，たぶんすぐに使えるようになると思う．awkを一度でも使ったことがある人には新しい情
monによるMySQLのデッドロック検知とロギング - FAT47の底辺インフラ議事録
更新が激しいDB（MySQL)でInnoDBのロック競合が発生し、アプリケーションサーバが詰まる状況が発生してしまいました。 障害監視はmonというアプリケーションで行なっているのですが、 今回はこのmonを使ってMySQLデッドロックの検知とロギングを行いたいと思います。 monについては下記の資料をご参照ください。 Mon, Muninによる楽々監視生活 デッドロック解析は下記サイトのSQLを利用しています。 MySQL InnoDBにおけるロック競合の解析手順 前提 ・MONのサーバは既に構築済みであること ・DBサーバはMySQL5.5であること（MySQL5.1+InnoDB pluginでも可） 〜〜〜 以下、監視対象のDBサーバにて作業 〜〜〜 SNMPインストール yum install net-snmplockを検知するスクリプト作成 vim /usr/local/sbi
AWS Command Line Tool Python版 ｜ Developers.IO
軽量コマンドラインツールが出た！ 全国うん万人?のAWSデベロッパーの皆さん、ニュースです。AWSから提供されていたコマンドラインツールがPython版になって登場です。すでに12のサービスに対応しています。ただ単にJavaからPythonになったというレベルではありません。超軽量になったのです。今までのコマンドラインツールは、バックグラウンドでJVM(Java VM)が立ち上がっていました。コマンドが呼ばれる度にVMが初期起動するのでCPU使用率が非常に高く、サーバー運用時の定期呼び出しには大きな問題となっていました。仕方なく、RubyやPythonのSDKを使ってスクリプトを書くという毎日でした。Java好きな私ですので多少擁護しますと、Java版はRI(Reference Implementation)として、AWSの全てのAPIにアクセスするためのお手本として、今後も最初にSDKが
AWKのススメ - クックパッド開発者ブログ
はじめまして。インフラチームの菅原といいます。 今年の7月に入社してから、コンソールとにらめっこする毎日を過ごしています。クックパッドのようにアクセスの多いサイトのサーバを扱うことが今まで無かったので、いろいろと勉強になることが多いです。 さて、インフラチームではサーバの状況をモニタリングして、サーバに問題がないかを常に把握するようにしています。そのため日常的にtailでログを追いかけているのですが、そんなときはAWKが非常に便利なことに気付き、最近はかなりAWKにハマっています。 今回は絶賛マイブーム中のAWKの活用例をご紹介したいと思います。 なぜAWKなのか？ 残念ながらAWKの知名度はあまり高くないようで、社内でも「なぜRubyでやらないのか？」と聞かれることがありました。僕も入社するまではcutの代わりぐらいにしか使っていなかったのですが、あるときログ出力の整形に使って以来、AW
クロス集計をBash(とawk)だけで実装した話
OSC・シェルのプロが語る『make を使ったデータ処理。』 【make 教】 - OSC2015 Tokyo/Spring 発表資料
AWK Users JP :: awk 基礎文法最速マスター
この文書は書きかけです ここでは nawk (new awk) で使用可能な命令で記述しています。 gawk (GNU awk) を使うことで、さらに効率よい記述を行うことができますが、nawk の文法で覚えておくと全ての awk で使うことができます。 print 文 表示は print 文です。 print "Hello World!"; コメント # 以降がコメントになります。 スクリプトの実行 以下のように '-f' に続いてスクリプトを指定します。 nawk -f foo.awk 複数の awk スクリプトを指定することもできます。 nawk -f foo1.awk -f foo2.awk -f foo3.awk スクリプトを直接指定できます。 # "Hello World" と表示 nawk 'BEGIN { print "Hello World" }' BEGIN, END,
Apacheのレスポンス分析に必要なスクリプトまとめ - ブログなんだよもん
最近、Apacheのログ解析をすることが多いので、備忘録を兼ねてまとめ。 とりあえず、超便利コマンドはawk, sed, grep, uniq, sortあたり。コレを駆使して色々解析する。そして、これを駆使して解析がツライ時は素直にperlやruby, pythonに処理を渡すべきかなぁ。awkが結構なんでもできるので、awkだけでも基本的にはいいけれど。 あと、リアルタイム解析じゃなくて前日のログ解析だから基本はzgrepやzcatから始まります。 で、ポイントは可能な限りzgrepを使うこと。zcatは一度全部展開するので、トロいし、負荷もでかいです。 apacheのログフォーマットが違うと当然そのまま適用できないので、その辺は適当に変更する感じで。 やっぱ、CSV解析はこの辺がネックですね。全部JSONになれば良いのに... 平均レスポンスタイム アクセスログの末尾がレスポンスタイ
インメモリKVSのRedisについて – Rest Term
* wiki(Tech Note)のページ追加 このエントリーの内容を整理してwikiにもRedis関連のページを追加しました。 Redis – Tech Note Redis is an open source, advanced key-value store. It is often referred to as a data structure server since keys can contain strings, hashes, lists, sets and sorted sets. インメモリKVSのRedisを少し触ってみました。 さくらVPS(CentOS 5.6)にインストールしようと思ったのですが、yumのレポジトリだと今は古いバージョンしか入れられないようなのでソースからビルドしました。手順は公式の通りに。(参照: Download – Redis) また、/
mk(pt)-query-digestをもっと活用しよう！ - 筋トレとともに生きるDBAの雑記
もはやこれが無くては障害対応ができないぐらい中毒になっているmk-query-digestさんについてです。 mk-query-digest - Analyze query execution logs and generate a query report, filter, replay, or transform queries for MySQL, PostgreSQL, memcached, and more. 例えばこんなことが起きたときは、何を差し置いてもまずtcpdumpを取りに行きます。 状況がおさまってしまってからでは遅いのです。 Load Averageの高騰 Too Many Connections lock wait timeout tcpdump -i bond0 -s 65535 -x -n -q -tttt 'port 3306' > tcpdump.out
CLIマジック：使って役立つワンライナー入門 | OSDN Magazine
通常この分野におけるワンライナー（one-liner）とは、パイプ（|）という機能を用いて複数のコマンドを1行にまとめたものを意味する。パイプの機能は、その左側に記述されたコマンドの実行結果を、右側に記述されたコマンドの入力として渡すことである。本稿で解説するのはbashコマンドプロンプトでの使用例だが、簡単な構成のワンライナーにせよ複雑な構成のワンライナーにせよ、これらはいずれも使い方次第で大いに役立つ存在なのだ。 例えば、カレントのディレクトリに何個のファイルが置かれているかを確認するには、下記のコマンドを実行すればいい。 ls | wc -l これは最も簡単な部類に属すワンライナーのサンプルであって、状況によってはより複雑な記述をすることになる。例えば、手元のシステムにて実行中のプロセスのうちでCPU時間を最大限に消費しているもの上位5つを特定するには、下記のコマンドを実行すればいい
cURL - How To Use （マニュアルページ日本語訳）
This page is a Japanese translation of the manual page of the command line tool 'curl'. (more about this page) curl.1 man ページ 名前 curl - transfer a URL curl - URL 転送 書式 curl [options] [URL...] 説明 curl is a tool to transfer data from or to a server, using one of the supported protocols (HTTP, HTTPS, FTP, FTPS, SCP, SFTP, TFTP, DICT, TELNET, LDAP or FILE). The command is designed to work without use
scale out の技術 (in UNIX magazine, April 2009)
scale outの技術 首藤 一幸 Last-updated: January 5, 2010 注: このページの文章は以下の記事の元原稿です。 首藤一幸, "スケールアウトの技術", クラウドの技術, pp.88-101, (株)アスキー・メディアワークス, ISBN978-4-04-868064-6, 2009年 11月 6日 アスキー・メディアワークス社の 書籍紹介ページ Amazon.co.jp の ページ 首藤一幸, "スケールアウトの技術", UNIX magazine 2009年 4月号, pp.78-91, (株)アスキー・メディアワークス, 2009年 3月 18日 データベースに求められる性能を試算したところ、 十台、百台…数万台のサーバが必要になった。 クラウドを構築する側はこういう問題に直面し、解決しようとしてきた。 台数に比例した性能を引き出すこと、つまりsca
Scriptular - Javascript Regular Expression Editor
Scriptular is a javascript regular expression editor. Inspired by Rubular it gives you a simple way to test javascript regular expressions as you write them. Start by entering a regular expression and then a test string. Or give this example a try. Learn more about regular expressions in javascript.
Tutorial — Bottle 0.13-dev documentation
Tutorial¶ This tutorial introduces you to the concepts and features of the Bottle web framework and covers basic and advanced topics alike. You can read it from start to end, or use it as a reference later on. The automatically generated API Reference may be interesting for you, too. It covers more details, but explains less than this tutorial. Solutions for the most common questions can be found
PythonのWebフレームワーク６種をかんたんに紹介 - モジログ
１月に「Pythonを始めるなら、１ファイルの軽量Webフレームワーク「Bottle」がおすすめ」というのを書いたところ、なかなか反響が大きかった。そこで今回は、私がいくらか使ったことがあるPythonのWebフレームワーク６種について、かんたんに紹介するというのをやってみたい。コメントは、私のごく主観的な印象に基づいている。 Bottle（ボトル） http://bottlepy.org/ 「bottle.py」という１ファイルだけでできている。環境構築が不要なので、Python入門に最適。１ファイルに全部入っているので、組み込むのも容易だし、依存リスクもないので、実用にもいいと思う。これだけシンプルなのは、生存戦略としても強い。 CherryPy（チェリーパイ） http://cherrypy.org/ Bottleより大きいが、外部依存がないので、これも環境構築不要で、Python入
LXC HOWTO
Linux Containers (LXC) are an operating system-level virtualization method for running multiple isolated server installs (containers) on a single control host. LXC does not provide a virtual machine, but rather provides a virtual environment that has its own process and network space. It is similar to a chroot, but offers much more isolation. This document is intended as an overview on setting up
Rubyで使われる記号の意味（正規表現の複雑な記号は除く） (Ruby 1.9.3)
! ? # % & | + - * / ^ ' . , < > = ~ $ @ _ {} [] () " : ` \ ; ! !true not 演算子。演算子式/notを参照。 3 != 5 「等しくない」比較演算子。演算子式/notを参照。 def xxx! 「!」はメソッド名の一部です。慣用的に、 同名の(! の無い)メソッドに比べてより破壊的な作用をもつメソッド(例: tr と tr!)で使われます。 /xxx/ !~ yyy 正規表現のメソッド =~ の否定。マッチが失敗したらtrueを返します。 ? ?a リテラル/文字列リテラル。長さ 1 の文字列。 def xx? この場合の「?」はメソッド名の一部分です。 慣用的に、真偽値を返すタイプのメソッドを示すために使われます。 xx ? yy : zz 演算子式/条件演算子。三項演算子とも呼ばれます。if xx then yy e
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Actions by service - Amazon Elastic Compute Cloud
AWS コマンドラインインターフェイス（CLI: AWSサービスを管理する統合ツール）| AWS
Available Services - botocore 1.34.116 documentation