俺とおまえとawk - 俺たちのブログ
「EFK (Elasticsearch + Fluentd + Kibana) なんて甘えですよ、漢は黙って awk | sort | uniq -c ですよ」と誰かが言ってたような言ってなかったような気がするのでログさらう時に自分がよく使う awk 芸について書きます。 想定データサンプル こんなフォーマットで出る TSV 形式の Web アプリケーションログがあったとします。[TAB] はタブ文字です。 時間[TAB]ステータス[TAB]HTTPメソッド[TAB]URI[TAB]リクエストタイム 例えばこんな感じです。このログを awk 芸で処理していきます。 access.log 2014-12-05 12:00:00[TAB]200[TAB]GET[TAB]/api/v1/ping[TAB]0.017832 2014-12-05 12:00:01[TAB]200[TAB]POST[
bash の脆弱性 "Shell Shock" のめっちゃ細かい話 (CVE-2014-6271) - もろず blog
※(2014/10/1 追記) 脆弱性の番号を誤って CVE-2014-6721 と表記してしまっていました 正しくは "CVE-2014-6271" です 失礼致しました ※(2014/10/7 追記) 2014/10/7 14:00時点で Shell Shock への修正パッチは6個 公開されています 既に対応済みのシステムでもパッチの漏れがないか注意してください シェルに脆弱性が見つかったらしいです このコマンドを実行すると脆弱性があるバージョンかのチェックができるようです $ env x='() { :;}; echo vulnerable' bash -c "echo this is a test" 以下のように表示されたらアウトです vulnerable this is a test どうやら、このコマンドが正常に実行できるというのがこの脆弱性の正体らしく、 echo vuln
naoya_itoの火を噴いたシェルtips - Togetterまとめ
naoya @naoya_ito シェルでパスワード入力プロンプトでるじゃないですか。途中まで打って間違えたとするじゃないですか。Ctrl + u 打つとリセットできるの知ってた? 俺は知ってた 2014-04-07 19:40:06
Zsh 入門者のための超速設定ガイド - Qiita
はじめに このガイドでは、はじめて Zsh を使う人や Zsh の便利な使い方を知らない人に向けて、いくつかの便利な設定と操作方法を紹介します。また、 Zsh についての疑問を素早く解決できるよう、マニュアルの調べ方や他のドキュメントへのリンクも盛り込んであります。 このガイドでカバーしきれていない設定や分かりやすいドキュメントをご存知でしたら、ぜひ編集リクエストやコメントでお知らせください。 設定ファイル ここでは主に普段のキー入力数を大幅に減らせるような設定を紹介します。 .zshrc ~/.zshrc は Zsh のインタラクティブシェル（ユーザーがコマンドを入力する画面）が起動した際に読み込まれる設定ファイルです。 Zsh スクリプトを実行したり、 zsh -c 'command...' でコマンドを実行したりしたときには読み込まれません。このファイルには主に Zsh の操作に関す
bashによるシェルスクリプトの小技(2) - shibainu55日記
前回(bashによるシェルスクリプトの小技(1))に引き続き、シェルによって自動的に値が設定される特殊な変数について紹介する。特殊な変数を参照することにより、様々な情報を取得することができる(ただし、これらの変数には自分で任意の値を設定することはできない)。 さて、まずは特殊変数を一覧でまとめてみる。お馴染みのものが多いが、最後の2つ(特に最後のPIPESTATUS)についてはきっと今まで知らなかった人もいるんじゃないだろうか。シェルの中でパイプすると途中のコマンドのリターンコード、拾えないとか思っていませんか？今回のポイントとしては、「1. PIPESTATUS変数について」と「2. 特殊変数 $@と$*の違いについて」の2点を主に説明する。 特殊変数一覧表 変数名 自動的に設定される値 $? 直前に実行されたコマンドの終了ステータスが設定される変数。正常終了の場合は「0」、異常終了の場
SSH力をつけよう
Docker / Kubernetesのネットワークアーキテクチャの解説と、代表的なCNIプラグインとしてFlannel、Calico、Canal、NSX-T Container Plugin (NCP) を取り上げ、それぞれの実装の比較しています。Japan Container Days v18.12 での講演資料です。
GNU Parallelがすごすぎて生きるのがつらい
皆さん今日もたくさんのサーバを相手にされていることかと思いますが、いくつかのサーバにアクセスして 1 秒間の統計情報(例えばvmstat 1 2)を集めてパッと表示したい時ってどうやってますかね？shell script を学びはじめたばっかりの僕はこんな感じで書いてました。 $ for i in host1 host2 host3; do ssh $i "vmstat 1 2 | tail -1"; done 0 0 0 329004 210836 14275360 0 0 0 2424 1410 1828 0 0 100 0 0 0 0 0 3716112 587704 25921684 0 0 0 488 1643 2026 0 0 100 0 0 1 0 0 555440 265560 14015548 0 0 0 4204 1534 2392 1 0 99 0 0 vmstatと
tailコマンドって-c使うと超速い - As a Futurist...
Twitter でつぶやいたら意外と知られて無かったので記事にしておきます。 Linux とかで巨大なログファイルとかを扱うときに、head や tail というコマンドで先頭から何行とか 末尾から何行を見たい時があると思います。 例えばアクセスログで末尾から 10000000 行目辺りをみたいとかいうときに $ tail -n 10000000 access_log | head とかするとかなり遅いと思います。これはログの後ろの方から読み込みながら 行数を計算しているからで、10000000 行分数えないとどこから表示すればいいのかわからないので なかなか結果が返ってこなくてヤキモキしてしまいます。 こんなときに、-cというオプションを使うと超高速で結果が返ってきます。-cというのは -c, --bytes=N output the last N bytes とある様に、ファイルの末尾
超便利なワンライナーを、コマンドラインで検索できるgemパッケージ「cmdline-fu」 - 元RX-7乗りの適当な日々
Linux等のコマンドラインで使える便利なワンライナーを、世界中のみんなで共有しちゃおうという「Command-line-fu」というサイトが素敵！ All commands 以前、100SHIKIさんでも、以下のように紹介されていました！ Command-line-fuではLinuxなんかのコマンドラインで使えるワンライナー（一行プログラム）を投稿・共有できる。 自分がよく使うワンライナーを保存しておいて使うも良し、他の達人の技を盗むも良し、の素晴らしきサービスである。 ちょっとのぞいてみただけでも「へー、一行でここまで出来るんだ・・・」という小技があってかなり勉強になる。 コマンドラインで使える超絶便利なワンライナーを投稿・共有できる『Command-line-fu』 | 100SHIKI で、サイトで新しく投稿されたワンライナーをブラウザで眺めたり、サイトでキーワード検索したり、RS
tips - 君はpushd|popdを知っているか? : 404 Blog Not Found
2010年10月02日19:00 カテゴリTips tips - 君はpushd|popdを知っているか? うーん、必要性感じたことないなあ。 上に行くcd作った - hitode909のダイアリー シェルで，上のディレクトリに行くのがめんどくさくて，cd ../../../../とかしないといけなくて，指を痛める． 上に行くためのupっていうコマンドを作ることにした． なぜないかといえば、pushdとpopdがあるから。 pushd path (cdと同じく)pathをカレントディレクトリにした上で、shellが内部的に持っているディレクトリスタックにcd先のパスを押し込む。 popd ディレクトリスタックをpopして、popされたディレクトリをカレントディレクトリにする 要するに、pushdをcdの代わりに使って、元いたディレクトリに戻りたいときにはpopdとすればよいわけです。元はc
上に行くcd作った - hitode909の日記
シェルで，上のディレクトリに行くのがめんどくさくて，cd ../../../../とかしないといけなくて，指を痛める． 上に行くためのupっていうコマンドを作ることにした． その1 up 3ってやると，3つ上に行くのを作った． function up() { i=0 while [ $i -lt $1 ] do cd ../ i=`expr $i + 1` done } 使い方 % pwd /Users/fkd/co/dev/dotfiles % up 3 % pwd /Users/fkd %これは使いにくくて，cd ../../って打つときは，いくつ上に行くか考えながら，../って打ってる．これだと，先に数えておかないといけなくて，難しかった． その２ 考えながら入力できるようにしてみた．引数の数だけ見る． function up() { i=0 while [ $i -lt $# ]
Linuxの使い方
はじめに 当講座のご案内 Linuxはサーバー及び、デスクトップ用OSとして使用するのが一般的と思われますが、最近は組み込み用OSとしても使われています。スマートフォンやタブレット用OSとして有名なAndroidのカーネルはLinuxです。 この講座ではデスクトップ用OSとして使用することを前提として説明します。なお、デスクトップ環境はKDEとします。 サーバー環境で使うのであれば、ほとんどの操作はコマンドを使用して行うことになると思いますので、コマンドに関する知識は必須だと思います。一方、デスクトップ環境の場合はほとんどの作業がGUI（Graphical User Interface）で出来るようになって来たため、コマンドを使うことは少なくなって来ました。しかし、次のような場合にはまだまだコマンドを使うことが多いと思います。 トラブル発生時の原因究明や対応策の実施 より効率的な作業の実施
最低限 UNIX / Linux [III] 【シェルスクリプト】
3. シェルスクリプト さて, vi の使い方を大雑把に理解したところで 今日のメインである シェルスクリプト について学習しましょう. [3.1] シェルスクリプト入門 これまで見てきたように, シェルはユーザとコンピュータの橋渡しをして, ユーザがコマンドを端末から打ち込む毎に, それを解釈し実行します. 一方, [2.0.2]節で触れたように, 「プログラムが可能である」という, もう一つの面もあります. この, プログラムとして手続きを書き込んだファイルを 「スクリプト・ファイル」と言います. スクリプト(script)とは劇の「台本」のことであり, 台本を事前に決めていてそれに沿って行わせるためにこの名前があります. シェル以外にも多くのスクリプト言語, 例えば Perl, Rubby などがあります. もちろん全部を覚える必要は全くありませんが, 一つでも使いこなせると非常に便
初めてシェルスクリプトを書くときに知っておきたいこと - Unix的なアレ
他の言語をを書き慣れてから、シェルスクリプトを書こうとするとしょうもない部分でハマったりすることがあります。「簡単な処理だからシェルスクリプトで書くか」と思っても無駄に時間がかかってしまっては仕方ないですよね。 今回は初めてシェルスクリプトを書くときに、ハマりそうな点について説明をしたいと思います。 実行権限をつける 単純にファイルを生成しても下記の用に実行しようとしても実行はできません。 # touch test # ./test sh: ./test: Permission denied # touch foo # ./foo sh: ./foo: Permission denied これはファイルに実行権限がついていないため、起きる現象です。 chmodコマンドを使って実行権限をつけてやりましょう。 # chmod +x test # ./test # chmod +x foo #
最低限 UNIX / Linux [III] 【シェル】
1. シェル [1.1] シェル (Shell) とは シェルとは、ユーザーから入力されたコマンドを解釈し、 プログラムを起動するアプリケーションです。 他の OS で機能的に似た役割を持つものとして、 Windows95/98では Explorer、Macintosh（MAC）では finder があります。 しかし、イメージとしては Windows95/98 の DOS プロンプトや、 WindowsNT のコマンドプロンプトの方が近いでしょう。 通常、シェルは login シェルとして、各ユーザがログインする度に起動され、 ログアウトの際に終了します。ログインすると、端末の上に、例えば "samson$" と表示されますが、これがシェルが発している「プロンプト」（ユー ザへコマンドの入力を促す記号）です。尚, kterm 等のターミナルを新たに立ち上 げると別のシェルが起動されます。
ウノウラボ Unoh Labs: PHPで暗号化・復号化あれこれ
GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー！古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠
(3) UNIX beginner ___C-Shellプログラミング___
シェルスクリプト シェルのプログラミングは、ファイルからの入力で行う。コマンドラインからの入力と違い、いくつもの命令を一括して実行していく事ができるというのが利点である。この、いくつもののコマンドを手順に応じて編集したファイルをシェルスクリプトと言う。 シェルは他プログラミング言語と同様に、条件分岐、繰り返しといった制御命令も持っている。これらを用いる事で、複雑な手順を持ったシェルスクリプトを作成する事も可能である。 シェルスクリプト作成 シェルスクリプトの文法は、コマンドラインからの入力のそれと基本的に同じである。大きな違いは、シェルスクリプトはまとめてテキストファイルとして記述し、実行する事ができるという点である。 それでは、カレンダーを表示するC-Shellスクリプトを作成してみる。 （viを用いて【List 1】を入力） 【List 1】 シェルスクリプトを実行するには シェルスク
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Vim-users.jp - Hack #142: Vimでシェルを起動する
find／grep／xargsコマンドを使いこなす 業務で楽するためのUNIXテクニック集「検索」編
UNIX & Linux コマンド・シェルスクリプト リファレンス