Linux Performance
static, benchmarking, tuning: sar, perf-tools, bcc/BPF: bpftrace, BPF book: Images license: creative commons Attribution-ShareAlike 4.0. This page links to various Linux performance material I've created, including the tools maps on the right. These use a large font size to suit slide decks. You can also print them out for your office wall. They show: Linux observability tools, Linux static perfor
Linuxとgitを作ったLinus - 未来のいつか/hyoshiokの日記
誰でも知っていることだけど、LinuxというOSというかカーネルはLinus Torvaldsが学生のときに趣味で作ったのがはじまりだ。それは1991年ころの話で彼が21歳の頃だ。個人の趣味で作ったものが、いつの間にかに世界中のコンピュータだけでなく、携帯や家電や様々な機械の制御に使われている。 Linus Torvalds - Wikipedia 1994年ころには、PCで動く個人向けOSとしては十分な機能を持っていた。Xもあるし、gccなどのコンパイラもあるし、GNU Emacsやbashもあるので、ちょっとしたプログラムを作るには十分な機能を持っていた。 当時、勤め先のマシンはSunのワークステーションで仕事でLinuxを使う機会は全然なかったのだけど、自宅のPCにSlackwareのCDを入れてみたりした。日常的に使うことはなかったけど、1998年にOracleがLinux版を出し
diff & patch コマンドでのパッチを適用する方法 - hogehoge foobar Blog Style Beta
diffとpatchコマンドを使うとファイルの変更を別のファイルに簡単に適用することができます。 例えば、サイトでWEBサーバーを複数台で運用していて1台のWEBサーバーに行った設定ファイルの変更を他のサーバーに適用するときなどに使えます。 基本的な作業の流れ ファイルへのパッチ適用を行う際はこんな感じです。 diffコマンドでパッチファイルを作成 作成したパッチファイルを元に、patchコマンドでパッチを適用 パッチファイルの作成 パッチファイルの作成にはdiffコマンドを使用します。コマンドの書式は以下のような形になります。 $ diff -u(または -c) 変更前のファイル 変更後のファイル > パッチファイル名オプションの「-u」はパッチファイルを、unified diff形式で出力するという指定です。 「-c」の場合はcontext diff形式での出力になります。 「-u(ま
sudoersを変更する、よく使う設定例 - それマグで！
sudoers を編集する前に。 sudoers は編集をミスすると大変なことになります。 visudo を使う。 /etc/sudoers を直接編集しないこと。visudo コマンドを使いましょう sudoresのミススペル確認しましょう。 正しくは sudoers です。 sudores でググったらsudores が市民権を得たくらいにたくさんエントリがあって驚きます。cron（クロン）をクウロン・コロンと呼ぶくらいあり得ない。 @ITも間違ってる。魚拓 （%h）などを明示することで、sudoコマンド実行者に、どのサーバ上でどのユーザーから実行しようとしているのかを再認識させることができる。 sudoのパスワードプロンプトを変更する場合は、 sudoresに例えば以下のように記述する。 Defaults passprompt = "%u@%h Password: " http://
CLOSE_WAITのセッションを早く消す方法 - つれづれなる・・・
原因はおそらくwebサーバ〜DBサーバ間のセッションがネットワーク的に不安定だったからだと思うけど、DBサーバで netstat -an すると 大量の CLOSE_WAIT のセッションが残ってしまって、MySQL の最大コネクション数にまで達してしまってwebの表示が出来なかった。CLOSE_WAIT をいきなり消すことは出来ないので、早めに消えるようにしたいときは tcp_keepalive_time TCPセッションが確立されて検査が実施されるまでの時間 時間になると tcp_keepalive_intvl と tcp_keepalive_probes の値にしたがって検査を実施する tcp_keepalive_intvl 次の検査を実行するときの待ち時間 tcp_keepalive_probes 検査の回数のそれぞれの値を小さくしてあげればよい。変更方法は vi で :wq する
よく使う圧縮/解凍コマンドをまとめ(zip,gzip,tar) - hogehoge foobar Blog Style Beta
圧縮/解凍コマンドって結構使うことが多いのですが、使い方を忘れることが多いので、よく使うコマンドをまとめてみました。 tar.gzで圧縮(tarアーカイブしてgzipで圧縮) tar.gzで圧縮する場合は、「tar」でファイルをまとめた(アーカイブした)ものを、パイプ(|)で「gzip」に渡して圧縮します。 「tar」でアーカイブに含まれるファイル名を情報として表示させたい場合は、オプション「v」を指定してバーボーズモードにします。 アーカイブされるファイル名を表示する(バーボーズモード) $ tar cvf - dirname | gzip -c > dirname.tar.gz アーカイブされるファイル名を表示しない(通常モード) $ tar cf - dirname | gzip -c > dirname.tar.gz tarのオプション 命令: 以下の中から必ず1つだけ指定しなけれ
SSHの設定 - DenyHostsでSSHへの攻撃を防ぐ：tech.ckme.co.jp
例えばopenSUSE 10.0で/var/log/messagesを見ると時々 Mar 26 22:01:32 linux sshd[18645]: Invalid user test12 from 65.205.238.12 Mar 26 22:01:34 linux sshd[18647]: Invalid user test12 from 65.205.238.12 Mar 26 22:01:35 linux sshd[18649]: Invalid user test12 from 65.205.238.12 Mar 26 22:01:37 linux sshd[18651]: Invalid user test12 from 65.205.238.12 Mar 26 22:01:38 linux sshd[18653]: Invalid user test12 from 65.
新人のLinuxサーバ管理者におススメしたい1冊の書籍 - 元RX-7乗りの適当な日々
ここ1〜2ヶ月くらい、色々な方に「最近入った新卒に読んでもらいたいLinuxの入門書とかってないですか？」と聞かれることがすごく多かったので、ここで紹介してみたいと思います。 ここで対象にしているのは、会社の新人研修なんかで1〜2日くらいは軽くLinuxに触れる機会があったけど、現場に配属されて、Linuxサーバの構築や運用をするような、Linuxサーバの"運用"初心者であるケースです。多少のコマンドの使い方や簡単な概念はわかったけど・・・の次のステップに上がるタイミングで手にとってみてはどうだろうか、と。 Linuxの教科書 - ホントに読んでほしいroot入門講座 Linuxの教科書 改訂版 （マイコミムック） (MYCOMムック) 作者: 高町健一郎,大津真,佐藤竜一,小林峰子,安田幸弘出版社/メーカー: 毎日コミュニケーションズ発売日: 2011/03/31メディア: ムック購入:
原因調査用Linuxコマンド | 外道父の匠
サーバの動作に異常が発生した際に原因を探るためのLinuxコマンドで、自分用のメモです。 全てmanとかググったら出てくるので説明は適当です。思いついたら後で追記していくかもです。 対象はDebian Squeezeになります。 全てパッケージインストールできるもので、パッケージ名は [in packagename] としてあります。 各所よりコメントありがとうございます。 良さ気なコマンドは追記していきます。 ＜追加したコマンド＞ * telnet (+コメント wget, netcat) * arp (+コメント arpwatch) * pstree * fdisk コメントに gdisk * host, dig * watch * reboot
cron等をつかって外部のAPIに問い合わせる場合は、毎時0分を避けるのが大人のマナー - blog.nomadscafe.jp
なんかtwitterで書いたらウケたっぽいので cronをつかって外部のAPIに問い合わせる場合は、毎時0分をさけるのオススメ！！！！お兄さんとの約束だ！！！ — masahiro nagano (@kazeburo) August 9, 2012 某サービスのAPIへの問い合わせ件数を調べると、毎時 0分台(0秒から59秒)のアクセスは1分から59分までの1分間の平均アクセス数の5倍から8倍にもなります。 これはおそらく、crontabの設定が 0 * * * * /path/to/call_foreign_api になっていることが多いからじゃないかなぁと思うのです。 その結果、サーバのロードアベレージは このように毎時0分だけ跳ね上がってしまいます。サービスを快適に提供できなくなる可能性があるので、APIの利用を制限したり、サーバを追加しなければなりません。これはサービス利用者、サー
初めてシェルスクリプトを書くときに知っておきたいこと - Unix的なアレ
他の言語をを書き慣れてから、シェルスクリプトを書こうとするとしょうもない部分でハマったりすることがあります。「簡単な処理だからシェルスクリプトで書くか」と思っても無駄に時間がかかってしまっては仕方ないですよね。 今回は初めてシェルスクリプトを書くときに、ハマりそうな点について説明をしたいと思います。 実行権限をつける 単純にファイルを生成しても下記の用に実行しようとしても実行はできません。 # touch test # ./test sh: ./test: Permission denied # touch foo # ./foo sh: ./foo: Permission denied これはファイルに実行権限がついていないため、起きる現象です。 chmodコマンドを使って実行権限をつけてやりましょう。 # chmod +x test # ./test # chmod +x foo #
Arch Linux インストール：うちのPC、どうしましょ。：So-netブログ
弐号機で、Qemu Launcher を試そうとしたんですが、失敗。情報もほとんど無いので、あきらめました。その代わりといっちゃなんですが、VirtualBoxを動かしてみました。（昨日までエラーが出て、死んだフリをばしてました。） 「なんで今更」とおもいつつも、Arch Linux （i686）です。へそ曲がりな私めは archlinux-2010.05-netinstall-dual.iso を使いましたが、お薦めはやはり archlinux-2010.05-netinstall-i686.iso ですね。 iso イメージの入手先（「Arch なミラー」より） # 山形大学（山形）http://ftp.yz.yamagata-u.ac.jp/pub/linux/archlinux/iso/latest/ # 株式会社KDDI研究所（埼玉）http://ftp.kddilabs.j
雑草ブログ VirtualBoxにArch Linux (x86_64)を入れる
Official Arch Linux Install Guideが必見。 まずダウンロード。archlinux-2009.08-core-x86_64.isoをダウンロードした。sha1sumもチェック。FTPのやつだと最初から最新版が入るのでそっちの方がいいかもしれない。 VirtualBoxで新規VMを作る。Linux / Arch Linux (64 bit)にした。設定のNetworkで、Adapter 2のHost-only Adapterにする。ダウンロードしたばかりのCDイメージをマウント。 起動。Boot Arch Linux Live CDを選択。rootとしてログオン。 # km でキーボードを指定。i386/qwerty/jp106.map.gzが良さそうだ。Console Fontはよくわからんのでスキップ。 # /arch/setup インストール開始。Alt+
ゆとれる貴方のためのArch Linuxのススメ - 愛と勇気と缶ビール
マクラ coolなディストリビューションであるArch Linuxが、有名じゃなさすぎてかわいそうなので、おすすめする記事。 あ、多分ここで挙げる「Arch Linuxの良い所」のうち多くはGentooでも実現できると思うんですが、僕はzentooというハンドルネームを使っていながらGentooはまだ試したことがないというゆとりなので、「それGentooで(ry」みたいなツッコミされてもちょっと…という感じです。 で、本題です。 Arch Linux http://www.archlinux.org/ Wikipedia (ja) http://ja.wikipedia.org/wiki/Arch_Linux 上のページにも書いてある通り、Arch Linuxはminimalなディストリビューションとして設計されています。当然始めからプリインストールされているお仕着せのデスクトップ環境やウ
UNIXという考え方 - Strategic Choice
書籍「UNIXという考え方（The UNIX Philosophy）」で紹介されている、UNIXオペレーティングシステムの背後にある「設計哲学」をまとめます。一覧哲学は、計19個の定理*1として説明されています。最重要９定理小は美なり一プログラム一仕事なるはやプロトタイプ効率性より移植性データはテキストレバレッジ・ソフトウェアシェルスクリプト活用対話インターフェイス回避フィルタ化 重要１０定理環境カスタマイズ軽薄短小カーネル小文字使用森林保護沈黙は金並列思考部品コラボ90パーセント解劣るが優る階層指向 出典UNIXという考え方―その設計思想と哲学作者: Mike Gancarz,芳尾桂出版社/メーカー: オーム社発売日: 2001/02メディア: 単行本購入: 18人 クリック: 222回この商品を含むブログ (111件) を見る関連Unix思想こちらは出典が異なります。The Art o
Linux/FreeBSDターミナルアプリケーション8つ
Linux, Open Source, Gadgets, and all things Digital - TechSource ターミナルアプリケーションはGUI環境のLinuxやFreeBSDを使う上で欠かせない。大抵の場合、ディストリビューションが提供しているデフォルトのターミナルアプリを使っているだろう。GNOMEベースであればGNOMEターミナル、KDEベースであればKonsole、XFce4ベースならXFce4ターミナルといった具合だ。 しかし、実際にはより多くのターミナルアプリケーションが存在する。ターミナルの出来はそのまま作業効率に影響してくるため、自分の肌に合ったものや、より効率のいいターミナルアプリを使うようにしたい。8 Best Linux Terminal Emulators You May Have Never Heard Of - TechSourceにおいてデ
dstatの万能感がハンパない - （ひ）メモ
サーバーのリソースを見るにはグラフ化は重要ですが、推移ではなくリアルタイムな状況、例えば秒単位のスパイキーな負荷を見るには、サーバー上でvmstatやiostatなどの*statファミリーを叩く必要があります。 さて、vmstatはメモリの状況やブロック数単位のI/O状況は見られますが、バイト単位のI/O状況やネットワークの送信、受信バイト数を見ることはできません。 # vmstat 1 procs -----------memory---------- ---swap--- -----io----- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 3 1 0 4724956 355452 726532 0 0 54 484 3 3 1 0 99 0 0 2 0 0 47
テキストファイルを処理するときのUnixコマンドまとめ - nokunoの日記
個人的にテキストファイルを処理することが多いのですが，簡単な処理ならUnixのコマンドをパイプとリダイレクトで組み合わせてできることが多くあります．今回はそんななかでもちょっとマニアックなTIPSをまとめてみました． sortコマンドでタブ区切りのファイルを指定する最近知って驚愕したのがこれ．sortコマンドでタブ区切りのファイルを指定したいときは，Ctrl+v Tabでタブ文字を入力していたのですが，$ sort -t $'\t' -k 2,2 のようにしてタブ区切りで2番目のキーでソートすることができます． 1000行おきにデータをサンプリングする1000行おきにファイルからデータをサンプリングしたいときとかは，perlでワンライナーを書くのが速いようです．$ perl -ne '$i++; print unless ($i % 1000)' 某所のコードゴルフによるとこれだけ短くでき
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.brendangregg.com/Perf/linux_observability_tools.png
vmstat コマンドの読み方 (やっぱり Sun がスキ！)
