Linuxサーバのディスク容量減少アラートが飛んできた！ってときにどう対処するか - たごもりすメモ
完全に このエントリ のネタパクりです。すいません。 何に使われてるかわかったもんじゃないマシンとか開発用サーバとかだと超巨大なバイナリとか置いてあるかもしれませんが、プロダクション用のサーバでそういうことは無いとしましょう。 その場合、原因はだいたい以下のどれかです。www/appとdbが別マシンに分かれてる場合は更に絞り込めますね。 wwwサーバやappサーバ ログ 圧縮してあるが保存世代数が多くて厳しいケース 圧縮し忘れてるケース 圧縮どころかローテーションすら忘れてて1ファイルどかんと存在するケース ローテーションがうまくいかなくて deleted ファイルなケース tmpデータなど(app) キャッシュサーバのディスクキャッシュ dbサーバ データ実体 (ib_data) バイナリログ ログの場合でも、ディスク上のどこにログが書かれてるかは色々なパターンがある可能性がありますね。
ウェブオペレーションしてる人はiPhoneかiPadを持って回線のある場所さえ確保できれば、緊急対応はPromptというアプリがあればいつでもイケる - さよならインターネット
ちょっと前までは - Macbook Air 13inch - モバイルルーター(WiMAX) - モバイルブースター の３つを持ち歩いていましたが 最近はテザリング解禁されたので - iPhone5 - iPad mini - 外付けBluetoothキーボード おすすめのBluetoothキーボードはこれ。打撃感がしっかりしてて蓄電池なので良い ELECOM 極薄Bluetooth ワイヤレスキーボード ブラック TK-FBP030BK この3つのアイテムとDP2を持ってブラブラしています。 iPad mini最高です。 で、ターミナルは色々アプリがあると思うんですけど個人的におすすめするのは Prompt カテゴリ: ユーティリティ 価格: ￥700 「Prompt」です。SEO対策とか一切ない感じが渋いですね。 http://panic.com/jp/prompt/ 障害の起こった
Mysqlでログ系テーブルを運用するときやっておきたいこと - 主夫ときどきプログラマ
SNSやソーシャルゲーム、アドネットワークなどのシステムではいろいろなログ情報をDBに保存することもあると思います。 そのさい、日々増えつづけるデータやパフォーマンスをどの様にさばいていくかが重要になってきます。 今回はログ系のデータをMysqlでどのように運用していくか、をテーマにいくつかのノウハウをまとめました。 ログ系テーブルの特徴 ログ系のデータとは、つまり何かのアクションの履歴データのことです。 一般的にはこのような形になるかと思います。 CREATE TABLE `t_logs` ( `id` bigint(20) unsigned NOT NULL, `user_id` int(10) unsigned NOT NULL DEFAULT '0', `event_id` int(10) unsigned NOT NULL DEFAULT '0', `created` datet
ほげめも: etckeeper で多数のホストの /etc を集約・共有する
etckeeper で多数のホストの /etc を集約・共有する etckeeper を使うと /etc の内容と変更履歴を git などのバージョン管理システム (VCS) で手軽に管理できますが、素の etckeeper には /etc の変更をローカルのリポジトリにコミットする機能しかなく、git のような分散 VCS の特徴を生かすことができません。 しかしながら etckeeper と git の組み合わせで、リモートリポジトリとブランチをうまく設定し一工夫を加えることで、多数のホストの /etc の変更をひとつのリポジトリに集約し共有することが簡単にできるようになります。 準備 まずは etckeepr を git で動かしてください。 Debian squeeze では apt-get install etckeeper とするだけで git と etckeeper がインス
ファイル/ディレクトリの変更を検知してコマンドを実行するincron - Glide Note
incron :: inotify cron system webistranoでファイルをデプロイして、設定の再読み込みやサービス再起動などが必要な際に、 デプロイユーザがsudoでreloadやらrestartなどを実行しているのが、 権限的に何となく気になって、ファイルの更新を検知して 自動的にreloadやrestartする方法を模索していたら incronという良い物があったので検証。 検証環境はScientific Linux 6.2です。 実現したいこと デプロイユーザとサービス再起動ユーザの分離(sudo権限の剥奪) Nagiosの設定ファイルをデプロイしたら、Nagiosのreloadが自動でかかる Passengerのrestart.txt的な感じでreload.txtがトリガーでNagiosのreload的な incronの導入 incronをyumで導入
ローカルディスクの容量が無いけどtarアーカイブを作りたい時に - 256bitの殺人メニュー
このディスクの/usr/local以下バックアップしたいんだけど、もうローカルディスクの容量が無い。 てか、ローカルディスクの容量が無いから移したいんだよ！って言う卵が先か鶏が先か理論の時の話。 tarアーカイブを直接標準出力してnetcatでリモートホストで保存する方法。 こういうのも書いといたほうが誰かの役に立つであろうとメモ書き！ netcatとは ファイルの内容を標準出力させたり、パイプ経由してファイル書きだしたりするのに使うcatコマンドがありますが、それをTCP,UDP経由で行えるようにするコマンドがnetcat(nc)です。 netcat 待ち受け側（リモートホスト） $ nc -l 12345 > /tmp/send.tgzで12345ポートで待ち受け。 ここに送信されてきたデータを/tmp/send.tgzへリダイレクトする。 netcat 送信側（ローカルホスト） $
ウノウラボ Unoh Labs: プロセスの監視を行う デーモン monit
こんにちは satoです。 monitは プロセスの監視を行うデーモンです。 条件とそれに伴うアクションを指定することができます。 条件とは例えば以下のようなものがあります プロセスが起動していなかったら 特定のプロセスのメモリの使用量が あるサイズを超えたら 特定のプロセスのCPUの使用率が 50%を超えている状態が 10分続いたら 特定のポートに接続できなくなったら など アクションには以下のような物があります 起動、再起動する アラートメールを送信する ユーザスクリプトを実行する など これらを組み合わせて、プロセスの監視を行います。とくにユーザが作成したプログラムの監視などに効果を発揮します。インストールは RedHat系なら yum install monit で入ります。(CentOSや商用のRedHatはrpmforgeをリポジトリとして追加する必要があります) 主な設定ファ
MySQLのserver-idの振り方 - blog.nomadscafe.jp
たくさんのMySQLサーバを運用している際に、一意なserver-idを生成するルールを作っておくと急な負荷上昇でslaveサーバを追加しないと行けなくなった時に、masterや他のslaveのserver-idを調べてユニークなidを考える手間を減らす事ができます。 自分はプライベートIPアドレスの第三オクテットと、第四オクテットを使い server-id = 第三オクテット*256 + 第四オクテット としています。192.168.67.135 なら server-id = 67*256 + 135 = 17287 です。/16 以下のネットワークならIDが被る心配ありません。セットアップツールなどで自動でmy.cnfに入れてしまうこともできると思います。 もし /16 ネットワークよりも大きなネットワークなら第一、第二オクテットも計算に含めればいいんじゃないでしょうか。server-
負荷分散システム運用のコツ - KLablabWiki
はじめに この章ではロードバランサそのものからはちょっと離れて、筆者らが手がけている負荷分散システムで実践している運用の工夫やコツをいくつか紹介したいと思います。 文中で『DSAS』という言葉が出てきますが、これは筆者らが設計・構築・運用しているコンテンツサービス用のネットワーク・サーバインフラの名称です。『DSAS』については筆者らのブログなど[1]でも紹介していますが、その特徴のうちで、本誌の読者の方に興味を持ってもらえそうな点を列挙してみます。 ロードバランサやストレージサーバなども含めて、ほぼ全てLinuxベースで構築している。 下まわり（物理配線など）からアプリケーションレイヤに至るまで、各所で多重化しているので障害に強い。 スケーラビリティも考慮して設計している。 『DSAS』の構成についてはまた機会があれば詳しく紹介したいと思いますので、本章では日頃の運用に関するノウハウを
%25A5%25B3%25A5%25DE%25A5%25F3%25A5%25C9.html)
sysstat(sar)コマンド
アザラシ画像押下でトップページに遷移するよ! カテゴリトップ に戻るよ(＾▽＾) 2011-01-29 trace(strace,ltrace)コマンド dstatコマンド 統計情報取得コマンド関連 2011-01-23 圧縮、展開操作 2010-11-25 RecentDeleted 2010-11-12 bashシェルスクリプト 2010-09-08 便利コマンドラインTIPS1 2010-08-02 ファイルシステム UNIX共通 2010-07-24 dateコマンド 2010-06-13 フォントについて 2010-04-14 sysstat(sar)コマンド 2010-03-30 nkf,kccコマンド 2010-03-28 パーティション変更 2010-03-17 正規表現 2010-02-24 パーミッション psコマンド screenコマンド 環境設定TIPS ターミナル
リモートホストとdiffる - （ひ）メモ
bashの「Process Substitution」という機能で、コマンドの実行結果を名前つきパイプから読めます。(thx かつみくん) $ cat -n <(date; echo foo) 1 Wed Jan 18 21:38:30 JST 2006 2 fooこれを使って、リモートホストのファイルとdiffを取るシェル関数を作ってみました。 こんな感じで使えます。 $ rdiff -u ~/s.txt REMOTE_HOST:~/d.txtまた-Rオプションで、rsyncの-R, --relativeオプションの様にローカルホストのパスをリモートホストの相対パスとして指定できます。たとえば、ローカルホストの/very/very/long/path/t.txtとリモートホストの同じパスのファイルをdiffるときには次のようにしてリモートホスト側のパス指定を略記することができます。 $
ソーシャルアプリ向けシステム監視運用の勘所
Tatsuro Hisamori from DeNA Co., Ltd. discusses mbga OpenPlatform and summarizes techniques for optimizing database and application performance including using tcpdump, Wireshark, and mk-query-digest to analyze SQL queries and network traffic. He also provides examples of optimizing resources and response times by distributing applications across virtual machines and monitoring CPU usage, database
OSインストール自動化あれこれ(Cobbler, Koan)
OSインストール自動化あれこれ(Cobbler, Koan) - Presentation Transcript OSインストール自動化あれこれ （ Cobbler , Koan ） tn m t (s @ tn m t.in fo ) 自己紹介 ▸ 常松 伸哉 (id: tnmt) ▸ Blog: http://blog.tnmt.info ▸ paperboy&co. サーバー管理チーム ▸ 趣味: 楽器(Sax) ▸ 最近ランニング始めました ● 暑くて早くもバテ気味です 突然ですがこう頼まれたら… ▸ 物理マシンへのOSインストールやっておい てー。100台。 ▸ anacondaインストーラ使って一台一台インストール？ ▸ PXEブート？キックスタートファイル100個準備？ Cobblerでどうぞ ▸ Cobbler ▸ OSインストールに関する情報や、インストールに必要なデー
Kazuho@Cybozu Labs: 監視とは継続的なテストである、という話 (もしくは cronlog とテストスクリプトを組み合わせた監視手法について)
結論から先に。cronlog を使えば、アプリケーションのテストコードと全く同じ形式で、監視用のスクリプトを書くことができます。プログラマが監視ツールの記法を覚える必要はありません。これは、プログラマが運用も行うケースでは特に有効な手法だと思います。 先週公開した Kazuho@Cybozu Labs: crontab を使って効率的にサービス監視する方法 というエントリで、crontab と拙作の cronlog を用いてサービス監視を書く手法を紹介しました。しかし、挙げた例はいずれも ping や http のテストといった外形監視の手法です。RDBMS とウェブアプリケーションのみから構成されるサービスならそれだけで十分でしょう。 しかし、外形監視だけでは、メッセージキューのような非同期処理の遅延を観測することはできません。また、http のログを監視して、エラーレスポンスや平均応答
Disk I/Oの使用率を監視するワンライナー - kazuhoのメモ置き場
iostat -x の %util を監視してしきい値を超えたらアラートメール飛ばしたいなぁと思って crontab 書いた。こんな感じ。 */5 * * * * perl -wle 'my $s = `/usr/bin/iostat -xk /dev/sd[abc] 270 2 | tail -4`; print $s if $s =~ m{\s(?:[0-9]{3}|[5-9][0-9])\.[0-9]+$}m'ポイントは、 iostat の後ろから２つ目の引数がサンプリングを行う秒数 tail で デバイス数+1 することで、最後のサンプルを取り出す 正規表現で50%以上だった場合に標準出力に iostat の結果を出す＝メール送信
CloudForecastでmemcachedのコネクション数をモニタリング - blog.nomadscafe.jp
先週のmixiの大規模な障害は、memcachedに対する接続が非常に多いところから発生したようなので、CloudForecastでその接続数をモニタリングできるようにしてみました。 （mixiではたぶんおそらくmemcachedは専用のサーバとなっているので、通常のTCP Established数がそのんままコネクション数になるはず） グラフは以下のように出力されます 赤いラインが起動時に指定した -c の値。 ところで、このmemcachedの起動オプションを取得する方法は今までないものだと思っていたのですが、memcached 1.4以降なら「stats settings」というコマンドで取得できるようです。 % telnet localhost 11211 Trying ::1... Connected to localhost. Escape character is '^]'.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Monitoring Casual #3
「AWSを活用して少人数で複数のサービスを運用するコツ」〜jawsug in nagoya〜
1台から500台までのMySQL運用(YAPC::Asia編)
省サーバ運用