バックアップの圧縮形式を変更して CPU 使用率を改善する - Pepabo Tech Portal
はじめまして。技術部プラットフォームグループの sugy です。 私は主に弊社で運用しているカラーミーショップというサービスのインフラ周りの担当をしています。 本記事では、カラーミーショップのバックアップサーバでデータ圧縮形式を変更して CPU 使用率を改善した話を書きます。 経緯 カラーミーショップではサービス利用者の方々の大切なデータをお預かりしているのですが、システムの可用性の確保のためにそれらのデータのバックアップを行っています。しかし、しばらくバックアップサーバの CPU 使用率が高い状態が継続していました。この状態が更に進むとバックアップ処理が完了する前に次のバックアップ処理が開始されてしまい慢性的なリソース不足になる懸念がありました。 バックアップデータは各サービス提供用サーバから、バックアップ用サーバにデータを同期した後、アーカイブ・圧縮して AWS S3 に転送・保管する
15分で理解するApacheのログローテート | 俺の技術メモ
Apacheのaccess_logはすぐ大きくなりますよね。 ログファイルのサイズが大きくなれば、ログ解析のときにも困るし、運用に支障が出ます。 というわけで、今回はApacheのaccess_logのログローテートテクニックについて、具体例を交えながら解説してみようと思います。 ローテートの方法として以下３つの手法を考えてみます。 cronとシェルスクリプトの合わせ技で頑張る Apacheのに搭載されている機能を使う logrotate.dに頼る 具体的な手順・解説は以下のとおり。 その１：cronとシェルスクリプトの合わせ技 以下のようなスクリプトを作成し、cronに仕込んでみます。 #!/bin/sh HIDUKE='date +%y%m%d' cd /usr/local/apache2/logs mv access_log access_log.$HIDUKE ../bin/apa
EC2起動後に、後からできること・できないこと - 続 カッコの付け方
EC2はインスタンス起動時に色々聞かれます。一度起動した後に変更できるもの、出来ないものをまとめてみました。間違いも有るかもしれませんので、そのつもりで。気づいたら直していきます。 Target RunningでOK StoppedでOK メモ AMI No No AMI変えるなら、もちろん作り直し Instance Type No Yes AMIが pvかhvn で移行可能な対象が変わります VPC No No Subnet No No Auto-assign Public IP No No こんな時はEIP使いましょう IAM Role Yes Yes 出来そうで出来ないその1 Dummyで良いので仕込んでおきましょう。2017/04/07現在で対応可能に！ Shutdown behavior Yes Yes 即時反映可能 termination protection Yes Yes
サーバやPCのボトルネック箇所の簡単な見分け方(Linux編)：佐野裕のサーバ管理者日記：ITpro
前回はWindowsでのサーバやPCのボトルネック箇所の簡単な見分け方をご紹介させていただきましたが、要望がありましたので今回はLinuxの場合をご紹介いたします。 4つの主要ボトルネック要素の復習です。 サーバやPCには4つの主要ボトルネック要素があります。このいずれかがボトルネックとなった場合システム全体のレスポンスが低下します。 CPU使用率 メモリ使用量 ディスクI/O TCPコネクション数 Linuxにおいてはボトルネック箇所を以下のように見分けることができます。 1. CPU使用率 CPU使用率が常に100%に近い場合はCPUがボトルネックであることが判明します。CPU使用状況を簡単に調べるには3つの方法があります。「top」「w」「vmstat」コマンドを使う方法です。 -----------------------------------------------------
カジュアルに MySQL を監視する方法 | Carpe Diem
このエントリーは、MySQL Casual Advent Calendar 2011 – MySQL Casual の第 19 日目のエントリーです。 皆さんこんにちは、n0ts こと、Naoya Nakazawa です。 今日は、みなさん日頃からカジュアルに MySQL を運用して、日々生活されていることと思います。MySQL は、非常に安定したオープンソースソフトウェアだと思いますが、どんなものでもときにはおかしくなったりするものです。 「備えあれば憂いなし」ということで、僕は日頃から Nagios というオープンソースソフトウェアを利用して、MySQL がおかしくなっていかいか日々カジュアルに監視しています。 今日は、カジュアルに MySQL を Nagios を使って監視する方法を紹介したいと思います。なお、今回は CentOS 5.7 x86_64 というカジュアルな Linux
アプリエンジニア向け：「サーバがなんか重い」時にすること - Qiita
アプリケーションエンジニアの人には「なんか重い」という状況に遭遇したらインフラの人にタスクを投げる、という人もいるかも知れません。けど、その重さのどこに原因があるのか。CPUか、ネットワークか、IOかくらいの診断はできた方がアプリ開発においても有益です。 「せっかくつくったシステムがなんか重い」 そんな時にアプリケーションエンジニアとしてできることを書きます。 本職のインフラの人にはぬるい内容だと思います。何を隠そう僕自身がアプリ寄りの人間なので、突っ込んだ話はできないのです。あしからずご了承ください。 なんかサーバが重いなー まずはロードアベレージを調べる サーバが重いと思ったら、まず真っ先にすべきことは対象ホストにSSH接続してロードアベレージを調べることでしょう。ロードアベレージとは 実行されずに待たされているプロセスの数 のことで、多すぎるとやばいと認識しておきましょう。ロードアベ
Amazon EC2(Linux)システム管理で知らないとハマる5つの環境設定 | DevelopersIO
ども、大瀧です。みなさん、EC2をバリバリ使ってますか?使いたいときにすぐ使える仮想マシンとして、開発・検証から本番まで幅広く活用されていると思います。 日頃EC2を業務で運用する中で、EC2インスタンスをコピーすると意図しない環境設定に変わってしまうというトラブルが度々あり、cloud-initというツールに拠ることがわかってきました。 「EC2インスタンスのコピーなんて、一旦インスタンスを作成したあとはあまりやらないのでは?」と思われがちですが、EC2独特の制限などもあり、実際の運用では思ったよりも頻繁にインスタンスのコピーが必要になります。インスタンスのバックアップ&リストアなどはイメージしやすいと思いますが、それ以外にも意外なケースとして以下があります *1。インスタンスのコピーは、AMI(Amazon Machine Image:インスタンスのバックアップ)を取得し、新規インスタ
sarによるボトルネック発見の手順(というかsysstatの使用法)をまとめてみた - end0tknr's kipple - web写経開発
sar で収集したリソース使用情報が sadf コマンドで TSV として出力 (2014/8/6追記) sar で収集したリソース使用情報が sadf コマンドで TSV として出力できる - 宮川拓の日記 ↑全く知りませんでした 私がよく利用するoption (2013/8/6追記. よく忘れるので) $ sar -r -s 00:00:00 -e 01:00:00 -f /var/log/sa/sa03 ｵﾌﾟｼｮﾝ 内容 例 -q load average $ sar -q -u cpu使用率 $ sar -u -b I/O回数とﾃﾞｰﾀ量 $ sar -b -r ﾒﾓﾘとｽﾜｯﾌﾟ使用率 $ sar -r -s 開始時間 $ sar -s 00:00:00 -e 終了時間 $ sar -e 03:00:00 -f 日付 ※ $ sar -f /var/log/sa/sa03 ※「
Proxyサーバの設定（squid）：tech.ckme.co.jp
目次 >> プロキシーサーバ プロキシサーバの設定 ここでは、Squidを使用したプロキシサーバの構築方法を示す。 Squidのインストール ここでは、コマンドラインからのインストール方法について解説する。GUI環境があるのであればそちらの方が簡単にできる。 Ubuntu では、apt-getで行う。 $ sudo apt-get install squid Reading package lists... Done Building dependency tree Reading state information... Done The following extra packages will be installed: squid-common squid-langpack Suggested packages: squidclient squid-cgi logcheck-dat
crontabがどうしても動かないときに確認すべき3つの点+α - ドキッ！はてなブログに移転しました！
とりあえずここではCentOS5.3に標準で入ってたcronでの話ということで crondは動いているか 実行ファイルの権限は正しいか cronのログを確認すべし ということで crondは動いていますか？ # /etc/rc.d/init.d/crond status crond (pid xxx) を実行中...で動いているか確認 # chkconfig --list crond crond 0:off 1:off 2:on 3:on 4:on 5:on 6:offで2-5番までonになっていますか？ 実行ファイルの権限は正しいですか？ ls -al | grep test -rwxrwxr-x 1 hoge hoge 2615380 3月 10 01:54 test.jarで実行したいファイルの実行権限を確認してみましょう ちなみにここでは 最初のrwxはファイル所有者の権限 次のr
インフラエンジニアがSegmentation fault をなんとか治してみる - メモとかそんな感じなやつ
普段Webサーバを運用していて、めんどくさいトラブルのひとつに「Segmentation fault」があります。 あれー？なんか500エラーがでるなーなんて思ってログを見るとSegmentation faultになってるときは死にたくなります。 そもそもSegmentation faultはメモリ上にあるデータに対して不正が行われたときに起こるもので、 インフラエンジニアにとってはなかなか手がだせないところでもあります。 それでもなんとかして治さないといけないわけなので せめてどのプログラムが悪さしてるかどうかぐらいは調べ上げてみます。 apacheでのログ apache + mod_perl での環境です。 こんな感じでエラーがでます。 #tail error_log [notice] child pid 26028 exit signal Segmentation fault (11
Linuxコマンドラインで JMeter を実行する方法 | Check!Site
記事投稿者：山下 晴規 記事公開日：2013/06/16 最終更新日： （この記事は約1年以上経過しています。） JMeter を使う場合は Windows上で起動して利用してきましたが、より多くの負荷をかけたい場合は、1台のWindows端末だけではリソースが足りず、十分な負荷をかけられない事が想定されます。 JMeter では、リモートテストの仕組みがあり、この仕組みを利用すると、複数台のJMeterマシンからより多くの負荷をかける事が可能となります。 複数台のJMeterマシンを使う際には、私の場合はLinux（CentOS）になりそうなので、今回まず、JMeterをLinuxで動かしてみました。 手順概要 以下の手順で、Linux上でJMeterを動かす事にしました。 Windows端末で、テスト計画を作成 作成したテスト計画を Linux端末にコピー Linux端末にJMeter
＠IT：障害の兆候を見逃さないためのサーバ監視（1-3）
サーバの構築は難しいが、それ以上に困難なのがそれを動かし続けること、そしてトラブルに迅速に対応することだ。サーバの動作状況を監視し、障害の予兆や発生をより早く検知できる体制を整えよう。（編集局） いまは正常に動作しているシステムだとしても、さまざまな原因でトラブルが発生する可能性があります。管理者は、こうしたネットワークシステムの動作を正常に保ち続ける必要があります。LAN内に設置したファイルサーバは企業活動においてクリティカルな存在になっています。インターネットを利用するに当たって、メールやDNS、Webといったサーバはすでに必須になってきているため、サービスが止まってしまうと業務自体が停止するといっても過言ではない状況になっています。 システムに障害が起こらないように、そして万が一障害が発生してもすぐに検知し、復旧できる体制を整えておきましょう。システムを復旧する方法については前回解説
トラブルをわざと発生させサーバ問題解決能力を鍛える「Trouble-Maker」 - GIGAZINE
ほとんどのシステム管理者が経験したことがあるはずの状況は「何か悪いことが起きていて、サーバがダウンしているが、しかし何が起きているのか分からない」というシチュエーション。サーバを管理するシステムアドミニストレーターなどの立場でいると何が大変かというと、実際の製品として動かしている実環境でこのような問題が発生した場合です。 そこで役に立つのがこのオープンソースソフト「Trouble-Maker」です。 Trouble-Maker http://trouble-maker.sourceforge.net/ システム管理者の仕事を簡単にするため、多くのツールが存在していますが、未知の状況を経験している場合になんとかしてくれるわけではありません。この一連のソフトウェア群「Trouble-Maker」は既存の便利なツールとは異なり、問題を解決するのではなく、むしろ問題を引き起こします。インストールし
【Linux小技】 sshやscpをパスワードなしで利用する方法 (複数台サーバ対応スクリプト付) 「知ったかブログ」
今まで、 rootアカウントでrshを利用する方法や、 rootアカウントでtelnetを利用する方法 を紹介しましたが、今回はsshをパスワードなしで利用する方法です。 基本的にはCentOS5やCentOS4や同等のRedHat ELで確認してます(たぶん他のOSでも問題ないと思いますが・・・) sshなので、一般ユーザおよびrootでも使うことができます。 A：2台のサーバ間での設定 まず、基本です。下の図のように、server01、server02の2台が通信できる状態です。 server01、server02ともに同じユーザ名が登録されていることが必要です。(今回はkenユーザです。同じuid、gidにまでする必要はないかもしれません) (図１) +-------+ +--------| NW SW |-----+ | +-------+ | | | +----------+ +
cron で > /dev/null して椅子を投げられないための3つの方法 - 酒日記 はてな支店
(タイトルは釣りです) いい加減、>/dev/null 2>&1と書くのをやめたらどうか - DQNEO起業日記 この記事のタイトルが twitter で流れてきたのを見て、「そうだ！出力を /dev/null に捨てるなんてとんでもないよね！」と思ってよく読んだら /dev/null に間違いなく捨てる方法だったのでつい crontabに > /dev/null 書いたら椅子投げる 2012-06-13 00:01:17 via YoruFukurou とつぶやいてしまったのですが、では出力を捨てないためにはどうすればいいのか。現時点での個人的ベストプラクティスを書き留めておきます。 デフォルト : メールで送る (MAILTO) せっかく cron daemon がログを捨てないためにわざわざメールで送ってくれるのに、それを > /dev/null で踏みにじるとはひどい。 とはいえ、
実録、ほぼ無停止なMySQLのフェイルオーバ (動画もあるよ) - （ひ）メモ
レプリケーションしてるMySQLで、マスタやスレーブが障害停止した場合のリカバリプラン でも掲げたゴールである、「マスタが落ちてもぐーすか寝ていられるようにしたい」がほぼできたので、ほとんどサービスが停止することなく、フェイルオーバする様をスクリーンキャストに収めました。 埋め込みプレイヤーだと、小さくてわからないと思うので、リンク直接でみてください。 http://www.irori.org/pub/mysql-mm.mov 登場するホスト 登場するホストは2台、db901とdb902です。 最初は、db901が更新系クエリを受けるプライマリでdb900の浮動IPアドレスを持っています。 画面分割 画面は5分割しています。 左上 = 「select sysdate(),@@server_id」をdb900に対して(sleep 1しながら)延々と実行しまくりんぐ 右上 = ping -n
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
標準的なツールによるサーバーの負荷調査チャート
Av-jyo.com