バックアップの圧縮形式を変更して CPU 使用率を改善する - Pepabo Tech Portal
はじめまして。技術部プラットフォームグループの sugy です。 私は主に弊社で運用しているカラーミーショップというサービスのインフラ周りの担当をしています。 本記事では、カラーミーショップのバックアップサーバでデータ圧縮形式を変更して CPU 使用率を改善した話を書きます。 経緯 カラーミーショップではサービス利用者の方々の大切なデータをお預かりしているのですが、システムの可用性の確保のためにそれらのデータのバックアップを行っています。しかし、しばらくバックアップサーバの CPU 使用率が高い状態が継続していました。この状態が更に進むとバックアップ処理が完了する前に次のバックアップ処理が開始されてしまい慢性的なリソース不足になる懸念がありました。 バックアップデータは各サービス提供用サーバから、バックアップ用サーバにデータを同期した後、アーカイブ・圧縮して AWS S3 に転送・保管する
Linuxコマンドを用いたボトルネック調査 – 「クラウド時代だから必要なITインフラ基礎知識」(3) | さくらのナレッジ
CPU、もしくはストレージがボトルネックになっている場合、vmstatコマンドを用いて切り分けを行います。 [root@test ~]# vmstat 1 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 271328 110320 59792 392132 0 0 1 165 0 5 1 0 88 11 0 0 0 271328 110304 59792 392132 0 0 0 16 101 175 1 0 99 0 0 0 0 271328 110304 59792 392132 0 0 0 436 154 276 0 0 98 2 0 右から3番目の
処理が遅い場合の調査
処理が遅い場合, 問題が, ディスク I/O, CPU能力, ネットワ−ク, メモリ不足, NFS 等のうちどこにあるかが問題になる.(いや,他にもありうるけど) ディスク I/O や ネットワ−クが問題になることが多いと思う. ネットワ−ク関連では, hosts ファイル や DNS に無登録のマシンだったり, NIS 参照に問題が出ていたり, また, 自分自身でなく NFS サ−バが遅いのが原因の例もあった. 機材の故障やケ−ブル不良で, ネットワ−クに大量のエラ−がでているのが 原因のことも多い. 複数の DNS サ−バを参照しているばあい, DNS サ−バの参照順が適切か考え直してみる. 使用する tool vmstat, free, top, netstat,tcpdump 等は普通に使えると思う. 負荷のモニタは procmeter が気に入っている. ネットワ−クの状況は I
LinuxでCPUの温度やファンの回転数といったハードウェア情報のログ出力したい
sensors nouveau-pci-0200 Adapter: PCI adapter fan1: 1080 RPM temp1: +33.0°C (high = +95.0°C, hyst = +3.0°C) (crit = +105.0°C, hyst = +5.0°C) (emerg = +135.0°C, hyst = +5.0°C) coretemp-isa-0000 Adapter: ISA adapter Physical id 0: +44.0°C (high = +79.0°C, crit = +89.0°C) Core 0: +41.0°C (high = +79.0°C, crit = +89.0°C) Core 1: +34.0°C (high = +79.0°C, crit = +89.0°C) Core 2: +44.0°C (high = +79.0°C,
「top」は時代遅れ！？これからは「htop」を使おう！
Linuxのプロセスビューワといえばtopですよね。でも、もっと高機能な「htop」というプロセスビューワがあるんです。topと同じように端末ウィンドウやコンソールで動きますが、ずっと高機能ですよ。主な特徴は以下の通りです。 CPU負荷やメモリ・スワップ使用率がグラフ表示される上下左右にスクロールしてすべて表示できるカラフルな文字で見やすく表示される配色や表示項目などをカスタマイズできるカスタマイズした内容を保存できるキーボードだけじゃなくマウスでも操作できる htopのインストールでは、htopをインストールしましょう。以下に、主なディストリビューションごとの手順を紹介します。 Ubuntu 16.04、Debian 9の場合は、以下のコマンドでインストールできます。 sudo apt -y install htopFedora 26の場合、以下のコマンドでインストールできます。 sud
sar(sysstat)によるボトルネック特定 - Qiita
sar(sysstat)とは LoadAverageやCPU使用率、ディスクI/Oの状態を表示できるコマンド。 何より便利なのは、過去にさかのぼれる点。 sarのインストール
sarでLinuxサーバのシステムモニタリングを行う方法 | なおべりーのブログ
sarコマンドを使うことで、LinuxサーバのCPUやメモリ、DISK IOなどの様々な情報のモニタリングが可能です。 サーバを運用する上で、モニタリングは非常に重要です。 車にはスピードやガソリン残量、モーターの回転数などの情報が見れるようになっているため、スピード違反やガス欠になるのを事前に防ぐことが可能です。 サーバについても、CPUやメモリ、DISK IOなどの情報を取得することで、異常の事前検知や、問題発生時の原因調査などが円滑におこなうことができるようになります。 今回は、sarコマンドを利用して統計情報を取得する方法を紹介します。 sarコマンドとは sarとは、sysstatパッケージに含まれている、システムの統計情報を取得するコマンドです。名前は、System Admin Reporterの頭文字をとったものになります。 大きな特徴としては、過去にさかのぼって情報が見れる
Linuxで手軽にCPU負荷をかける方法をまとめてみた
ども。あいしんくいっと（@ithinkitnet）です。 仕事柄、検証などでLinuxにCPU負荷をかけたいシチュエーションに遭遇することがあります。 そんな時はどうすれば良いのでしょうか？ 今回は「Linuxで手軽にCPU負荷をかける方法」について調べてみたいと思います。 CPU負荷を手軽にかける方法 一般的に知られている「stress」といったツールを使って・・・、といった方法ではなく、Linux標準コマンドで出来る方法が良いんですよね。 本番環境とかだと気軽ツールとかインストール出来ないので。 なので、なるべく環境には手を加えない方法で調べてみました。 yesコマンドを使う yesコマンドはOS標準で入っているビルトインコマンドです。 このyesコマンドを連打することによってCPU負荷をかける方法になります。
LinuxでCPU使用率を上げるコマンド - ablog
いいものを見つけたのでコピペ。 yes >> /dev/null & 最後に & お勧め ｗ（二つターミナルが必要でなくなる。） ちなみに メモリ負荷をあげる魔法のコマンド /dev/null < $(yes) & LinuxでCPU負荷を上げる魔法のコマンド - Qiita ">>" は ">" でも良いと思うが、何か特別な理由があって">>"にしているのだろうか。 追記(2014/10/08): ただのメモにはてブがたくさん（当社比）ついてビックリ(^-^; コア数に対する考慮が足りない。 コア数に対する考慮が足りない。 - gomakyuのコメント / はてなブックマーク とコメントを頂いた通り、上記のコマンドを実行しても1つの論理CPUを使い切るだけです。 例えば上の図の通り、1ソケット * 4コア * 2スレッド で論理CPU数が8の場合は、ざっくり、1多重で実行すると12.5%
【初心者向け】Linuxのプロセスについて一通りわかる！
プロセスとは、Linuxで動いているプログラムのことだ。 自動的に起動しているものや、シェルからコマンドで実行されるものも含めてプロセスと呼ぶ。 このページではLinuxのプロセスについてまとめてご紹介する。Linux初心者の方は参考にしてほしい。 プロセスとは？ プロセスは実行中のプログラム プロセスとは、「実行中のプログラム」だと思えばいい。 また、一つのプログラムから複数のプロセス(プログラム)が生成されることも多くある。 Linuxの場合デスクトップ環境だと、100個以上のプロセスがあるだろう。後ほど詳しく解説するが、topコマンドなどで現状が確認できる。 プロセスの管理 プロセスが多数起動していると、当然コンピュータリソースを消費することになる。管理上「安定動作時のプロセスの数がどれくらいなのか？」を把握しておくとよいだろう。 OSは、プログラムに適切なコンピュータ資源、メモリや
[OS] OS コマンドによるボトルネック調査 - th0x4c 備忘録
目的 OS コマンドによるボトルネック調査方法をまとめる。 CPU メモリ I/O ネットワーク 環境 OS: CentOS 5.5 Kernel: 2.6.18-194.el5 x86_64 CPU サーバ全体の CPU 使用率 CPU 使用率を確認する。使用率が 100% に近くなっている(= idle が 0% に近くなっている)とボトルネック。 top top では複数の論理 CPU がある場合もサーバ全体として 1 つに集約されて出力される。 $ top top - 07:23:36 up 45 days, 17:41, 2 users, load average: 7.22, 9.43, 8.03 Tasks: 223 total, 1 running, 222 sleeping, 0 stopped, 0 zombie Cpu(s): 7.1%us, 8.0%sy, 0.0%
Linuxパフォーマンス調査などで使うコマンドメモ - Qiita
パフォーマンスなどの調査をする時に利用する便利コマンドメモ。 これないぞ、あれないぞなどあると思いますがとりあえず本などを参考にまとめたものをピックアップしています。 参考 [24時間365日] サーバ/インフラを支える技術 ‾スケーラビリティ、ハイパフォーマンス、省力運用 (WEB+DB PRESS plusシリーズ) 絵で見てわかるシステムパフォーマンスの仕組み CPU使用率やメモリなど全体の概要把握 top デフォルトでは3秒ごとにOSで利用しているプロセスの数や状態、またOS全体のシステムリソース状況が分かります。 パフォーマンスが悪い場合にOS全体としてどのリソースの利用が多いのか(CPU負荷なのかメモリ利用率が高いのか)などの判断に有用だと思われます。 top - 22:36:56 up 28 min, 2 users, load average: 0.00, 0.02, 0.
Linuxでアウトバウンド帯域幅を制限する | DevelopersIO
はじめに オンプレとAWSにまたがるシステムの場合、オンプレ側の帯域を圧迫しないようサーバからの通信に帯域制限をかけたい場合があります。 今回はLinuxの機能を利用しアウトバウンド通信の帯域を制限してみました。 Windows Serverの帯域制限についてはこちらをご覧ください。 帯域制限が無い状態 制限が無い状態でのアウトバウンド速度を計測してみましょう。 5GBのファイルをS3にアップロードしてみます。 [ec2-user@ip-10-0-0-37 ~]$ mkdir files [ec2-user@ip-10-0-0-37 ~]$ dd if=/dev/zero of=files/5GB count=5120 bs=1M > /dev/null [ec2-user@ip-10-0-0-37 ~]$ aws s3 sync files s3://qos.test --region=
単独のサーバーの「負荷」の正体を突き止める - 祈れ、そして働け ～ Ora et labora
指標を読む ロードアベレージ # uptime 15:40:33 up 357 days, 22:34, 2 users, load average: 0.19, 0.17, 0.12 コマンド uptime。load averageに続く3つの数字が過去1分間、5分間、15分間の平均値を表します。 意味 処理を実行したいが、なにかしらの要因で実行を待たされているプロセスの数を表します。したがって、ロードアベレージが高い状態とは多くのプロセスが処理を実行できずに待たされている状態、ということになります。 解釈 なにかしらの要因としては「ほかのプロセスにCPUが使われていて、空くのを待っている状態」と「ディスクに読み書き要求を発行していて、その結果を待っている状態」の二種類が考えられます。前者は「CPU使用率」、後者は「I/O待ち率」として数値化することができます。ロードアベレージを見ただけ
サーバやPCのボトルネック箇所の簡単な見分け方(Linux編)：佐野裕のサーバ管理者日記：ITpro
前回はWindowsでのサーバやPCのボトルネック箇所の簡単な見分け方をご紹介させていただきましたが、要望がありましたので今回はLinuxの場合をご紹介いたします。 4つの主要ボトルネック要素の復習です。 サーバやPCには4つの主要ボトルネック要素があります。このいずれかがボトルネックとなった場合システム全体のレスポンスが低下します。 CPU使用率 メモリ使用量 ディスクI/O TCPコネクション数 Linuxにおいてはボトルネック箇所を以下のように見分けることができます。 1. CPU使用率 CPU使用率が常に100%に近い場合はCPUがボトルネックであることが判明します。CPU使用状況を簡単に調べるには3つの方法があります。「top」「w」「vmstat」コマンドを使う方法です。 -----------------------------------------------------
[Linux] top コマンドをインタラクティブに操作する | バシャログ。
ここ最近なぜか H2 を読み直してしまっている nakamura です。くそと親父は一緒に出ませんよっと。 サーバのリソース状況を確認する際のド定番ツールといば top コマンドですが、意外と知られていない気がするインタラクティブに出力内容を操作する方法を今日はご紹介します。多機能すぎて僕も全ては把握していませんが最低限おぼえておくとちょっと効率よいですよ～。 デフォルト表示 デフォルトの表示は以下のような感じで、CPU 使用率の降順、表示されるプロセス数は無制限、3 秒に 1 回リロードされます。 ではでは以下、実際の操作例です。 ソート対象のフィールドを変える 方法は 2 つあります。 F or O 大文字の F もしくは O を入力すると以下のような表示に切り替わり、ソート対象のフィールドを選択する事ができます。 デフォルト状態なので CPU 使用率である K にチェックがついていま
![[Linux] top コマンドをインタラクティブに操作する | バシャログ。](https://cdn-ak-scissors.b.st-hatena.com/image/square/20c0b0df62783283e7ba333774006e31f6235c74/height=288;version=1;width=512/https%3A%2F%2Fbashalog.c-brains.jp%2Fimages%2Fdb01.jpg)
知っておくと役立つかもしれないLinuxコマンド(サーバ確認関係）
こんばんは、牧野です。 一時期また夜型になってしまっていたのですが、最近はまた朝型生活、というよりも早朝型生活になりました。 仕事の方はというとsymfony案件は一段落して、今はオリジナルのフレームワーク、ライブラリでプログラムを作ったり、javascriptのプログラムを1から書いたりと、マイペースでやっています。 さて、今日も軽めなネタで、知っているといざという時に役立つ、かもしれないLinuxのコマンドです。 サーバ構築や緊急対応などでサーバを触る場合は使う機会があると思います。 ■サーバのOS情報を確認
サーバが重い時の負荷の正体を突き止める
WEB+DB PRESS Vol.65｜gihyo.jp … 技術評論社. WEB+DB PRESS の特集１「WEBエンジニアが知るべきインフラの基礎知識」が非常にまとまってて良かった。 闇雲にtopコマンドとかネットで調べながら調査してたので今後のためにもメモ。 ロードアベレージ(忙しさの度合い) uptimeコマンドを使って見る。 [root@suusuke ~]# uptime 22:27:30 up 202 days, 18:48, 1 user, load average: 0.07, 0.15, 0.08 0.07という数字は処理を実行したいが、何かしらの処理で実行できなくて待たされている状態のプロセス数 何かしらの要因とは？ 他のプロセスにCPUが使われていて、空くのを待っている状態（CPU使用率） ディスクに読み書き要求を発行してその結果を待っている状態（I/O待ち率）
Linuxサーバの反応が遅い(重い)場合の原因の調査手順
概要 Linuxサーバの反応が遅い場合の調査手順のメモ。 実行する場合は自己責任でお願いします。 原因として考慮すべき事項 サーバが遅い場合には様々な原因がありますが、以下を考慮します。 CPU負荷 メモリ不足 ディスクI/O負荷 ネットワークI/O負荷 まず、どれが原因か調査する必要があります。 top コマンド 最初は「top」コマンドを利用します。 top - xx:xx:xx up 0 min, 1 user, load average: 1.44, 0.51, 0.18 Tasks: 87 total, 1 running, 86 sleeping, 0 stopped, 0 zombie Cpu(s): 0.7%us, 0.3%sy, 0.0%ni, 99.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Mem: 2057692k total, 291
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
宁波逼拘旅行社
