バックアップの圧縮形式を変更して CPU 使用率を改善する - Pepabo Tech Portal
はじめまして。技術部プラットフォームグループの sugy です。 私は主に弊社で運用しているカラーミーショップというサービスのインフラ周りの担当をしています。 本記事では、カラーミーショップのバックアップサーバでデータ圧縮形式を変更して CPU 使用率を改善した話を書きます。 経緯 カラーミーショップではサービス利用者の方々の大切なデータをお預かりしているのですが、システムの可用性の確保のためにそれらのデータのバックアップを行っています。しかし、しばらくバックアップサーバの CPU 使用率が高い状態が継続していました。この状態が更に進むとバックアップ処理が完了する前に次のバックアップ処理が開始されてしまい慢性的なリソース不足になる懸念がありました。 バックアップデータは各サービス提供用サーバから、バックアップ用サーバにデータを同期した後、アーカイブ・圧縮して AWS S3 に転送・保管する
tarコマンドの負荷を減らしたい cstreamを使ってみた - Toconangoのブログ
今回やりたいこと tarコマンドを使って、深夜にバックアップを行っているのですが、 バックアップ中にCPU使用率が上昇しアラートが上がってしまい困っています。 これを、なんとかしたい‥ 前提として、負荷制御に関するいろいろ 負荷制御する 〜cstream以外の方法 CPU負荷とI/O負荷は違います。 今回制御したいのは、CPU負荷です。 sleepしながらゆっくり実行とかの方法もあるようです。 が、 CPU使用率を下げる目的でSleep(0)を呼び出すのは正しくない気がします。 とのこと。*1 nice(プロセスの優先度を指定するコマンド)を使う方法もありますが、 深夜に実行してるバッチの負荷を下げる目的なので、 今回の目的にはあまり効果がないかもです。 ちなみにI/O負荷を下げる目的では、 ioniceを使ったりする、らしい。*2 負荷を確認する方法いろいろ 下記の記事参考にさせていただ
Linuxコマンドを用いたボトルネック調査 – 「クラウド時代だから必要なITインフラ基礎知識」(3) | さくらのナレッジ
CPU、もしくはストレージがボトルネックになっている場合、vmstatコマンドを用いて切り分けを行います。 [root@test ~]# vmstat 1 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 271328 110320 59792 392132 0 0 1 165 0 5 1 0 88 11 0 0 0 271328 110304 59792 392132 0 0 0 16 101 175 1 0 99 0 0 0 0 271328 110304 59792 392132 0 0 0 436 154 276 0 0 98 2 0 右から3番目の
LinuxでCPUの温度やファンの回転数といったハードウェア情報のログ出力したい
sensors nouveau-pci-0200 Adapter: PCI adapter fan1: 1080 RPM temp1: +33.0°C (high = +95.0°C, hyst = +3.0°C) (crit = +105.0°C, hyst = +5.0°C) (emerg = +135.0°C, hyst = +5.0°C) coretemp-isa-0000 Adapter: ISA adapter Physical id 0: +44.0°C (high = +79.0°C, crit = +89.0°C) Core 0: +41.0°C (high = +79.0°C, crit = +89.0°C) Core 1: +34.0°C (high = +79.0°C, crit = +89.0°C) Core 2: +44.0°C (high = +79.0°C,
「top」は時代遅れ！？これからは「htop」を使おう！
Linuxのプロセスビューワといえばtopですよね。でも、もっと高機能な「htop」というプロセスビューワがあるんです。topと同じように端末ウィンドウやコンソールで動きますが、ずっと高機能ですよ。主な特徴は以下の通りです。 CPU負荷やメモリ・スワップ使用率がグラフ表示される上下左右にスクロールしてすべて表示できるカラフルな文字で見やすく表示される配色や表示項目などをカスタマイズできるカスタマイズした内容を保存できるキーボードだけじゃなくマウスでも操作できる htopのインストールでは、htopをインストールしましょう。以下に、主なディストリビューションごとの手順を紹介します。 Ubuntu 16.04、Debian 9の場合は、以下のコマンドでインストールできます。 sudo apt -y install htopFedora 26の場合、以下のコマンドでインストールできます。 sud
sarコマンドの使用方法 - インフラエンジニアXの備忘
あるシステムの負荷を確認したいとき、cactiなどがあれば視覚的に負荷を確認できて １週間くらいであれば、遡っての確認が可能なので便利です。 がッしかし、外部のVPSにのせているようなサービスの場合は、 負荷ツールなどを用意するのがめんどくさい場合がある。 でそれをコマンドレベルで確認することもできるのがsarコマンド 無論、現在の負荷をロードアベレージ、CPU、MEM、スワップなどに分けて確認することもできるし 便利だわー。今回はさくらのVPS上で動作しているCentOS6で確認。 どうやらさくらインターネットのVPSイメージにはデフォルトで入っていた。 ない場合はyumコマンドでインストールすればOK。 # yum install -y sysstat で基本的な利用方法は sar -オプション 監視間隔 監視回数 # sar -q 1 3600 →ロードアベレージを１秒間おきに１時
sar(sysstat)によるボトルネック特定 - Qiita
sar(sysstat)とは LoadAverageやCPU使用率、ディスクI/Oの状態を表示できるコマンド。 何より便利なのは、過去にさかのぼれる点。 sarのインストール
sarでLinuxサーバのシステムモニタリングを行う方法 | なおべりーのブログ
sarコマンドを使うことで、LinuxサーバのCPUやメモリ、DISK IOなどの様々な情報のモニタリングが可能です。 サーバを運用する上で、モニタリングは非常に重要です。 車にはスピードやガソリン残量、モーターの回転数などの情報が見れるようになっているため、スピード違反やガス欠になるのを事前に防ぐことが可能です。 サーバについても、CPUやメモリ、DISK IOなどの情報を取得することで、異常の事前検知や、問題発生時の原因調査などが円滑におこなうことができるようになります。 今回は、sarコマンドを利用して統計情報を取得する方法を紹介します。 sarコマンドとは sarとは、sysstatパッケージに含まれている、システムの統計情報を取得するコマンドです。名前は、System Admin Reporterの頭文字をとったものになります。 大きな特徴としては、過去にさかのぼって情報が見れる
Linuxで手軽にCPU負荷をかける方法をまとめてみた
ども。あいしんくいっと（@ithinkitnet）です。 仕事柄、検証などでLinuxにCPU負荷をかけたいシチュエーションに遭遇することがあります。 そんな時はどうすれば良いのでしょうか？ 今回は「Linuxで手軽にCPU負荷をかける方法」について調べてみたいと思います。 CPU負荷を手軽にかける方法 一般的に知られている「stress」といったツールを使って・・・、といった方法ではなく、Linux標準コマンドで出来る方法が良いんですよね。 本番環境とかだと気軽ツールとかインストール出来ないので。 なので、なるべく環境には手を加えない方法で調べてみました。 yesコマンドを使う yesコマンドはOS標準で入っているビルトインコマンドです。 このyesコマンドを連打することによってCPU負荷をかける方法になります。
LinuxでCPU使用率を上げるコマンド - ablog
いいものを見つけたのでコピペ。 yes >> /dev/null & 最後に & お勧め ｗ（二つターミナルが必要でなくなる。） ちなみに メモリ負荷をあげる魔法のコマンド /dev/null < $(yes) & LinuxでCPU負荷を上げる魔法のコマンド - Qiita ">>" は ">" でも良いと思うが、何か特別な理由があって">>"にしているのだろうか。 追記(2014/10/08): ただのメモにはてブがたくさん（当社比）ついてビックリ(^-^; コア数に対する考慮が足りない。 コア数に対する考慮が足りない。 - gomakyuのコメント / はてなブックマーク とコメントを頂いた通り、上記のコマンドを実行しても1つの論理CPUを使い切るだけです。 例えば上の図の通り、1ソケット * 4コア * 2スレッド で論理CPU数が8の場合は、ざっくり、1多重で実行すると12.5%
【初心者向け】Linuxのプロセスについて一通りわかる！
プロセスとは、Linuxで動いているプログラムのことだ。 自動的に起動しているものや、シェルからコマンドで実行されるものも含めてプロセスと呼ぶ。 このページではLinuxのプロセスについてまとめてご紹介する。Linux初心者の方は参考にしてほしい。 プロセスとは？ プロセスは実行中のプログラム プロセスとは、「実行中のプログラム」だと思えばいい。 また、一つのプログラムから複数のプロセス(プログラム)が生成されることも多くある。 Linuxの場合デスクトップ環境だと、100個以上のプロセスがあるだろう。後ほど詳しく解説するが、topコマンドなどで現状が確認できる。 プロセスの管理 プロセスが多数起動していると、当然コンピュータリソースを消費することになる。管理上「安定動作時のプロセスの数がどれくらいなのか？」を把握しておくとよいだろう。 OSは、プログラムに適切なコンピュータ資源、メモリや
Linuxパフォーマンス調査などで使うコマンドメモ - Qiita
パフォーマンスなどの調査をする時に利用する便利コマンドメモ。 これないぞ、あれないぞなどあると思いますがとりあえず本などを参考にまとめたものをピックアップしています。 参考 [24時間365日] サーバ/インフラを支える技術 ‾スケーラビリティ、ハイパフォーマンス、省力運用 (WEB+DB PRESS plusシリーズ) 絵で見てわかるシステムパフォーマンスの仕組み CPU使用率やメモリなど全体の概要把握 top デフォルトでは3秒ごとにOSで利用しているプロセスの数や状態、またOS全体のシステムリソース状況が分かります。 パフォーマンスが悪い場合にOS全体としてどのリソースの利用が多いのか(CPU負荷なのかメモリ利用率が高いのか)などの判断に有用だと思われます。 top - 22:36:56 up 28 min, 2 users, load average: 0.00, 0.02, 0.
知っておくと役立つかもしれないLinuxコマンド(サーバ確認関係）
こんばんは、牧野です。 一時期また夜型になってしまっていたのですが、最近はまた朝型生活、というよりも早朝型生活になりました。 仕事の方はというとsymfony案件は一段落して、今はオリジナルのフレームワーク、ライブラリでプログラムを作ったり、javascriptのプログラムを1から書いたりと、マイペースでやっています。 さて、今日も軽めなネタで、知っているといざという時に役立つ、かもしれないLinuxのコマンドです。 サーバ構築や緊急対応などでサーバを触る場合は使う機会があると思います。 ■サーバのOS情報を確認
サーバが重い時の負荷の正体を突き止める
WEB+DB PRESS Vol.65｜gihyo.jp … 技術評論社. WEB+DB PRESS の特集１「WEBエンジニアが知るべきインフラの基礎知識」が非常にまとまってて良かった。 闇雲にtopコマンドとかネットで調べながら調査してたので今後のためにもメモ。 ロードアベレージ(忙しさの度合い) uptimeコマンドを使って見る。 [root@suusuke ~]# uptime 22:27:30 up 202 days, 18:48, 1 user, load average: 0.07, 0.15, 0.08 0.07という数字は処理を実行したいが、何かしらの処理で実行できなくて待たされている状態のプロセス数 何かしらの要因とは？ 他のプロセスにCPUが使われていて、空くのを待っている状態（CPU使用率） ディスクに読み書き要求を発行してその結果を待っている状態（I/O待ち率）
topコマンドで覚えておきたい使い方14個 | 俺的備忘録 〜なんかいろいろ〜
topコマンドといえば、よくLinuxのパフォーマンス状態をモニタリングするために利用されているコマンドだ。 今回は、そんなtopコマンドで覚えておきたい使い方14個を紹介する。 なお、検証で使用したtopコマンドはCentOS 7 で利用している「procps-ng version 3.3.9」のものとなっている。 1.基本的な使い方 基本的には、オプション無しで以下のようにコマンドを実行する。 top top - 07:21:06 up 4 days, 17 min, 4 users, load average: 0.00, 0.00, 0.00 Tasks: 186 total, 1 running, 185 sleeping, 0 stopped, 0 zombie Cpu(s): 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
宁波逼拘旅行社
コマンドによる「負荷」の原因切り分け
syboos.jp
syboos.jp