vmstatコマンドについて調べてみた - DENET 技術ブログ
こんにちは！ ディーネットにて見習いエンジニアをしております下地です(^^) 私の所属するチームでは、メンバーの技術共有のために朝少し時間を取ってミーティングをしているのですが、ある日のミーティングでvmstatについての話題がでました。 サーバのトラブルシューティングや負荷状況を調査する際に時々使ってはいるのですが、自分自身イマイチ各項目が何を意味しているのかを掴めていませんでした。 そこで改めてvmstatコマンドについて調べてみました。 vmstatとは vmstatとは、LinuxにおいてCPUやメモリなどの使用状況を表示するコマンドです。 システム全体の負荷状況をリアルタイムで観察するのに適しています。 vmstatコマンドの使い方 1回だけ実行します vmstatとだけ打ち込むと1回のみの実行結果を表示します。 1秒毎に連続して実行します 1秒毎に連続して実行します。停止はCt
MySQLパフォーマンスチューニング -my.cnfの見直し- - Qiita
※RDSは使っていません。 負荷を見てみる DBサーバーの負荷状況を見てみます。 当時の監視ツールの画像がないのですが、以下の状況でした。 LA(Load Average)が突き抜けている リクエスト数は「常識的に考えて」それほどでもない メモリの使用量にあまり変化がない swapはしていない ストレージ容量を結構食っている WEBサーバーから見れば、処理待ちのままプロセスが処理されていない典型的なパターンだったと思います。 DBサーバーとしては、LAに対し、メモリの使用量があっていないように思われました。 仮説 上記の状態から、仮説を立てます。 スロークエリ が頻発しているのではないか メモリ が正しく割り当てられていないのではないか 各種ログ の設定が適切ではないのではないか 仮説を検証することで、対策をしていきます。 設定を見直す 上記の仮説の設定は、MySQLの設定ファイルである「
MySQL最低限のメモリ設定 - Qiita
環境にもよりますが、MySQLのデフォルトのメモリ関連の設定は控えめな感じになっています（私のCentOS環境では、key_buffer_sizeが8M,innodb_buffer_pool_sizeも8Mとなっています）ので、適切な状態への変更が必要です。 MySQLのメモリについては、いろいろな情報がありますが、MySQLのsupport-filesの中にあるサンプルを見ればいいでしょう（ちょっと、サイズの感覚が古いですが）。多くの場合、my-huge.cnfかmy-innodb-heavy-4G.cnfを参考にすればいいでしょう。 後は、本家Oracleさんの資料も参考になります。 グローバルバッファとスレッドバッファ MySQLでは、mysqldが共通に使うグローバルバッファと、スレッド（コネクション）毎に割り振られるスレッドバッファがあります。MySQLのメモリ使用量は、 メモリ
MySQLのメモリ設定の勘所 – sawara.me
MySQLサーバーをダウンさせた夜は数知れず。 その度にmy.cnfの設定を見なおしてみてはトライし、治ったと思いきや突然のダウン。 サーバーがダウンしてしまう原因は何かと聞かれれば、「メモリです」と断言しましょう。 メモリ設定は諸刃の剣。 パフォーマンスを最大に引き出すこともできればそれと引き換えにサーバーをダウンさせてしまうこともできるんです。 今回はMySQLのメモリの設定の勘所というかたちで紹介しようと思います。 グローバルバッファとスレッドバッファ メモリの設定についてまず「グローバルバッファ」と「スレッドバッファ」について理解しておくことが大事です。バッファとは一時的な記憶領域・つまりはメモリの領域のことなのですが。 グローバルバッファ MySQLで使用する全体的なメモリ使用量を計算するには グローバルバッファ + (スレッドバッファ × コネクション数) = メモリ使用量 と
ぜんぶTIME_WAITのせいだ！ - Qiita
課題 突然キャンペーンとかの高トラフィックが来る！とか言われると色々困ることはあるものの、今のご時世クラウドだからスペック上げときゃなんとかなるでしょ。ってとりあえずCPUとかメモリあげて見たものの、キャンペーンが始まったら意外と早くブラウザからつながらない！！とか言われたりする。 CPUもメモリもそんなに負荷は特に高くもない。調べてみたらTIME_WAITが大量にあった。 とりあえず何とかしたい TIME_WAIT数をコマンドで確認 $ netstat -anp|grep TIME_WAIT __(snip)__ tcp 0 0 192.168.1.1:80 192.97.67.192:56305 TIME_WAIT - tcp 0 0 192.168.1.1:80 192.63.64.145:65274 TIME_WAIT - tcp 0 0 192.168.1.1:80 192.39
担当でないWebサービスのパフォーマンスが遅いといわれたときに行う簡易的パフォーマンスチューニング - Qiita
他部署の方から呼ばれて、「Webサービスが遅いけど、早くできない？」と聞かれたときに出来る対策を紹介します。 ソースコードも知らないし、環境も知らない場合の、ブロジェクト外の人が対策する場合です。 今回は、PHP環境でしたが、Railsとか他のところでも使えると思います。 ステップ1: 聞き取り どこが遅いか、どこに不満を持っているか確認する サーバ環境を確認する。今回は以下でした。ここではバージョン伏せていますが、バージョンも確認します。 OS: CentOS Webサーバ: Apache データベース: MySQL 言語: PHP ソースコードをもらう。これがないと対策取るのが遅れます 遅いと言われているサーバ環境に入らせてもらう。１次情報をあてにしましょう。 使用用途。更新頻度。更新が少ない場合はキャッシュを効かせたほうがいいとかがわかります。 想定するユーザ数。 １日の使用回数。
Linuxサーバで負荷試験するにあたって - Qiita
LinuxでTCPのサーバを置いて多量のTCP接続を行うと、初期設定のままではうまくいきませんでした。 多量のTCP接続を受け付けるには設定手順があると知ったので紹介します。 「Too many open files」と出て接続できない 1プロセスで開けるソケット数上限に達したようです。 上限を上げましょう(デフォルト1024)。 接続元と接続先でそれぞれ以下のコマンドを使います。 ulimit -n 102400 「Connection refused」と出て接続できない まず接続先でdmesgコマンドを実行しましょう。 TCP: Possible SYN flooding on port 8888. Sending cookies. と表示されたらSYN flooding攻撃かもとOSが判断して新規接続をブロックしています。 無効化しましょう( http://ja.wikipedia.
WordPressで「データベース接続確立のエラー」が頻発した際に変更すると幸せになれるかも方法 -
WordPressで投稿をしていて、公開する際に「500 Internal Server Error」や、 「データベースの接続確立エラー」の表示が頻発することはないでしょうか。 そうしたエラーがどうして発生しているかを考えて、最小限の対応で解決をすると幸せになれるかもしれません。 はじめに 「500 Internal Server Error」や「データベースの接続確立エラー」は、 原因が分からず苦労するものです。 私の場合も、これまで何度か目にはしていたものの一過性のものだと目をつむってきました。 しかし、事態はどんどん悪化していきました。 クロールエラーの検出 Google™ WebMasters Toolsにクロールエラーが表示されるようになってきました。 さすがに、クロールエラーが発生し始めてからは事態の深刻さを受け入れます。 何とかしなければ。 サーバーの引っ越しを検討 レンタ
kernelチューニング
linuxサーバのOS全体に効くカーネルパラメータのチューニング箇所と その設定値、またその理由をまとめておく。 あくまで自分の環境ではこうした、というだけであり、 提供するサービスごとに検討が必要である。 どこをどう変更するのか、または変えないのか、その判断材料にはなるだろう。 ※ユーザ単位でシステムリソースに制限をかける場合をこちらを参照してほしい。 以下は/etc/sysctl.conf で設定するものとする。 ● 大規模サイト用チューニング kernel.pid_max 動作：pidの最大数 設定値：131072 理由：pidを枯渇させない vm.max_map_count 動作：mmapやmalloc時にメモリを仮想空間にマッピングできる最大ページ数 設定値：300000 理由：マッピングできなくなる事態を防ぐ net.core.somaxconn 動作：接続(ソケット)キューの
Linuxでswap最適化を行って物理メモリを限界まで使い切る
Linuxでサーバを運用していると、メモリ不足でSwapが発生することがあります。で、このSwapなのですが、発生頻度を少しだけ調整できます。デフォルト設定だと、物理メモリに余裕があってもSwapが発生します。これを調整すると、少しだけSwapの発生を抑えることができます。 設定しておくと幸せになると思います。 ■パラメータ 下記のファイルに０〜１００の数値が記載されています。 /proc/sys/vm/swappiness この数値を０にすると、物理メモリを使い切るまでSwapを発生させません。１００にすると、とにかくSwapするようになります。パフォーマンス激落ちです。デフォルトは６０です。この数値を０にしてしまえば、数値を1以上に設定すれば、メモリを最大まで使い切るようになります。 追記 2016/3/25 はてなブックマークのコメントで、swappinessを0にするとOOMKil
MySQLでINSERTのデッドロックに嵌る人を1人でも減らすために - ichirin2501's diary
この記事ははてなデベロッパーアドベントカレンダー2015の12月24日の記事です。 昨日は id:stefafafan さんのエンジニアと英語でした。 こんにちは、こんばんは。 クリスマス・イヴですね、皆さんはどのような一日を過ごされる(た)のでしょうか。 僕は一人です。 改めまして、先日初めての合コンを経験/失敗して二度と行かないと誓った はてなの id:ichirin2501 です。今回は小ネタとしてMySQL(InnoDB)のBULK INSERTにおけるデッドロックの話をしようと思います。ただ、外部キー制約が絡むと複雑になるので今回は触れません。それについてはこちらを参照ください。 あ、タイトルはオマージュです*1。 Topic 検証環境 INSERTのデッドロック 避けられないケース もしくはロックする リトライ処理に注意 初期データ Duplicateの場合 Deadlockの
VirtualBoxのファイルシステムを10倍速くする 〜 read ahead編 〜 : DSAS開発者の部屋
vboxsfを速くするために頑張る記事の３本目です。 前回は、vboxsfでpage cacheを使えるようにして高速化を実現しました。 今回は、VirtualBoxのファイルシステムvboxsfと、VM上で使われているファイルシステムext4との違いを調べていきます。 もちろんvboxsfとext4では、ファイルシステムより下の構造が全く違います。 またvboxsfの場合、NFSと同様に複数のクライアント(vboxsfの場合、ホストOSやその他のゲストOS)からアクセスされるため、ext4ほどキャッシュを多用できないかもしれません。 とはいえ、何かしらvboxsfを速くするヒントが見つかるのではないか？と思い調べてみました。 比較してみる とりあえず、vboxsfとext4でどの程度違いが出るのか調べてみました。使っているのは、前回の修正を取り込んだpage cache付きのvboxsf
VirtualBoxのファイルシステムを10倍速くする 〜 page cache編 〜 : DSAS開発者の部屋
vboxsfを速くするために頑張る記事の２本目です。 前回は、findコマンドが遅いことを調べ、速くすることができました。 今回は、VirtualBoxのファイルシステムvboxsfと、VMWareのファイルシステムvmhgfsの違いをもっと調べていきます。 vboxsfとvmhgfsの速度を比較している記事としては、Comparing Filesystem Performance in Virtual Machinesが、わかりやすくまとまっていました。 この記事を見ると、 sequential readで、vboxsfでは100MB/s、vmhgfsでは500MB/s random readで、vboxsfでは100MB/s、vmhgfsでは7GB/s と、速度の差が大きいことを指摘され、さらには、 Because the deviation of the VirtualBox thr
［5］Wi-Fiルーターの速度に不満、設定を見直して快適にする
Wi-Fiルーターを使用していて満足いく速度を得られないとき、設定を見直すことで解決する場合がある。ここでは、帯域の干渉を解消する方法と、接続デバイスを制限する方法、中継機やアダプターを追加する方法をご紹介しよう。 帯域の干渉を解消する マンションなどの集合住宅で近隣もWi-Fiを使用していると、電波が干渉してしまう場合がある。接続設定時の画面でSSIDの数が急に増えたときなどは要注意だ。また、11b、11g、11nの規格が使用する2.4GHz帯は、コードレス電話機などの一般的な無線機器のほか、電子レンジなどが干渉することもある。 2.4GHz帯が混雑しているなら、11a、11n、11acで利用できる5GHz帯に子機をまとめてしまうことで、問題を解決できるかもしれない。旧型のノートパソコンで11bや11gにしか対応していないなどの場合は、後述するUSBアダプターで11acを利用できるように
なんか重いウェブサーバはディスクアクセスが遅いことが原因だったのでそれを解決した話 - Qiita
GMOクラウド ALTUSにフラッシュディスクが追加されていました（2018年8月29日追記） 少し前からですが、GMOクラウドのディスクでフラッシュディスク（SSD）が選択できるようになっていました。 この記事を書いたとき（2015年）の状況は再現できないですが、恐らくディスクアクセスに関する悩みからは開放されそうですね。 はじめに これまでの経緯はこちらにあります。 マルチコアサーバがなんか重い時に原因究明しかけていました。 管理に携わっているサーバが「なんか重い」症状に陥った件についての解決編です。 LAがちょくちょくあがって問題認識 対象サーバはマルチコアでコア別に見ると特定のコアで普段からiowaitが高い ddやfioなどでディスク負荷を掛けるとめっちゃ重い という状態でした。 調査 サポセンからの連絡 GMOのクラウドを使っていますがここサポートセンターは優しいです。ddとf
NICでVLAN毎にQoS(帯域上限)を設定する方法(Linux) - Blog
VLAN毎にQoS(帯域上限)をNICで設定する例を説明します。 例えば40GbEネットワークを検討する場合、ある特定のトラフィックが帯域を使い切ってしまうことが懸念され、10GbE複数本を統合するのに躊躇してしまう、というような場合、QoS設定をしておくことで帯域をトラフィック毎に使い分けることができます。（実際には非常に速いオールフラッシュストレージ等を接続しない限り、40Gbpsを使い切ることはめったにないと思いますが、運用上安心できると思います） ※Mellanox NICの場合の例 構成例： OS : Ubuntu14.04LTS NIC : Mellanox ConnectX-3Pro (40GbE) Dual Port Driver : MLNX OFED 2.2-1.0.1 MTU=1500 byte (デフォルト) QoS設定例： VLAN=10 (IP address=
20140828 #ssmjp 社内チューニンガソンで優勝したはなし
今日から使い始めるChef 2013-03-29 Xtone Ltd. ピザ会�(without pizza＞＜) Aki / @nekoruri
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
WordPress新規サイト作成手順 | WordPress
NICのリングバッファ(ring buffer)拡張
はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena
