Linux I/O scheduler queue size and MyISAM performance
At MySQL Conference and Expo 2009, I explained how Linux I/O scheduler queue size affects MyISAM insert performance. It is well known that Linux implemented four types of I/O schedulers (noop/deadline/anticipatory/cfq) in Linux kernel 2.6.10. The default is cfq in most distributions including RHEL, which is not so good then noop normally outperforms, but I'll talk this in other posts. Linux I/O sc
Optimizing SSDs random IOPs
Optimizing SSD random IOPS The script Some time ago I was asked how to max out the random IO performance of an SSD RAID0 array. Here is what I came with after experimenting with fio and perf top. ls /sys/class/block/|while read device do # SSD random iops are better with no scheduler if [ -f /sys/class/block/$device/queue/scheduler ]; then echo noop> /sys/class/block/$device/queue/scheduler fi # I
USE Method: Linux Performance Checklist
The USE Method provides a strategy for performing a complete check of system health, identifying common bottlenecks and errors. For each system resource, metrics for utilization, saturation and errors are identified and checked. Any issues discovered are then investigated using further strategies. This is an example USE-based metric list for Linux operating systems (eg, Ubuntu, CentOS, Fedora). Th
hdparm でハードディスクを高速化する
hdparm でハードディスクを高速化する 2006.04.08 Linux もしハードディスクが PIOモードで動いていたらDMAモードに変更するだけで、14倍の速度アップ！ ■ハードディスクの読み出し速度を測定する まずは、HDDの読み出し速度を測る。 # hdparm -Tt /dev/hda /dev/hda: Timing cached reads: 1856 MB in 2.00 seconds = 929.07 MB/sec Timing buffered disk reads: 10 MB in 3.48 seconds = 2.87 MB/sec -Tスイッチは、キャッシュシステム、つまりメモリ、CPU、バッファキャッシュをテストするという意味。 -tスイッチは、キャッシュ上に無いデータを読み出して、ハードディスクのパフォーマンスをテストする。 読み出し速度が2.87MB
Amazon EC2 I/O Performance: Local Ephemeral Disks vs. RAID�0 Striped EBS Volumes – blog.dt.org
I recently ran into an issue with I/O bandwidth in EC2 that produced some unexpected results. As part of my day job, I built a system to run clustered deployments of enterprise software within AWS. The enterprise software I chose for the prototype is, as it turns out, very sensitive to I/O bandwidth, and my first attempt at a clustered deployment using m1.large instances with only ephemeral disks
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Getting Good IO from Amazon's EBS
Getting Good IO from Amazon's EBS Wed Jul 29 00:23:52 -0700 2009 The performance characteristics of Amazon’s Elastic Block Store are moody, technically opaque and, at times, downright confounding. At Heroku, we’ve spent a lot of time managing EBS disks, and recently I had a very long night trying to figure out how to get the best performance out of the EBS disks, and little did I know I was testin
サーバ監視ツール「Munin」のiowaitを劇的に減らす方法 - Y-Ken Studio
10分ほどあれば設置できる程にお手軽な「Munin」というサーバ監視ソフトを使い始めて早数ヶ月。様々な計測値がグラフ形式で一望出来るので、問題の早期発見が出来るようになり、とても重宝しています。 ただ、MuninはNagiosなどと違い、ログの保存だけではなく同時にグラフの更新も行っています。これに加えて各サーバから取得したデータのグラフ化をcronで5分おきに行っているので、常時Muninサーバへ負荷が掛かっている状態です。 現在、既に監視対象が40台を超え、Muninが動くサーバのIO負荷が高いのが気になってきました。 どのようにMuninのDisk I/O Waitを減らすか調べても、特に情報がありません。 そこで、Muninの処理を追う事で、軽量化の方法を探ろうと思います。 結論から言うとCPUのコア数は重要ではなく、メモリを十分に載せる必要があります。 環境 CentOS 5.5
【レポート】Ubuntu/Fedora 4つのパフォーマンスモニタリングツール | エンタープライズ | マイコミジャーナル
TechThrob.com Three Apps For Monitoring Performance In Linux - Techthrob.comにおいて、Linuxのシステムパフォーマンスを計測するための4つのツールが紹介されている。top(1)と同じように動作するもので、ネットワークトラフィックやIO負荷などをモニタリングするツールが紹介されており興味深い。紹介されているツールは次のとおり。 1. iftop(8) iftop(8)コマンドの実行例 / Ubuntu 10.04 どこのサイトとの通信がどの程度の帯域を消費しているのかを表示するコマンド。「iftop -i eth0」のようにネットワークインタフェースを指定して実行する。通信量はCUIのプログレスバーとして表示される。 2. iostop(1) iostop(1)コマンドの実行例 / Ubuntu 10.04 ディス
�Linux/DB Tuning (DevSumi2010, Japanese)
1. 高性能・安定運用のための Linux/DB システム構築 / 運用技術 松信 嘉範 (MATSUNOBU Yoshinori) サン・マイクロシステムズ株式会社 プリンシパル MySQL コンサルタント 2. プロフィール 2006 年 9 月から MySQL->Sun(-> オラクル ) で MySQL コンサルタントとして勤務 主な著書 Linux-DB システム構築 / 運用入門 現場で使える MySQL Java データアクセス実践講座 Twitter: matsunobu Blog: http://opendatabaselife.blogspot.com * 今回の資料は公開します * MySQL 用語があちこちに出ますが、 経験の無い方にも分かるように配慮していくつもりです 3. 安定稼働と高性能を支える要素 アプリケーション層に関する技術 テーブル設計、インデックス設
SystemTapでMySQLのDisk I/Oを分析する - SH2の日記
実験エントリです。 動機 OracleのStatspack/AWRで取れるファイル単位のDisk I/O情報を、MySQLでも採取したい。これは次に示すようなデータです。 File IO Stats DB/Inst: ORA112/ORA112 Snaps: 6-7 ->Mx Rd Bkt: Max bucket time for single block read ->ordered by Tablespace, File Tablespace Filename ------------------------ ---------------------------------------------------- Av Mx Av Av Rd Rd Av Av Buffer BufWt Reads Reads/s (ms) Bkt Blks/Rd Writes Writes/s Wai
ベンチマークツールのまとめ | Carpe Diem
サーバ1台あるいは、サービス全体で、いったいどのくらいのパフォーマンスがあるのかについて計測することは、とても重要なことです。 僕が管理しているサービスは、最初にサービスをはじめるときはある程度の規模感を想像しながらまとまめてサーバなどを調達しましたが、サービスを開始してすこしたってきたところで今後の投資計画をたてたいため、月ごとのトラフィックを予測して、いつごろにどのくらいのサーバなどが必要か情報を調査して計画を立てることになりました。もちろん、最初からちゃんとベンチマークを行って計測してサーバを調達したほうがいいのですが、小さい会社では最初はサービスの開発に注力したいため、なかなかそういった時間をとれないのもまた事実です。 ということで、現状のサービスのパフォーマンスを測定するために必要な CentOS 上で動作するコンソールベースのオープンソースなベンチマークツールについて調べてみま
コスいチューニング - フツーな日常
全く本質的でなく効果も小さいものばかりだけど、最後のひと絞りにどうぞ。 Hardware HT無効 今時サーバでNetBurstもないだろうけど、使っているなら切った方が速い。並列実行度が高くなるには違いないが、spin lockとHTは相性がよろしくないし、そもそもNetBurstのHTは速くなる局面が少なすぎる。いっぱいプロセッサが見えるのは気持ちいいが、実効性能を考えると無効の方が速い。 RAID1+0 ブロックサイズは大きめで(256KBとか)にする。"1つのレコードの大きさ ＜＝ RIADのブロックサイズ"である状態だと、RAIDを構成する複数のディスクのうち1個へのリクエストで処理が完結するので具合が良い。逆に"1つのレコードの大きさ ＞ RAIDのブロックサイズ"であると、1レコードの読み出しにも2個のディスクがその処理にかかり切りになってしまう。HDDの毎秒の処理回数は上限
naoyaのはてなダイアリー - Linuxのページキャッシュ
世間では PHP が、Perl が、と盛り上がっているようですが空気を読まずまたカーネルの話です。今回はページキャッシュについて。 /dev/shm に参照系ＤＢを持っていくと I/O 負荷が激減した件（当たり前だけど） - drk7jp で、ディスク上にあったファイルを /dev/shm (tmpfs) に移したら I/O 待ちがなくなって負荷がさがった、ということなんですがおそらくこれは tmpfs に置く必要はないかなと思います。Linux (に限らず他の OS もそうですが) にはディスクの内容を一度読んだらそれはカーネルがキャッシュして、二度目以降はメモリから読む機構 = ページキャッシュがあります。tmpfs にデータを載せることができた、ということは物理メモリの容量に収まるだけのデータサイズかと思うので、放っておけば該当のファイルの内容すべてがメモリ上にキャッシュされて io
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
性能測定道 実践編
はてなブログ | 無料ブログを作成しよう