開発メモ: DBサーバのnoreplyオプションによる高速化
Kyoto Tycoonやmemcachedにてnoreplyオプションを使ってパフォーマンスを上げる話。 noreplyの功罪 DBに対する更新操作はその成否を真偽値などとして呼出側に返すのが通常であるが、それを省略することでパフォーマンスを上げることができる。memcachedではnoreplyオプションとして知られている。KTの最新版からは、memcachedプラグインと独自バイナリプロトコルでもnoreplyオプションをサポートすることにした。 noreplyを有効にするとなぜ高速化するのか。クライアントはクエリをsendしただけで、recvをせずに次の処理に移れるからだ。sendシステムコールに渡したデータはカーネルが非同期に処理するので、カーネルとアプリケーションは並列に処理を進めることができる。recvをした場合にはその時点で両者の待ち合わせが発生してしまうのだが、それをしな
Apache チューニング Tips | Carpe Diem
先日、Web サーバ勉強会 #2 が開かれました。内容は、Apache のチューニングということで、参加したかったのですが、他の予定があって参加できませんでした。 そこで、僕が個人的に行っている Apache のチューニングを紹介したいと思います。最初、スライドで作成しようかと思ったのですが、ブログにまとめたほうがよさそうなのでブログにまとめていきます。 まず、大前提として Apache をチューニングするうえで、大事なことはその Apache が提供する Web サービスの種類のよって大きくチューニングする内容が異なるということです。例えば、動画・写真共有サービスと株価情報のサービスを比較すると、当然のことながら大きくサービスの内容が異なりますし、HTTP レベルでみるとクライアントからのリクエスト数、データサイズ、などがかなり違ってきます。 ですので、まずは自分が扱っているウェブサービ
サーバ監視ツール「Munin」のiowaitを劇的に減らす方法 - Y-Ken Studio
10分ほどあれば設置できる程にお手軽な「Munin」というサーバ監視ソフトを使い始めて早数ヶ月。様々な計測値がグラフ形式で一望出来るので、問題の早期発見が出来るようになり、とても重宝しています。 ただ、MuninはNagiosなどと違い、ログの保存だけではなく同時にグラフの更新も行っています。これに加えて各サーバから取得したデータのグラフ化をcronで5分おきに行っているので、常時Muninサーバへ負荷が掛かっている状態です。 現在、既に監視対象が40台を超え、Muninが動くサーバのIO負荷が高いのが気になってきました。 どのようにMuninのDisk I/O Waitを減らすか調べても、特に情報がありません。 そこで、Muninの処理を追う事で、軽量化の方法を探ろうと思います。 結論から言うとCPUのコア数は重要ではなく、メモリを十分に載せる必要があります。 環境 CentOS 5.5
DeNA松信さんの「MySQL環境におけるFusion-io検証結果とDeNAにおける活用価値」セッションメモ - 元RX-7乗りの適当な日々
弊社の一部のサービスでも絶賛活躍中のFusion-io社のioDrive。 Fusion-io ioDriveとFusion-io ioDrive Duoではどちらも、最小容量のモデルはSLC型、そのほかはMLC型を使っているが、Fusion ioDriveの読み込み速度は735〜770MB/s、書き込み速度は510〜750MB/sだ。Fusion ioDrive Duoに至っては、読み込み速度は1.0〜1.5GB/s、書き込み速度は一律1.5GB/sという数値をたたき出す。 ＠IT Special PR：Fusion-ioのクールな技術を使いこなせ！ 今日はデルさん主催の下記セミナーにて、このFusion-ioに関するDELL社の検証結果紹介や、DeNA松信さんによるMySQL環境でのFusion-io検証結果およびDeNAでの利用に関するお話が聞けるとのことだったので、途中からの参加で
Linux Network Performance Tuning
今回はLinuxのネットワークチューニングの一部を書きます。 このチューニングはkernelのバージョンに(2.6.17以前が前提 )依存するので、やった方がいい場合とAutoチューニングでお任せの方がいい場合があるので注意が必要です。 また、チューニングの目的がはっきりした方がよいでしょう。やはりチューニングの目的は巨大なファイルを転送する処理が多いか少ないかまた、その頻度だと思います。 もし、それほどのアクセス、やり取りするファイルが少ないならばやらない方がいい場合もあります。 まず、基本はネットワークの高速化に役立つパラメータはNetwork Bufferというものです。 デフォルトでは、例えばtcp bufferサイズは小さいのでこれを大きくすると高速化が狙えます。 それでは、実際に現在設定されているサイズを確認してみましょう。 (tcp_memory) $ cat /proc/
nginxがApacheよりも優れていることが一目瞭然のグラフ
前回のリプレイスでどのくらい変化があるかを調べてみました。構成などはそちらをご覧ください。 対象サーバーをDNSから外してアクセスを止め、リプレイス作業後、DNSに再登録しました。 そのビフォアとアフターのグラフです。 Apacheのアクセス数 横軸のひと目盛は6時間なので、4日午前0時にアクセスが止まって、5日の午前2時にアクセスがもどっていることがわかると思います。（3日のアクセス数が少ないのはラウンドロビン環境下のサーバーを2台から3台に増やしたからです。5日には再び2台に戻しています。） nginxのリクエスト数（アクセス数） nginxも5日の午前2時頃からアクセスされ始めました。ビフォア（Apache）もアフター（nginx）もちょうどピーク時に160リクエスト程度を受けているので、アクセス数は同じくらいと考えられます。 トラフィック ビフォアとアフターでピーク時に2Mbits
WORDPRESSセキュリティ その１
2017/05/07 2017/05/19 タグ: WORDPRESS, システムファイル, 攻撃対象 WORDPRESSは有名で無料でオープンソースだから、何かとクラッカーの研究対象となりセキュリティ面では他のCMSよりも厳しい評価が下されることがあります。 但し、一般的には以下の処置をするとかなり安全になりますので、是非お試しください。 WORDPRESSのセキュリティ対策 xlmrpc.phpの停止 or 外部から触れないようにする wp-admin or wp-login.php を自分以外に触れないようにする IP縛り wp-admin,wp-includesをを自分以外に触れないようにする IP縛り ログインアカウント名をadmin以外の想像つきにくいものにする robots.txtでシステムフォルダーをインデックスさせない wp-blog-header.phpとwp-con
【レポート】Ubuntu/Fedora 4つのパフォーマンスモニタリングツール | エンタープライズ | マイコミジャーナル
TechThrob.com Three Apps For Monitoring Performance In Linux - Techthrob.comにおいて、Linuxのシステムパフォーマンスを計測するための4つのツールが紹介されている。top(1)と同じように動作するもので、ネットワークトラフィックやIO負荷などをモニタリングするツールが紹介されており興味深い。紹介されているツールは次のとおり。 1. iftop(8) iftop(8)コマンドの実行例 / Ubuntu 10.04 どこのサイトとの通信がどの程度の帯域を消費しているのかを表示するコマンド。「iftop -i eth0」のようにネットワークインタフェースを指定して実行する。通信量はCUIのプログレスバーとして表示される。 2. iostop(1) iostop(1)コマンドの実行例 / Ubuntu 10.04 ディス
Linuxファイルシステムを最適化する | OSDN Magazine
前回は、一般的なLinuxファイルシステムをいくつか紹介し、それぞれの機能を見ていった。Linuxをすでにインストールしてあれば、パーティションの設定とファイルシステムの構成は済んでいるはずだが、この構成を変更したい場合もあるだろう。最適な方法を探ってみよう。 本稿は、先日刊行された書籍『Linux Power Tools』からの抜粋である。 変更と一口に言っても、中には手間のかかるものもある。たとえば、ファイルシステムを変更するには、バックアップ、新規ファイルシステムの作成、ファイルのリストアという手順が必要になる。ただし、ext2fsからext3fsへの変更だけは例外で、非常に簡単に行うことができる。ファイルシステムを切り替えたら、ファイルシステム作成のさまざまなオプションを利用して、新しいファイルシステムのパフォーマンスを向上させることができる。その他の変更は、比較的簡単だ。ディスク
「エキスパートのためのMySQL[運用+管理]トラブルシューティングガイド」発刊のおしらせ。
来たる6月12日、我が入魂の書籍が発刊される運びとなった。執筆を開始したのはすでに一年以上前であり、本ブログでも何度か「執筆中です！」といいながらなかなか発刊に至らずお待たせしてしまったのだが、しかし時間がかかってしまった分、内容には磨きがかかったと思うので期待して頂きたい。書籍のタイトルは「エキスパートのためのMySQL[運用+管理]トラブルシューティングガイド」。筆者にとって初の著書（単著）である。名前にエキスパートと冠している通り、中級〜上級者向けの一冊となっている。初心者の方は、まずMySQL 徹底入門 第2版などを先に読んでから本書を購入するといいだろう。以下もくじである。 第1章 MySQLの概要 1 MySQLとは 1-1 世界で最も有名なオープンソースのRDBMS 1-2 LAMPの"M" 1-3 History 2 MySQL Serverの種類 2-1 FOSS Exc
![「エキスパートのためのMySQL[運用+管理]トラブルシューティングガイド」発刊のおしらせ。](https://cdn-ak-scissors.b.st-hatena.com/image/square/29a65c475032cbb89c77a8826d7f7d0deaa294a9/height=288;version=1;width=512/https%3A%2F%2Flh3.googleusercontent.com%2Fblogger_img_proxy%2FAEn0k_sw-XggxX6aLou7TUBCs_LN4HJvxgWBKCsVzva4Bq4D2LnaXzpSD021CMOshbIklreJZMWW9QkPddfXy00iRCBBEgg5dHWjzBfnagxg2VEeWmwIbEic_AhHSPfoFXqAvu1pL6IJzg%3Dw1200-h630-p-k-no-nu)
mixi Engineers’ Blog » Tokyo Tyrantによる耐高負荷DBの構築
連休中はWiiのマリオカートをやりまくってやっとVR7000越えたmikioです。愛車はマッハ・バイクとインターセプターです。さて今回は、分散ハッシュデータベースサーバTokyo Tyrantでmixiの最終ログイン時刻を管理するようにした時の苦労話を書きます。 ログイン処理は負荷地獄 mixiでは、全てのユーザについて、各々の最終ログイン時刻を管理しています。「マイミクシィ一覧」や「お気に入り」などの画面で、友人が近い時間にログインしていてコミュニケーションがとりやすい状態にあるかどうか確認できるようにするためです。 mixiのほぼ全てのページはログインしないと見られないページなので、ほぼ全てのページにアクセスされるたびにログイン確認が行われます。したがって、最終ログイン時刻はほぼ全てのページにアクセスされる度に更新されることになります。mixiの中で最も重いデータベースのひとつとして「
違いが分かるエンジニアのためのMySQL/InnoDB/ZFSチューニング！
明けましておめでとうございます。今年もコンピューター道に邁進して参りますのでよろしくお願いします！ さて、今年一発目のネタはMySQL利用時におけるZFSのチューニングについて取り上げようと思う。Solarisに搭載されている機能の中でも最も注目度の高いものの一つであるZFSであるが、MySQLのバックエンドとしてはあまり利用されていないように思う。（そもそもSolarisのユーザー数自体がそれほど多くないという話もあるが。）ZFSは優れたファイルシステムであり、ファイルシステム自体にスナップショット機能が搭載されていたり容量の限界に先が見えない（充分すぎるほど余裕がある）といった管理上のメリットがあり、DBAにとっては垂涎のファイルシステムであると言える。（Linuxで利用出来ないのが難点だが、ZFSを使うためにSolarisを使うのもアリだろう。） MySQL利用時におけるZFSのチュ
Linuxでシステムに対して意図的に高負荷をかけたい場合 - 元RX-7乗りの適当な日々
今更感があるかもしれませんが紹介。 stressコマンドを使うと、CPUやメモリ、ディスクに対して意図的に負荷を与えることができます。 どこで使うかというと、、、高負荷時のシステムの挙動を見たい場合、AutoScaling等の負荷状況に応じて自動でスケールアップ/アウトさせるための仕組みのテストをしたい場合、部屋が寒いときにPCに発熱させたい場合ｗｗｗなどで使えるのかな、と。 Stressをインストール CentOSやRedHatの場合は、DAG(rpmforge)のリポジトリがあるので、ここのパッケージからインストールしましょう。 DAGをyumのリポジトリに追加する場合は、以下リンクから(CentOS5[x86_64]系の2010/05/14時点の最新版は)"rpmforge-release-0.3.6-1.el5.rf.x86_64.rpm"をダウンロードして、rpmインストールしま
Amazon EC2からWebサービスへの大規模なアクセス負荷試験を行う方法（JMeter in the Cloudを使用）
初期投資を抑えつつサーバインフラを手軽に拡大/縮小できる、いわゆるクラウドサービスが人気みたいです。Amazon EC2 みたいなやつ。聞くところによると、ソーシャルアプリなどは、アクセス規模とかユーザの増加傾向が見積りにくいようで、そういうところで利用が進んでいるらしいです。 ところで、そういったサービスは、何もサービスを受け付ける側を作るのに使うだけでなく、（負荷試験やパフォーマンスチューニングのための）Web アクセス負荷を大量に発生させるインフラとしても使えるんでないかなあと思っていたら、やっぱりそういうモノがありました。JMeter in the Cloud という AMI (Amazon Machine Image) です。 JMeter In The Cloud – A cloud based load testing environment 元々 JMeter では、複数の
�Linux/DB Tuning (DevSumi2010, Japanese)
1. 高性能・安定運用のための Linux/DB システム構築 / 運用技術 松信 嘉範 (MATSUNOBU Yoshinori) サン・マイクロシステムズ株式会社 プリンシパル MySQL コンサルタント 2. プロフィール 2006 年 9 月から MySQL->Sun(-> オラクル ) で MySQL コンサルタントとして勤務 主な著書 Linux-DB システム構築 / 運用入門 現場で使える MySQL Java データアクセス実践講座 Twitter: matsunobu Blog: http://opendatabaselife.blogspot.com * 今回の資料は公開します * MySQL 用語があちこちに出ますが、 経験の無い方にも分かるように配慮していくつもりです 3. 安定稼働と高性能を支える要素 アプリケーション層に関する技術 テーブル設計、インデックス設
SystemTapでMySQLのDisk I/Oを分析する - SH2の日記
実験エントリです。 動機 OracleのStatspack/AWRで取れるファイル単位のDisk I/O情報を、MySQLでも採取したい。これは次に示すようなデータです。 File IO Stats DB/Inst: ORA112/ORA112 Snaps: 6-7 ->Mx Rd Bkt: Max bucket time for single block read ->ordered by Tablespace, File Tablespace Filename ------------------------ ---------------------------------------------------- Av Mx Av Av Rd Rd Av Av Buffer BufWt Reads Reads/s (ms) Bkt Blks/Rd Writes Writes/s Wai
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Windows XPの起動時の長いディスクアクセスは、Windows Updateの履歴が溜まりすぎていたせいだった？！ - 全力HP
agilecatcloud.com
BackupPC
はてなブログ | 無料ブログを作成しよう
