どうも世間では、思ったよりDBエンジニアが不足している様だ: 不倒城
ちょっと技術的な話。oracle分かる人にしか分からないかも。 最近取引先のシステムを見る機会が何度かあったのだが、昨日すんごいとこ見た。 DBが重くて業務にならないというから、ちょっと中を覗かせてもらったらもうエラいこっちゃ。 ・業務ロジックの殆どをファンクション・プロシージャで構成している。なのに、キャッシュヒット率が妙に低い。 ・調べてみようと思ったら一回もstatspackが取得されていない。(担当者には、「statspack?syslogならとってあるんですが…」と言われた) ・各テーブルのindexがどういう訳か全列に貼られている。ちなみにindexは全テーブル例外なくその一個だけ(プライマリキーを除けばだが)。 ・と思ったら、PKが文字列だったりするテーブルがあちらこちらにある。 ・試しにファンクションを一つ二つ見てみたら、なんか普通にクロス結合されまくっていてちょっとくらっ
「はてな流大規模データ処理」を見てきた - もぎゃろぐ
KOF2008：関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 ＃ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量：五千万件くらいのデータ量 このデータに対して何百万人がアクセスしてくる状況でどういう作りにするか レコード数 1073万エントリー 3134万エントリー 4143万タグ データサイズ エントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない 大規模データの難しいところ 開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク
SSDとSATAのベンチマーク比較 第2ラウンド: サーバーアプリケーション | OSDN Magazine
昨日はBonnie++を用いてクライアントマシンにおけるソリッドステートドライブ（SSD：Solid State Drive）のベンチマーク評価を行い（翻訳記事）、同じ予算で複数台のハードディスクを購入するのに比べて1台のSSDを購入することにどれだけメリットがあるかを論じた。今日はSSDのシークタイムが極めて短いことがサーバーにおいてどれだけ有利に働くかを見てみよう。 SSDの応用例は専らモバイル志向でノートPCのハードディスクをSSDに置き換えることに関心が向けられており、そうした利用形態ではSSDの最大のメリットであるシークタイムの高速性が活かされることはない。シークタイムの短さに関して特にどん欲なサーバーアプリケーションのひとつにリレーショナルデータベースがある。今回テストに用いたSSDはサイズが非常に小さく、データベースのタプルそのものを格納することは多分できないが、インデックス
WebアプリのためのベンチマークツールDBT-1を使う
今回は、これからPostgreSQLの運用方法を解説するに当たり、運用時の状態を簡単にシミュレーションするために、ベンチマークツールをインストールして動かします。ベンチマークツールは、チューニングの際にも指標として使えますから、ぜひ使い方を覚えておいてください。 ベンチマークツール OSDL DBT-1とは >>> 本連載の前提環境 データベース：PostgreSQL 8.3.1 OS：CentOS 5（Linux kernel 2.6 ） シェル：bash CPU：Intel Xeon 3060 2.40GHz HDD：73.4GBytes／15,000rpm／SAS 16MBytes RAM：PC2-5300 8GBytes データベース用のベンチマークツールはいろいろとありますが、ここでは「OSDL DBT-1」（以降、DBT-1）を取り上げます。 DBT-1は、OSDL（Open
memcpy 最適化 - kazuhoのメモ置き場
バイト単位でコピーするアホなコードの方が、勝手にベクトル化される分、gcc 内蔵のヤツより最大３倍高速なんだってwww memcpy() compiled with vectorizing compilers All current compilers for linux should support SSE2 auto-vectorization with #include <string.h> void *(memcpy)(void *restrict b, const void *restrict a, size_t n){ char *s1 = b; const char *s2 = a; for(; 0<n; --n)*s1++ = *s2++; return b; }(中略) x86-64 gcc memcpy() (中略) Linking in a user-compiled
MySQL Database Tools
All of Percona’s open source software products, in one place, to download as much or as little as you need.
Linuxチューニング 第1部第1回 ファイル・アクセスを高速化：ITpro
ファイルの入出力性能の改善は，システム全体の処理速度向上に大きく貢献する。高速なプロセッサを搭載する現在のコンピュータでは，ファイルのアクセス速度がシステム・パフォーマンスのボトルネックになっているためである。不要なディスク・アクセスの削減とアクセス速度そのものの向上が，チューニングの要となる。 アクセス時刻の記録を省略しファイル読み込みを高速化 ファイルにアクセスしたときには，最終アクセス時刻が属性情報として記録される。この情報を記録しないように設定することで，ファイルの読み込み速度を向上できる。最終アクセス時刻の記録を止めるには，ファイル・システムのマウント時に，noatimeオプションを指定する。ベンチマークでは，読み込み速度が2倍強に改善できた。 atimeは無駄 LinuxなどのUNIX系OSでは，statやfstat，lstatというシステム・コールを使って，ファイルの属性情報
はてなブログ | 無料ブログを作成しよう
新米と秋刀魚のわた焼き お刺身用の秋刀魚を買いました。1尾250円です 3枚におろして、秋刀魚のわたに酒、味醂、醤油で調味して1時間ほど漬け込み、グリルで焼きました 秋刀魚のわた焼き わたの、苦味が程よくマイルドに調味され、クセになる味わいです 艶やかな新米と一緒に 自家製お漬物 土…
KLab、OSSキャッシュソフトを強化した「repcached 2.0」を公開 | OSDN Magazine
KLab（クラブ、本社：東京都港区）は2008年4月11日、オープンソースのキャッシュソフト「memcached」に、レプリケーション機能を追加実装した「repcached」の新バージョン「repcached 2.0」を公開した。システムの耐障害性を高めることができる。 memcachedはデータベースのキャッシュなどに活用できるが、memcached自体がダウン・再起動するとキャッシュがクリアされてしまい、再びキャッシュが蓄積されるまではDBサーバに負荷がかかる。このため、ミッションクリティカルなシステムでは利用しにくかった。 「repcached 2.0」は、従来版のrepcached1.0がシングルマスタ・シングルスレーブ構成でしか運用できなかっのに対し、マルチマスタ構成に対応して、データを書き込むアプリケーションがマスタを判別する必要がなくなった。片方のrepcachedがダウン・
ウェブリブログ：サービスは終了しました。
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linuxチューニング ---目次：ITpro