［PostgreSQLウォッチ］第35回 性能を大幅に改善するPostgreSQL 8.3の新機能「HOT」とは
現在開発中のPostgreSQL 8.3は，まもなく「フィーチャーフリーズ」(機能の確定)となる。5月中にはβテストに入り，早ければ7月にも正式リリースがありそうだ。 8.3では，性能面に関する大幅な改良がある見込みだ。中でも注目されているのがHOT(Heap Only Tuples)である。 HOTとは HOTは一口で言うと，PostgreSQLの更新性能を改善する仕掛けである。HOTについて説明する前に，なぜPostgreSQLの更新性能が問題になるのか説明しよう。 PostgreSQLの更新処理の弱点 PostgreSQLは追記型のアーキテクチャを採用しており，更新は，内部的に削除してから新しい行を追加することで実装されている。削除して不要になった行はVACUUMコマンドで再利用可能領域として回収，再利用される。更新処理を頻繁に行う場合はVACUUMも頻繁に実行しなければならない。で
「はてな流大規模データ処理」を見てきた - もぎゃろぐ
KOF2008：関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 ＃ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量：五千万件くらいのデータ量 このデータに対して何百万人がアクセスしてくる状況でどういう作りにするか レコード数 1073万エントリー 3134万エントリー 4143万タグ データサイズ エントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない 大規模データの難しいところ 開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク
hori-uchi.com: mod_perl使用時はMaxClientsの値に気をつけましょう
mod_perl使用時はMaxClientsの値に気をつけましょう 導入するだけで既存のCGIスクリプトがお手軽に１０～２００倍高速になるmod_perlですが、mod_perl自体がサイズがでかいのと、高速化のため、モジュールをキャッシュするため、apacheのプロセスサイズが結構大きくなってしまいます。経験的にはだいたい１プロセスあたり２０～３０MByte位にはなります。このような性質上、mod_perlを使う場合はメモリの使用量を考えなくてはいけません。 ところで、Apacheのデフォルトの設定ではMaxClientsの値は１５０に設定されています。これは同時に最大１５０のリクエストをさばく、つまり最大１５０まで子プロセスを同時に生成するということです。仮に１５０個の子プロセスを生成するとすると、mod_perlを利用時の１プロセスのサイズをおよそ２０Mbyteとすれば２０×１５０＝
スケーラビリティの構築とパフォーマンスの達成:バーチャルパネル
Q1: 多くの人々が、パフォーマンスとテクノロジーを同じ問題だとひとくくりにしています。この誤解に対してどう応えますか？ Randy: どんな特定の言語やフレームワークにも依存せずに、スケーラビリティの問題を論じる事には多くの価値がある、と言う意見に私は賛成です -- そうしたパターンは同様に、実装の戦略とも無関係です。とはいえまずは、パフォーマンスとスケーラビリティを私たちは区別していると言う事を確かめておきましょう。パフォーマンスは、単一のリクエストを捌くのに使われるリソースの事です。スケーラビリティとは、より多くのリクエストを捌く必要が生じたときにリソース消費量をどのように増やしていくか、についてのものです。 それらは関連していますが、同じ物ではありません :-)。幸運にも、一方を改善するための多くのアプローチが、もう一方をも改善する事がしばしばです。しかし極端な場合、非常に高速なシ
Memcacheはやっぱりすごかった
森川です。恥ずかしながらmemcacheを使うくらいならtmpfsとかMySQLのHEAPテーブルを使えばいいじゃん、などと思っていたのですが、今回簡単なベンチマークをやってみて心を入れ替えました。 はい、memcacheは偉大です。すごく速いです。 テストとして10万件のデータをINSERTして、そこから該当するデータを10万件取得します。まずはmemcacheを使用した場合です。 今回はdagレポジトリのRPM版memcachedとソースからインストールしたPHP 5.2.3を使用してpecl installでmemcacheエクステンションをインストールしています。memcachedの設定はデフォルトのままです。 # yum install memcached # pecl install memcache # vi /usr/local/lib/php.ini extension=
第1回 memcachedの基本 | gihyo.jp
株式会社ミクシィ 開発部 システム運用グループの長野です。普段はミクシィのアプリケーション運用を担当しております。今回から数回にわたり、最近Webアプリケーションのスケーラビリティの分野で話題になっているmemcachedについて、弊社開発部 研究開発グループの前坂とともに、使い方や内部構造、運用について解説させて頂きます。 memcachedとは memcachedは、LiveJournalを運営していたDanga Interactive社で、Brad Fitzpatrick氏が中心となって開発されたソフトウェアです。現在ではmixiやはてな、Facebook、Vox、LiveJournalなど、さまざまなサービスでWebアプリケーションのスケーラビリティを向上させる重要な要素になっています。 多くのWebアプリケーションは、RDBMSにデータを格納し、アプリケーションサーバでそのデータ
DBエンジンを最大限に生かすバッチアプリの作り方
データベース管理システム＝データ加工エンジンと心得よ 用語辞典※などを参照すると、「データベース」という言葉は1950年代に米軍で使われ始めたようです。各地に点在していた膨大な情報を1か所の基地（Base）に集めたことからData Base（データの基地）という言葉が生まれ、ここから「特定のテーマに沿ったデータを集めてコンピュータ上で管理し、容易に検索／抽出などの再利用をできるようにしたもの」という意味を表すようになりました。 このデータベース、皆さんは有効活用されているでしょうか？ 普段からOracleなどを扱っている技術者でも、データベースを単なる「データの保管場所」としてしかとらえてない傾向があります。データの加工／集計は外部のプログラム言語で行い、データベースは結果を格納する入れ物としてしか活用していないのです。 もちろん、データベースを使用する第一の目的は、整合性／トランザクショ
ダイレクト・パス・インサート - オラクル・Oracleをマスターするための基本と仕組み
ダイレクト・パス・インサート （ダイレクト・ロード・インサート） ダイレクト・パス・インサートとは、データベースバッファを経由せずデータファイルへ 直接データを落とし込むという点から、ある特定条件下で非常に優れた処理方法である。 データベースのバッファ処理を経由しないことで高速に処理でき、バッファから他のキャッシュを追い出すことによるキャッシュヒット率の低下を防ぐこともできる。 高速に大量データをインサートさせるための手法 ダイレクト・パス・インサートによる高速のインサート処理にはトレードオフがあるが脅威的な速さを誇る。 数百万件オーダのデータの投入するのに数分とかからない(レコードサイズ、スペックに左右はされる) 通常のパスのローディングに比べて 数分の1 程度の時間で投入できる。 NOLOGGING 状態の場合 REDO ログが出力されない。（高速にはなる一方でフルバックアップするまで
[Rails] query-reviewerでRailsアプリのボトルネックを見つける - 射撃しつつ前転 改
query-reviewerはRails用のプラグインで、データベースにMySQLを使っている場合に、不適切な検索が行われていないかどうかを非常に簡単に調べることができる。（MySQL以外ではたぶん動かない。）使い方は非常に簡単で、 git clone git://github.com/dsboulder/query_reviewer.git vendor/plugins/query_reviewer するだけ。設定等はまったくいらない。インストールすると、Railsアプリの左上に「SQL DISABLED」というボタンっぽいのが出てくるので、そこをクリックしてENABLEDに変えてからページにアクセスすると、SQLの実行結果を教えてくれる。 スクリーンショットは開発者のブログで見られる。 大体、以下のような情報が得られる。 SQL EXPLAINの結果 SQLの実行時間 どれだけのSQ
![[Rails] query-reviewerでRailsアプリのボトルネックを見つける - 射撃しつつ前転 改](https://cdn-ak-scissors.b.st-hatena.com/image/square/85c67ab90ce937b14172441a0b6c0a1f54c8d1c2/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F10257846132660155560%2F10257846132660156811%2F1540586577)
CGMサイト構築で悩む負荷対策と拡張性の確保 （1/3）－ ＠IT
第1回 CGMサイト構築で悩む負荷対策と拡張性の確保 林田 幸一 株式会社Cuon 2008/8/4 Rubyを使った大規模エンタープライズ開発が始まっている。Ruby on Railsでの開発において、インフラやアプリケーションアーキテクチャをどのように構成すべきかを考える（編集部） 最近、Ruby on Rails（RoR）で構築されているCGM（Consumer Generated Media）サイトやコミュニティサイトが確実に増えてきている。例を挙げるまでもないが、Twitter、食べログ、iknowなどだ。 RoRの採用の理由として、 実験的なプロジェクトとして。最近評判のRoRを次期言語・フレームワークとして評価するため 人材採用のためのコマーシャル 開発リーダーやマネージャが純粋にRuby好き など、会社レベルから個人レベルまでさまざまな採用理由が存在する。 われわれの会社（
Linux I/O のお話 write 編 - naoyaのはてなダイアリー
write はページに dirty フラグを立てるだけなので決してユーザープロセスを待たせない って、本当にそうなんでしょうか？（否定しているわけではなく、純粋な疑問です。） と質問をもらったので、最近追ったことをここでまとめます。かなり長文です、すいません。また、まだまだ不勉強なので間違っているところもあるかもしれません。ツッコミ大歓迎です。 まず、オライリーのカーネル本の 15章 ページキャッシュ 15.3 汚れたページのディスクへの書き込み から引用。 ご存知のように、カーネルは、ブロック型デバイスのデータを含むページをページキャッシュに蓄えています。プロセスが何らかのデータを更新した場合は、必ず対応するページに汚れている印をつけます。すなわち、PG_dirty フラグを設定します。 UNIX システムでは、汚れたページのブロック型デバイスへの書き込みを遅延することができます。この方
［MySQLウォッチ］第40回 パーティショニングで高速化し大量データに備える
大量のデータを1つのテーブルに格納すると何かと不便となる。処理対象が大量だけに検索をはじめとして処理時間が大きくなる。現実の生活は、手に余る大量の物を小分けにするというテクニックをよく使う。データベースでもこの手法は有効である。大量データを小分けにすることで、処理の高速化と格納効率を向上することが可能である。今回は、MySQL 5.1の新機能の筆頭に上がっているパーティショニングを解説する。 MySQL 5.1の注目機能パーティショニングとは パーティショニングとは、テーブルを分割して性能を向上させるための技術だ。MySQL 5.0でもテーブルの分割機能はあった。複数のテーブルを連結して１つのテーブルに見せかけるMARGEストレージエンジン(テーブル)、SELECTステートメントを結合するUNIONなどがある。これらの機能は、もともと別々のテーブルを結合して処理する後処理的な位置づけになる
cyano: mod_expiresとmod_rewriteを使ってサイトの帯域節約と体感速度を向上させる方法
普通の帯域節約術としては、mod_deflateでdeflate圧縮するとか、CSSやJSファイルのHTTPレスポンスヘッダにLast-ModifiedやEtagを追加しておいて、ブラウザがHTTPリクエストヘッダにIf-Modified-SinceやIf-None-Matchを付加するようにし、コンテンツが変更されていなかったら304 Not Modifiedを返すという方法を取るかと思います。 しかし、HTTPサーバーはコンテンツの数だけ304 Not Modifiedを返さないといけないため、その分帯域を消費しますし、またCSSや画像などのパーツの304 Not Modifiedが返ってくるまで、そのパーツのレンダリングが行えないという問題があります（つまり体感速度に影響します）。 今回紹介するのはExpiresヘッダやCache-Control: max-age=31536000を
JavaScriptやCSSを動的にdeflate圧縮するのではなく、あらかじめ圧縮しておいたものを配信することでサーバーのCPUリソースを節約する « cyano
JavaScriptやCSSを動的にdeflate圧縮するのではなく、あらかじめ圧縮しておいたものを配信することでサーバーのCPUリソースを節約する prototype.jsを10KBにする方法やSafari と gzip 圧縮 JavaScriptなどですでに述べられてることですが、mod_deflateでリクエストがある度にアセット（CSSやJavaScript）にdeflate圧縮をかけるのは、deflate処理が軽いからと言っても、塵も積もれば馬鹿にならない（WWWサーバーやAPサーバーに本来使って欲しいCPUリソースを蝕む）訳で、deflateしたいアセットには予めgzip圧縮してそれを配信し、サーバーのCPUリソースに優しいようにしましょう、というお話。 今回は、予めgzip圧縮するという作業を自動化するために、Railsでよく使われるデプロイツールであるCapistranoを
WebアプリケーションにおけるHttpSessionのアレとかソレ。 - 設計と実装の狭間で。
僕が、HttpSessionをやたらと使うテクノロジに懐疑的な理由をちょっとだけ。 実装上の話と設計上の話に分けて考えてみたり。 まずは、「JavaにおけるHttpSession」が、アレでナニな理由。 HttpSessionが、どの様に保持されるかは、APサーバの実装依存。 つまり、どういう事かというと、HttpRequestのたんびに、どっかにシリアライズしてもイイのです。 大抵のAPサーバは、HttpSessionの内容を常に全てメモリ上に保持する訳ではありません。 好き勝手なと言うと、語弊がありますが、ある程度のタイミングでシリアライズします。 それによって、使用されるメモリの量を抑える様になっています。 これが、適切に動作するか否かは、状況依存なので、 決定的な事は何とも言えないのですが、ポイントは、一つだけ。 HttpSessionにオブジェクトが大量にぶら下っていると、 シリ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「実現したいことを計算機の問題に置き換えることが『技術力』」、伊藤CTOが“はてな流”大規模データ処理の極意を語る：CodeZine
分析関数の衝撃一覧
[ThinkIT] 第3回：アクセス分散の基礎とラウンドロビンDNS (1/2)
Googleの検索結果ページは画像を一つしか読み込んでいない (polog)
Mini Egg Rice Krispie Squares