先日のImpala Cookbookの非公式日本語版の続きです。先日は「クラスタのサイジングと推奨ハードウェアImpalaのメモリ使用量」でした。本日は「Impalaのベンチマーク」です。 ベンチマークも取り方によっては全く意味がありません。また、本番環境で動作させるのと全く違うワークロードのベンチマークも、本来期待しているのとはかけ離れた結果がでるかもしれませんね。 例によって駆け足で日本語化してるので、間違いがあればコメントに書き込むかTwitterでメンションしてください。 原文: [1] The Impala Cookbook http://www.slideshare.net/cloudera/the-impala-cookbook-42530186 どのようにImpalaが機能し、どうスケールし、現在のシステムとどう比較するのかを理解する クエリのスループットと同様にクエリのレ

RDBMSはオワコン？ 「右を向いても左を向いても“⁠ビッグデータ⁠”というキーワードが闊歩する時代に、いまさらRDBMSの話題？」 本連載のタイトルを見てそう思われたかもしれません。 「ディスクベースのRDBMSはオワコン、これからは○○（お好きなアーキテクチャを入れてください）の時代だ！」 とおっしゃる方もいるかと思います。 しかし、むしろ多くの企業がビッグデータに注目しているおかげで、RDBMS側でも大規模データを取り扱うニーズが増えています。 大規模データを取り扱う時にボトルネックとなる5つのポイント 数百ギガバイトといったレベルのRDBMSであれば、現場のエンジニアの方にとってはあたりまえの世界でしょう。しかし、テラバイトを大きく超えたデータを扱う場合には、ボトルネックの傾向が変化するのはご存じでしょうか。 次の図は、RDBMSにまつわるボトルネックを示したものです。 図1　大規

というわけで、JPOUG> SET EVENTS 20120721 | Japan Oracle User Groupに参加して発表をしてきました。通常の勉強会と比べて発表者と聴講者の一体感を増すための工夫がなされていて、とても良かったと思います。有限コーヒーかと思ったら無限ビールだったのも驚きです。JPOUGの運営メンバのみなさま、会場を提供してくださった日本オラクルのみなさま、当日お越しいただいたみなさま、どうもありがとうございました。 私のセッションでは、データベース負荷テストツールまとめ(5)と題して過去4回分のまとめと自作ツールの紹介をさせていただきました。JdbcRunnerはOracle Database、MySQLとPostgreSQLの間でTPC-BとTPC-Cの性能比較ができる唯一のオープンソースソフトウェアですので、いろいろ試してみていただければと思います。試した結果

ようやく春の嵐が過ぎ去り、無事 4/1 にシステムのカットオーバーを迎えることができました。まだしばらく集中監視期間が続くので、完全に安心はできませんが、とりあえずプロジェクトに尽力いただいた皆さん、お疲れ様でした。 今回、私は最終フェーズでのパフォーマンス・チューニングという、ある意味でプロジェクトが貯めてきた全てのツケを払う役回りで1ヶ月だけ参加したのですが、その体験で感じたことをまとめてみたいと思います。けっこう普遍性のある話だと思います。 まず、パフォーマンス・チューニングというのは、仕事としては面白いし、やり甲斐のあるものです。私は DB が専門（今回は Oracle だった）なので NW や OS についてはそれほど詳しくないのですが、それでも性能問題というのは、原因を突き詰めていく過程で非常にシステムの内部ロジックに詳しくなれる。というか、詳しくならないと解決できないので、嫌

ミックさんのblogに興味深いエントリが掲載されています。あるシステムのチューニングを無事に完遂させたものの、ハードウェアを投資した方がもっと簡単に解決できたし、今後はそうなっていくべきではという内容です。 - 幸せは金で買えない。しかし・・・ (ミックのブログ 〜君につけ届け〜) 私もこれまで同様の経験してきているので、色々考えさせられる内容でした。ぜひ読んでみてください。 ハードウェア増強で対応できるのであれば、その方が確実だし安いのでそうすべきというのは私も賛成です。個人的な感覚ですがハードウェア（特にメモリ―）が安価になるにつれて、そういう解決方法がプロジェクトで受け入れられやすくなってきているように感じています。 ハードウェアを増強しても解決できないケースというのももちろん存在します。適切なインデックスを付けるだけで100倍速度が向上したケースというのも存在します。それはメモリを

基幹系システム ERP 会計システム 電子帳票システム ワークフロー 勤怠管理システム もっと見る 情報共有システム・コミュニケーションツール グループウェア Web会議 テレビ会議/ビデオ会議 ファイル共有 文書管理 もっと見る 情報システム SFA CRM コールセンター/CTI BPM PLM もっと見る メール 電子メール メールセキュリティ メールアーカイブ その他メール関連 もっと見る エンドポイントセキュリティ アンチウイルス 暗号化 認証 ID管理 メールセキュリティ もっと見る ネットワークセキュリティ ファイアウォール WAF IPS UTM セキュリティ診断 もっと見る 運用管理 統合運用管理 IT資産管理 サーバー管理 ネットワーク管理 統合ログ管理 もっと見る バックアップ バックアップツール バックアップサービス テープバックアップ その他バックアップ関連 もっ

今回は、これからPostgreSQLの運用方法を解説するに当たり、運用時の状態を簡単にシミュレーションするために、ベンチマークツールをインストールして動かします。ベンチマークツールは、チューニングの際にも指標として使えますから、ぜひ使い方を覚えておいてください。 ベンチマークツール　OSDL DBT-1とは >>> 本連載の前提環境 データベース：PostgreSQL 8.3.1 OS：CentOS 5（Linux kernel 2.6 ） シェル：bash CPU：Intel Xeon 3060 2.40GHz HDD：73.4GBytes／15,000rpm／SAS 16MBytes RAM：PC2-5300 8GBytes データベース用のベンチマークツールはいろいろとありますが、ここでは「OSDL DBT-1」（以降、DBT-1）を取り上げます。 DBT-1は、OSDL（Open

SRA OSSは2010年2月18日、オープンソースのデータベース管理システム（DBMS）PosgtreSQLと半導体ストレージを組み合わせて販売すると発表した。販売するのはコアマイクロシステムズの「Solid STOR」、DRAMキャッシュ装置「Super CACHE」およびDRAMキャッシュ付きSSD（半導体ディスク）、DRAM半導体ストレージ「Super SSD」。 コアマイクロシステムズの半導体ストレージは外資系ベンダーの競合製品に比べ同容量での価格が安く、価格対性能比の高さを求めるオープンソースDBMSのユーザーに適していると判断したという。価格は「Super CACHE」が32GBモデルが税別300万円から、「Super SSD」が32GBモデルで税別250万円から、「Solid STOR」が32GBモデルで税別250万円から。

Webシステム開発において性能試験を行う場合、hp LoadRunnerやApache JMeterといったウェブブラウザをエミュレーションしてくれる負荷テストツールを用いるのが定番だと思います。そんななか、たまにデータベース単体での性能を測ってほしいと頼まれることがあるので、そうした便利なツールはあるのかなと思って調べてみました。 データベースに対する負荷テストツールは探すとたくさん出てくるのですが、案件で使用しているRDBMSに対応していなかったり、トランザクション仕様が希望と異なっていたり、微妙に作りが悪かったりと、ニーズに合致したツールはすぐには見つかりません。そんなときにこのエントリがツール探しの参考になればと思います。 pgbench 対応RDBMS：PostgreSQL 対応OS：Linuxなど 言語：C 作者：石井達夫氏 ライセンス：独自(BSDライセンスに近い) トランザ

NTTは2008年10月7日，PostgreSQLベースのオープンソース・データベースを開発，販売している米EnterpriseDBに出資し提携すると発表した。大規模システムへ適用するための技術開発，およびNTTと一般企業ユーザーへの普及促進を共同で行う。 EnterpriseDBは「PostgreSQLの主要メンバーの約30%が在籍している」（EnterpriseDB共同創業者で上級副社長Andy Astor氏）。PostgreSQLの開発を行うとともに，機能を拡張した有償版であるPostgres Plus Advanced Serverを販売している。Postgres Plus Advanced ServerはOracleとの互換性を向上させるツールや監視ツールなどを備えている。 NTTではPostgreSQLを標準のオープンソース・データベース管理システムと位置づけており(関連記事）

インテルが開発している「インテル コンパイラー」は、インテルCPUに最適化された高速なバイナリを生成するということで知られており、Oracleなどパフォーマンスを求めるベンダーで採用されているほか、科学計算用アプリケーション、3Dグラフィックソフトなど、さまざまなソフトウェアのコンパイルに利用されている。 しかし、「インテル コンパイラーはパフォーマンスが高い」とだけ言われても、なかなかピンと来ない人も多いのではないだろうか。そこで、インテル コンパイラーでコンパイルされたバイナリをベンチマークテストし、実際どの程度の性能向上が見込まれるのかを調べてみよう。 各所で高評価を受けるインテル コンパイラー インテル コンパイラーはCPUメーカーであるインテルが開発しているということで、Core i7などの最新CPUに搭載されているSSE 4.2といった命令セットへの対応が図られているほか、イン