第4回 大規模データ処理におけるCPUの2大ボトルネックとは | gihyo.jp
「特定CPUコアでのボトルネック」と「リソースの奪い合い」が2大ボトルネック 第2回、第3回ではディスクI/Oボトルネックについて説明しました。レスポンスとスループットの関係を正しく理解し、I/Oスループットを最大化するようチューニングすれば、ほとんどの大規模処理は速くなります。ユーザもハッピー、皆さんもハッピー、さて家に帰りましょう。 ……しかし、次はだれかからこう聞かれることでしょう。 「CPUの使用率が異様に低いままなんだけど……？」 「CPUの使用率がずっと100％で張り付いているんだけど……？」 どっちやねん！と思うでしょうが、どちらも大規模データを処理するときに特に起こりえる問題です。 ボトルネックは、1つが解消すると、新たなポイントが明らかになるものです。そして多くのケースにおいて、ディスクI/Oボトルネックが解消した場合、次に詰まるのはCPUなのです。 CPUボトルネックは
DB 設計時のサイズ見積り[最新版] - Qiita
こんにちは、すっかり秋ですね！@yone098 です。 みなさんDBの設計してますか？ DB設計時のサイズ見積り 以前はてなダイアリーで書いた記事は5年前のものであり、リンクが切れているものがあるので最新版として MySQL, PostgreSQL, Oracle, SQLServer におけるDB設計時のサイズ見積りをまとめ直しました。 URL内のバージョン表記を変えると以前のバージョンの情報になります。 MySQLは、あまり情報に変化は無かったので Excel でマクロなどを作成して自社で自動算出出来るようにするのが良いと思います。 データタイプごとに必要な要求ストレージが決まっているのでレコードサイズが決まり、あとは要件次第で何レコードになるかを予測します。 データタイプごとに必要な記憶容量 テーブルの最大サイズ関連 http://dev.mysql.com/doc/refman/5
![DB 設計時のサイズ見積り[最新版] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/fc0061ee00d6c47d46312cbc48ee3fd02c9cc805/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9REIlMjAlRTglQTglQUQlRTglQTglODglRTYlOTklODIlRTMlODElQUUlRTMlODIlQjUlRTMlODIlQTQlRTMlODIlQkElRTglQTYlOEIlRTclQTklOEQlRTMlODIlOEElNUIlRTYlOUMlODAlRTYlOTYlQjAlRTclODklODglNUQmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWU2ZDI5ZDViYzUwMTY3ZDBiNTEyM2RiNTQ5ZDAwM2Vm%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQweW9uZTA5OCU0MGdpdGh1YiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZjcyZDE3MzM3ZmQ5MmRkNjRkMWY2YjM1YjI0OTAxNGQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Da0b7ab789a5ccfc1b34355e1b9cbed70)
DB設計時のサイズ見積もり - よねのはてな
ここのところ、javaccとawsに魅了されている米林です。 よく使うDB(Oracle/MySQL/PostgreSQL/SQLServer)における設計時のサイズ見積もりで使うサイトの備忘録。 あとは、OracleからのPython情報。 Oracle Oracle 物理設計 http://www.oracle.com/technology/global/jp/columns/skillup/oracle9i/index.html 領域サイズ見積もり http://otn.oracle.co.jp/document/estimate/index.html OTNにログインする必要ありますがオンラインで見積もりが出来ます。 アカウント持っていない人は、この見積もりツールを使う目的でアカウントを作ってみてはいかがでしょうか。 OLTP系とDWH系においてブロックサイズを考慮し、DWH系はブ
初めてのSQL
TOPICS Programming , Database 発行年月日 2006年04月 PRINT LENGTH 320 ISBN 4-87311-281-8 原書 Learning SQL FORMAT PDF 本書『初めてのSQL』は、SQL言語に初めて触れるプログラマを対象に、SQL言語の基本を解説する書籍です。その特徴は、実践に必要なポイントを過不足なく、コンパクトにまとめたこと。「データベースの歴史」から始まり「データベースの作成と設定」「クエリ」「フィルタリング」「複数テーブルからのデータの取得」「集合」「データの作成、変換、操作」「グループ化と集約化」「サブクエリ」「結合」「条件ロジック」「トランザクション」「インデックスと制約」などについて、丁寧に解説を行います。本書のサンプルは、MySQLを使用していますが、Oracle、SQL Serverなどでも動作するように配慮さ
［速報］Oracleデータベースをインメモリ化する「Oracle Database In-Memory」、性能を数百倍高速化、来月出荷へ
［速報］Oracleデータベースをインメモリ化する「Oracle Database In-Memory」、性能を数百倍高速化、来月出荷へ 米オラクルは、Oracle Database 12cをインメモリデータベース化し、従来と比較して数百倍の性能向上を実現する「Oracle Database In-Memory」を来月7月に出荷すると発表しました。 Oracle Database In-Memoryは、昨年9月に行われたOracle OpenWorld 2013の基調講演で発表されたもの。今回の発表には、そのときと同様に同社CEOのラリー・エリソン氏が登壇、熱のこもった説明を行いました。 エリソン氏は「Oracle Database In-Memoryは、アナリティクス処理を10倍も100倍も高速化し、OLTPも2倍、3倍と高速化する。しかもOracle RAC（Real Applicat
サーバサイドフラッシュで高速化した新型データベース専用マシン「Oracle Exadata X3」、国内提供開始。低価格モデルも追加
サーバサイドフラッシュで高速化した新型データベース専用マシン「Oracle Exadata X3」、国内提供開始。低価格モデルも追加 日本オラクルは、同社製品のハイエンドに位置する新型のデータベース専用マシン「Oracle Exadata X3 Database In-Memory Machine」の国内提供を開始したと発表しました。Excadata X3は今月10月2日にサンフランシスコで開催されたOracle OpenWorldで発表されたばかりの製品で、最大の特徴はメインメモリのほかに最大で22TBのフラッシュメモリを搭載し大幅な性能強化を果たした点です。 Exadataは従来のオラクルデータベースと完全に互換性を持ち、「OLTPとBIの両方で高性能を発揮するように作られた」（米オラクル データベースサーバ技術担当 シニア・バイスプレジデント アンドリュー・メンデルソン氏）。その高性
インメモリデータベースを巡って、マイクロソフトとオラクルがオンラインバトル
オラクルが、「マイクロソフトが発表したHekaton（インメモリデータベース機能）は、ベイパーウェア（蒸発してしまう、要するにハッタリ）だ」と挑発すると、マイクロソフトが「オラクルExadata X3のインメモリデータベースはキャッシュで、Hekatonの本当のインメモリ技術とは違う」と返す。インメモリデータベースを巡って、オラクルとマイクロソフトがネット上で議論を戦わせました。 オラクル「Hekatonはベイパーウェアだ」 最初に口火を開いたのはオラクルでした。Forbesに「Oracle Calls Out Microsoft over Vaporware Fantasy」という記事を11月14日付けで寄稿。この記事はForbesに直接ベンダが記事を書ける、いわばスポンサーコーナーに掲載されました。 記事を書いたのは、オラクルのシニアコミュニケーションVP Bob Evans氏。彼は、
米オラクル、新型データベースマシン「Exadata X4」発表。最大192コア、4TBメモリ、45TBフラッシュ、40Gb/sInfiniBand
米オラクルはデータベースマシンの新型となる「Oracle Exadata Database Machine X4」（以下Exadata X4）を発表しました。前モデルとなるExadata X3が昨年の10月に発表されており、ほぼ1年でバージョンアップしたことになります。 Exadata X4は、前モデルのExadata X3から採用されたPCIフラッシュストレージによるデータベース高速化の路線を拡張したものとなっており、Exadata X4のフルラック構成で4TBメモリ、44.8TBフラッシュストレージ、ミラー化された300TBストレージというスペック。 インメモリデータベース機能は含まず 対応するデータベースソフトウェアはOracle Database 11g R2 EEと、Oracle Database 12c EE。 スペックシートを見る限り、9月に発表されたインメモリデータベースと
オラクル、エンタープライズ向けNoSQLの新版「Oracle NoSQL Database 2.0」リリース。オープンソースの無償版も公開
Oracle NoSQL Databaseは、キーバリューストアであるOracle Berkeley DB Java Editionをベースに、分散処理機能、ロードバランス、管理機能、マルチノードバックアップ機能などを追加したもの。昨年10月に最初のバージョンが公開され、今回がそれ以来初のメジャーバージョンアップとなります。 性能向上やOracle、Hadoopとの統合強化 Oracel NoSQL Databaseの基本的なアーキテクチャは変わらず、プライマリキーのハッシュによって指定されたノードにキー／バリューのペアを書き込む分散キーバリューストア。シングルマスター／マルチレプリカ方式で、マスターノードが落ちたときにはPAXOSベースの自動フェイルオーバーを行い、単一障害点の排除と可用性を実現しています。 バージョン2.0での主な強化点は、性能向上、自動リバランシング、Oracel D
Fedora 19からはMySQLに代わりMariaDBを標準に採用「オラクルはMySQLプロジェクトをさらに閉鎖的にしている」。MariaDB Foundationもすでに設立
Fedora 19からはMySQLに代わりMariaDBを標準に採用「オラクルはMySQLプロジェクトをさらに閉鎖的にしている」。MariaDB Foundationもすでに設立 Linuxのおもなディストリビューションの1つであるFedora Projectは、これまで標準のデータベースとして採用していたMySQLの代わりに、Fedora 19からはMariaDBを採用するとして作業を進めています。 同プロジェクトのページ「Features/ReplaceMySQLwithMariaDB」には、その理由が次のように記されています。 Recent changes made by Oracle indicate they are moving the MySQL project to be more closed. They are no longer publishing any usef
［速報］オラクル、Oracleデータベースの遠隔バックアップサービスをクラウドで提供へ～Oracle OpenWorld 2013
［速報］オラクル、Oracleデータベースの遠隔バックアップサービスをクラウドで提供へ～Oracle OpenWorld 2013 米オラクル主催のイベント「Oracle OpenWorld 2013」がサンフランシスコで開幕しました。 最初の基調講演に登壇したCEOのラリー・エリソン氏は、In-Memoryオプションに続いてデータベースのバックアップ用アプライアンスと、そのクラウドサービスを発表します。 （本記事は「［速報］オラクル、Oracle 12cにインメモリとカラム型データベースの追加機能を発表～Oracle OpenWorld 2013」の続きです） データベースのバックアップ、リカバリ機器を発表 今夜最後の発表は「Oracle Database Backup, Logging, Recovery Appliance」だ。これが本当に製品の名前なんだよ（笑）。 Oracle D
［速報］オラクル、Oracle 12cにインメモリとカラム型データベースの追加機能を発表～Oracle OpenWorld 2013
［速報］オラクル、Oracle 12cにインメモリとカラム型データベースの追加機能を発表～Oracle OpenWorld 2013 米オラクル主催のイベント「Oracle OpenWorld 2013」がサンフランシスコで開幕しました。 同社CEOのラリー・エリソン氏は最初の基調講演に登壇。現在データベースの新しい技術として注目されているインメモリとカラム型データベースの機能をオプションとしてOracle Database 12cに追加すると発表。さらにインメモリ処理に優れた32TBメモリ搭載可能な新型SPARCサーバも発表しています。 基調講演の内容をダイジェストで紹介します。 Oracle DatabaseのIn-Memroyオプション発表 米オラクルCEO ラリー・エリソン氏、ご機嫌な表情で登場。
Oracle 12.1cはカラム型インメモリデータベースになるとエリソン氏。32TBメモリのSPARCサーバと組み合わせ
Oracle 12.1cはカラム型インメモリデータベースになるとエリソン氏。32TBメモリのSPARCサーバと組み合わせ 米オラクルCEOのラリー・エリソン氏は先日行われた電話会見にて、Oracle 12.1cがカラム型データベースとインメモリデータベース機能を備える、と発言したと報道されています。 Oracle Makes Big Promises After Weak Earnings - InformationWeek Oracle 12.1c database planned as SAP HANA competitor - CIO magazine CIO magazineの記事から、エリソン氏の発言を引用しましょう。 Oracle Database 12.1c will be a "columnar, compressed, high-speed, in-memory data
米オラクル、マイクロソフトと提携、セールスフォース・ドットコムと提携、ネットスイートと提携し、Oracle Database 12cを出荷開始。一連の狙いはクラウド市場での存在感
米オラクル、マイクロソフトと提携、セールスフォース・ドットコムと提携、ネットスイートと提携し、Oracle Database 12cを出荷開始。一連の狙いはクラウド市場での存在感 先週から今週にかけて、米オラクルは次々に大きな発表を行いました。これらを並べてみると、同社がクラウド市場で存在感を示すことを強く意識して行われたことが分かります。 先週行われた一連のクラウドに関する提携発表 日本時間の6月25日に行われたのが、マイクロソフトとのクラウドに関する提携発表です。Windows AzureのAzure仮想マシンとWindows ServerのHyper-Vを、Oracle DatabaseやWebLogic Serverの動作環境として認定する、というのがその骨子。 オラクルにとって、これは自社のソフトウェアが利用できるクラウドの選択肢を広げることとなります。マイクロソフトにとっては、
分散リアルタイムデータベース「SenseiDB」がオープンソースで公開。LinkedInのインフラとして開発
テキストなど非構造化データのデータベース機能とサーチエンジン機能を兼ね備えた分散リアルタイムデータベース「SenseiDB」が、オープンソースとして公開されています。 SenseiDBとは先生DBの意味らしく、「Sensei (先生) means teacher or professor in Japanese」と説明があり、ロゴにも「師」の文字が使われています。なぜ先生なのか、その意味について以下のように説明があるのですが…… This name indicates that the system can be used in place of Oracle database in many applications. この名前が示しているのは、このシステムが多くのアプリケーションにおいてOracleデータベースで使われているところで利用可能だということです。 TeacherやProfe
HDDをSSDにしたらデータベースはどれだけ速くなるか？ オラクルと富士通が実験
リレーショナルデータベースを利用する際には、高い性能を引き出すために物理設計をし、スキーマを工夫し、パラメータのチューニングを行うことがつねに行われてきました。 性能のボトルネックはたいがいHDDにあり、いかにそのボトルネックを回避するかがチューニングのポイントですが、最近では性能向上のための武器として、HDDよりもずっとアクセス性能の高いSSDが注目されています。SSDはHDDと置き換えるだけで、アプリケーションにまったく手を加えずに性能向上を可能にする手段として非常に魅力的です。 HDDの代わりにSSDを利用したら、リレーショナルデータベースの性能はどれだけ向上するのでしょうか？ オラクルと富士通が共同検証を行い、その結果をホワイトペーパーとして先週発表しました（参考「日本オラクルと富士通 フラッシュ技術活用によるデータベース高速化を共同検証」）。 ホワイトペーパーでは、HDDの代わり
データベース負荷テストツールまとめ(5) - SH2の日記
というわけで、JPOUG> SET EVENTS 20120721 | Japan Oracle User Groupに参加して発表をしてきました。通常の勉強会と比べて発表者と聴講者の一体感を増すための工夫がなされていて、とても良かったと思います。有限コーヒーかと思ったら無限ビールだったのも驚きです。JPOUGの運営メンバのみなさま、会場を提供してくださった日本オラクルのみなさま、当日お越しいただいたみなさま、どうもありがとうございました。 私のセッションでは、データベース負荷テストツールまとめ(5)と題して過去4回分のまとめと自作ツールの紹介をさせていただきました。JdbcRunnerはOracle Database、MySQLとPostgreSQLの間でTPC-BとTPC-Cの性能比較ができる唯一のオープンソースソフトウェアですので、いろいろ試してみていただければと思います。試した結果
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQLの観点から「Oracle Database」「PostgreSQL」 「MySQL」の特徴を整理しよう！
データベース技術の羅針盤