MySQL with InnoDB のインデックスの基礎知識とありがちな間違い - クックパッド開発者ブログ
こんにちは、サービス開発部の荒引 (@a_bicky) です。 突然ですが、RDBMS の既存のテーブルを見てみたら「何でこんなにインデックスだらけなの？」みたいな経験はありませんか？不要なインデックスは容量を圧迫したり、挿入が遅くなったりと良いことがありません。 そんなわけで、今回はレコードを検索するために必要なインデックスの基礎知識と、よく見かける不適切なインデックスについて解説します。クックパッドでは Rails のデータベースとして主に MySQL 5.6、MySQL のストレージエンジンとして主に InnoDB を使っているので、MySQL 5.6 の InnoDB について解説します。 InnoDB のインデックスに関する基礎知識 インデックスの構造 (B+ 木) InnoDB では B+ 木が使われています。B+ 木は次のような特徴を持った木構造です。 次数を b とすると、
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！｜ハイクラス転職・求人情報サイト AMBI（アンビ）
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！ オープンソースのデータベースとしてよく比較されるPostgreSQLとMySQL。どんな長所・短所があるのでしょう？ それぞれの専門家による対談で明らかにします。 エンジニアとして働いていると必ず直面する悩み。それは、「どのリレーショナル・データベース（以下、RDB）を選ぶのが最善なのか？」です。 RDBごとに長所と短所は異なっています。そのため自社サービスにマッチしないRDBを選んでしまうと、それがボトルネックとなり開発・運用にトラブルが生じるケースは少なくありません。 なかでもよく比較検討されるのが、PostgreSQLとMySQL。ともにオープンソースRDBのデファクトスタンダードであり、高い性能と数多くの機能を持っています。 では、両者は具体的にどのような長所・短所があるのでしょうか。そ
multi-versionの基礎 - 急がば回れ、選ぶなら近道
multiversionの基礎 自分用のMulti Version Concurrency Controlのまとめ MVCCの基礎理論をまとめておく。今後はここを参照する。 基本的にTX本とCC本から必要な部分をまとめている。 （一回まとめてるけど、Multi-version Conflict Serializability - 急がば回れ、選ぶなら近道 前回はそもそもCSRとの混線を防ぐという意味だったので、今回はもっと基本的なところからさらに。今回はCSRとの関係はガン無視。） 前置き：自分の考えを記録的に 基本的にMulti Version Concurrency Control （以下MVCC）は理論先行だった。これはMVCCのオーバへードがsingle-versionのパフォーマンスを凌駕できなかったことによる。以下の理由によりMVCCが今後は伸張すると考えている。 1.メモリー
非公式MySQL 8.0オプティマイザガイド by yakst
View the Project on GitHub はじめに サーバーアーキテクチャー B+ツリー インデックス Explain オプティマイザ トレース 論理変換 コストベース最適化 ヒント プランの比較 複合インデックス カバリングインデックス Visual Explain 変わりゆく実行計画(Transient Plans) サブクエリー 共通テーブル式(CTE)とビュー 結合 集約 ソート パーティショニング クエリーリライト 不可視インデックス クエリープロファイリング JSONと生成列 文字セット 非公式MySQL 8.0オプティマイザガイド 日本語版 原文URL: http://www.unofficialmysqlguide.com/ 翻訳者: doublemarket (@dblmkt) The Unofficial MySQL 8.0 Optimizer Guideの
46巻 3号 (1994.3) 特 集 7 生 産 研 究 研 究 速 報 UD(3681.3 :661.68 データパ ラレルマシンを用いた超並列関係 データベース処理 Massively Parallel Relational Database Processing on Data Parallel Machines 岡 田 英 ��
46巻 3号 (1994.3) 特 集 7 生 産 研 究 研 究 速 報 UD(3681.3 :661.68 データパ ラレルマシンを用いた超並列関係 データベース処理 Massively Parallel Relational Database Processing on Data Parallel Machines 岡 田 英 明 * Hideaki OKADA and l.は じ め に 従来,関 係 データベースシステムの性能向上 を目的 とし 数多 くの研究がなされて きた。現在,GAMMA⇒ ,SDCの な どに代表 される無共有 (shared nothing)型アーキテク チ ャに基づ く並列データベースシステムは最 も有効 なアプ ローチの一つ と考 えられてお り開発,評 価等が進め られて いる。一方でコネクシ ョンマシンをは じめ とするデータパ ラレルマシンと
佐藤一郎氏が語る「データ処理技術の歴史とビッグデータの現在」
国立情報学研究所は、情報系・コンピュータサイエンスの研究者を中心とした文部科学省系の研究所です。そのほかに、大学や国の研究機関のネットワークも扱っており、環境系のネットワークも管理しています。 私自身は、データベースというより、データベースを実行する分散システムといわれているもののインフラが専門ですので、本日はデータベースというより、データベースの外側からこれからどういう技術が起きて、それがデータベースにどう影響するのかという話をさせていただきます。 本日のセミナーのサブタイトルに「ビッグデータ」とありますが、ビッグデータの話になると、必ずデータ量が増えているという話になります。例えば、2020年になるとデータ量は2011年の50倍になります。しかし、皆様の関心事は、世の中のデータが増えるか増えないかということより、皆様の企業やお客様のデータがどれだけ増えていくのか、そのデータがどのように
Spannerお勉強メモ - スティルハウスの書庫の書庫
Spannerお勉強メモです。かなり久々の技術系エントリだ。。 朝起きてTwitterみてたら@ichiro_satoh先生のこんなつぶやきが。 現時点ではGoogle Spannerの一番詳しい資料かも。berlinbuzzwords.de/sites/berlinbu…— ICHIRO SATOHさん (@ichiro_satoh) 6月 6, 2012 。。やっぱりGoogleのインフラ情報は学会発表で流れてくるケースが多いなぁと思いつつ、先日公開されたF1（Google規模でスケールするRDB。AdWords用に使われてる）でもSpannerが重要なカギを握っているので、ついカッとなってスライドの要点を訳してみました。 原文はこれです：Building Spanner - Better clocks → stronger semantics（セッションのビデオ） 一行に要約すると、
Spanner: Google's Globally-Distributed Database
Spanner is Google's scalable, multi-version, globally-distributed, and synchronously-replicated database. It is the first system to distribute data at global scale and support externally-consistent distributed transactions. This paper describes how Spanner is structured, its feature set, the rationale underlying various design decisions, and a novel time API that exposes clock uncertainty. This AP
クラウド環境ではデータベースは「非正規化」して使う？ － ＠IT
2009/06/09 2009年4月7日、グーグルは利用者が作成したアプリケーションをスケーラブルなホスティング環境で稼働させられるクラウド系サービス「Google App Engine」で、新たにJavaをサポート言語に加えた。Java言語のサポートによって、業務アプリケーションのクラウド移行は起こるのか？ Google App Engine担当者に話を聞いた。 米グーグル デベロッパー・アドボケートのフレッド・ソーサー（Fred Saucer）氏。もともとJavaによる業務アプリケーション開発のコンサルタントだったが、最近グーグルに入社したという ――コンシューマ市場ではクラウドサービスの受容が進む一方、企業ユーザーはクラウド移行に消極的にも見えます。 ソーサー氏 確かにコンシューマのほうが新しいものを試して、利用するようになるのが速い傾向はあります。でも、そうしたコンシューマ向けサー
データベースの動的デフラグ - mixi engineer blog
ノートPCの冷却ファンがうるさいのを対処しようとしてWebで調べたら、そのファンの設計者が「静音性へのこだわり」を語ったページにたどり着いて複雑な心境のmikioです。今回は、Tokyo Cabinet（TC）の最新バージョンで実装された動的デフラグ機能について長々と説明します。 断片化とデフラグ 任意のサイズのデータを管理する記憶装置においては、利用可能領域の断片化（fragmentation）の問題が常につきまといます。ファイルシステム上で任意のサイズのファイルを管理する際にも、データベースファイル内で任意のサイズのレコードを管理する際にも、C言語のmalloc/free関数群でメモリの管理をする際にも、様々なレイヤで断片化が起きうるのです。なぜなら、データを削除もしくは移動した際の空き領域を再利用するにあたって、その領域と同じサイズのデータが常に入ってくるとは限らないからです。特にデ
ハードウェア進化によって20億レコードが1秒で検索できるように
ハードウェア進化によって20億レコードが1秒で検索できるように：SAPプラットナー氏がアプリケーションの進化について講演 独SAPのプライベートイベント「SAP SAPPHIRE 2009」の2日目となる5月13日（米国時間）には、同社の共同創業者であるハッソー・プラットナー（Hasso Plattner）氏が講演を行った。 CPUの進化によって、アプリケーションも格段の進化を遂げていく プラットナー氏はSAPを創業した後、30年以上にわたって同社の社長を努め、現在は監督委員会会長を務めつつ大学で教鞭をとっている。そのプラットナー氏の講演は「ハードウェアによるスピード化」について。 同氏はまず現在の企業が置かれている状況を分析。「現在、世の中の変化は非常に早い。例えば2008年の当社の業績は、8月末まで好調に推移していたが、9月に急激に落ち込んだ。これは、“従来のやり方”について、転換期が
SSDだとOracleは速い？ サンの技術者がベンチ公表 － ＠IT
2009/05/12 既存データベースサーバのハードディスクをSSDに置き換えた場合、どの程度パフォーマンスが向上するのか？ この問いへの回答の1つとなり得るベンチマークテストを、“MrBenchmark”を名乗るサン・マイクロシステムズのチーフ・エンジニアのBenoit Chaffanjon氏が5月11日付けのブログで公開している。 ベンチマークは2種類。1つはオンメモリで処理が完了するもの、もう1つはキャッシュメモリに乗り切らずにドライブ（HDD/SSD）へのアクセスが発生するもの。テストに用いたサーバのコンフィギュレーションは以下の通り。 Solaris 10 Update 6 Oracle 10.2.0.2 Java 1.7 build 38 SLAMD 1.8.2、iGenOLTP Sun Blade X6270（Xeon X5560@2.8GHz×2、DDR3 32GB） In
MySQLのEXPLAINを徹底解説!!
以前、MySQLを高速化する10の方法という投稿で「EXPLAINの見方についてはいずれ解説しようと思う」と書いてしまったので、今日はその公約？を果たそうと思う。 MySQLのチューニングで最も大切なのは、クエリとスキーマの最適化である。スキーマの設計は一度決めてしまうとそのテーブルを利用する全てのクエリに影響してしまうためなかなか変更することは出来ないが、クエリはそのクエリだけを書き直せば良いので変更の敷居は低い。そして遅いクエリをなくすことは、性能を大幅に向上させるための最も有効な手段である。従って、アプリケーションの性能を向上させたいなら、まず最初にクエリのチューニングを検討するべきなのである。 最適化するべきクエリはスロークエリログやクエリアナライザで見付けられるが、ではそのようなクエリが見つかった場合にはどのように最適化すればいいのか？そのためにはまず現在どのようにクエリが実行さ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQL 8.0 Optimizer Guide
GPUとSSDがPostgreSQLを加速する～クエリ処理スループット10GB/sへの挑戦～ [DB Tech Showcase Tokyo/2017]![GPUとSSDがPostgreSQLを加速する～クエリ処理スループット10GB/sへの挑戦～ [DB Tech Showcase Tokyo/2017]](https://cdn-ak-scissors.b.st-hatena.com/image/square/255658386c37b7f0c6de69ed4efa7023f74b1176/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20170906dbtsgpussdacceleratespostgresqljp-170906073226-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Streaming Big Data with Self-Adjusting Computation
Google Spannerまとめ
Googleが分散トランザクションセマンティクスへの回帰に導くSpannerに関する論文を公開
グーグル「Spanner」：地球大のリアルタイム・データベース
Flash-Based DBMSの最前線
