MySQLのシャーディングを実現する「MySQL Fabric」をリリース、米オラクル
大規模なWebアプリケーションのバックエンドでは、データを分割して複数のデータベースで運用することによりスケーラブルな運用を実現する「シャーディング」と呼ばれる技術がよく使わています。 米オラクルはMySQLでこのシャーディングを実現するソフトウェア「MySQL Fabric」を含む「MySQL Utilities」をリリースしました。 PHP、Java、Pythonに対応 MySQL Fabricは基本的にデータのレプリケーションを活用してシャーディングをするフレームワーク。データの範囲あるいはハッシュ値を分割キーとして用いたシャーディングを実現します。 アプリケーションからMySQL Fabricを利用するには、専用のコネクタを用いて接続する必要があります。コネクタは現在、Python、Java、PHPに対応しており、今後ほかの言語にも対応予定。 MySQL Fabricには、全体を管
Pinterestはいかにスケーラビリティと格闘してきたのか（後編）。QCon Tokyo 2013
4月23日に都内で開催されたエンジニア向けのイベント「QCon Tokyo 2013」。急速に人気サイトへと成長したPinterestが、その裏でいかにスケーラビリティと格闘してきたのかをPinterestのエンジニア自身が紹介するセッション「Scaling Pinterest」が行われました。 この記事は「Pinterestはいかにスケーラビリティと格闘してきたのか（前編）。QCon Tokyo 2013」の続きです。 クラスタリングは怖い スケーラブルなシステムで問題なのは、データベースがひとつのサーバに収まらなくなったときにどうするのか、ということだ。 例えば、Cassandraは自動的にスケーリングしてくれて設定も簡単。可用性も高く単一障害点はない。しかし障害はそれでも起こるもので、クラスタリングの技術はまだ枯れておらず基本的に複雑なものだ。コミュニティもまだ十分ではない。 私たち
MySQL のチューニング (ボトルネックの検出) : Figure out!! -ドリコムエンジニアブログ
こんにちは！ onk です。 SAPさんが各社とも「ソーシャルアプリは負荷対策が大事」って言っていますね。弊社でも mixi アプリ(PC)，mixi アプリモバイルをリリースしたときはお祭り状態だったので，ふりかえりも兼ねて MySQL のボトルネックを調べる方法を書いてみました。(幸い，モバゲーオープンゲームのリリース時はこれらの経験が役に立ったので何ともなかったです) といっても 9 割方 そもそもサーバの設定がおかしい 更新が多いテーブルなのに MyISAM エンジン for 文の中でクエリを発行 INDEX 張ってない データ量がえらいことになってる 辺りなんですけどねー。 基本は下から まず，ボトルネックを調べるときは下の層から上がっていくのが基本です。たぶん。 なので ssh でサーバに入って (LoadAverage 300 ぐらいまでならなんとか入れますね) 以下のコマン
SQLのインデックスについて解説した洋書が良かった件。PDF版もあるよ（2012/10/22までの割引購入クーポン有） - このブログはURLが変更になりました
最近読み終えたSQL PERFORMANCE EXPLAINEDという洋書がインデックスについて詳しく説明されてていい感じでした。原著はドイツ語で本人による英訳版らしく誤字いくつか目につきますが、インデックスについてここまで詳しく説明した書籍は他に例がありません。私が知らないだけかもしれませんが。 どういった内容か 複合インデックス、部分インデックス、クラスタインデックスの使うポイント、LIMIT、ORDER BY、GROUP BYでのインデックスの使われ方などが解説されてます。また、MySQL、SQL Server、PostgreSQL、Oracleの各実装の違いなども丁寧に紹介されています。対象バージョンが比較的新しいのもポイントですね。 詳しくは第二章まで読めるプレビュー版とその目次をご覧ください。 ペーパーブック版とPDF版あります 私が購入したときはペーパーブック版しかなかったの
複合インデックスで範囲検索が遅いとき - （ひ）メモ
DDLとデータは末尾に示しますが、複合インデックスが効くはずのクエリなんだけどナめてる行数が多くて困ったというお話です。(MySQL 5.1.55) このクエリで返ってくる行数は246件なんですが、それにしてはナめてる行数(rows)がやたら多いです。where句で使っているageとlast_updateとで複合インデックスを張っているのに、です。 between使用: explain extended select id from betweeeeen where age between 30 and 35 and last_update >= 946612000 \G ↓ id: 1 select_type: SIMPLE table: betweeeeen type: range possible_keys: i1 key: i1 key_len: 10 ref: NULL rows
MySQL :: MySQL 8.0 リファレンスマニュアル :: 5.1.8 サーバーシステム変数
MySQL サーバーは、その操作を構成する多くのシステム変数を保持します。 各システム変数にはデフォルト値があります。 システム変数は、コマンド行のオプションを使用するか、オプションファイルでサーバー起動時に設定できます。 これらのほとんどは、実行時に SET ステートメントを使用して動的に変更できます。これにより、サーバーを停止して再起動しなくても、サーバーの操作を変更できます。 式でシステム変数値を使用することもできます。 グローバルシステム変数のランタイム値を設定するには、通常、SYSTEM_VARIABLES_ADMIN 権限 (または非推奨の SUPER 権限) が必要です。 セッションシステムランタイム変数値を設定する場合、通常は特別な権限は必要なく、すべてのユーザーが実行できますが、例外があります。 詳細は、セクション5.1.9.1「システム変数権限」を参照してください シス
MyISAMを使っている時key_buffer_sizeは大きくし過ぎてもいけない
MyISAMを使っている時key_buffer_sizeは大きくし過ぎてもいけない 2012-05-02 MyISAMのみを使っているMySQLサーバで、key_buffer_sizeのサイズは大きくても小さくてもダメですよ、という例。 その前にちょっと復習。MySQLの主なストレージエンジンといえばMyISAMとInnoDBだが、データやインデックスのキャッシュの仕組みには、 InnoDB : インデックス、データともMySQLがキャッシュ管理する(innodb_buffer_pool_sizeで設定) MyISAM : インデックスはMySQLがキャッシュ管理する(key_buffer_sizeで大きさを設定)。データはOSのキャッシュ機構におまかせ という違いがある。 ものすごく簡単に言えば、InnoDBの場合はなるべく大きな innodb_buffer_pool_size を設定し
長い文字列が格納されるカラムに対してINDEXを張る場合には、プリフィックス長を指定してみる - Enjoy*Study
CHAR、VARCHAR、BINARY、そして VARBINARY カラムには、インデックス プリフィックス長を指定する為に col_name(length) 構文を利用して、カラム値の最初に部分だけを利用するインデックスを作成する事ができます。BLOB と TEXT カラムもまたインデックスする事ができますが、プリフィックス長を与える 必要があります。。プリフィックス長は非バイナリ文字列タイプには文字で指定され、バイナリ文字列タイプにはバイトで指定されます。これは、インデックス エントリはCHAR、VARCHAR、そして TEXT カラムのそれぞれのカラム値の最初の length 文字で、そして BINARY、 VARBINARY、そして BLOB カラムのそれぞれのカラム値の最初の length バイトで成り立っているという事です。 ここに表示されているステートメントは、 name カ
バッチ処理にバインド変数はもうやめません？ バッチ処理にバインド変数はもうやめません？
バッチ処理にバインド変数はもうやめません？ 2012/4/6 株式会社コーソル 渡部亮太 ~ バッチ処理の突発遅延を題材にして考えてみる ~ 今日お伝えしたいこと バッチ処理SQLを バインド変数化するの はやめませんか？ OLTP処理SQLは バインド変数化してOKなんだけどね・・・ 自己紹介 + 所属企業の紹介 • 渡部 亮太（わたべ りょうた） SE、PM を経験後、Oracle Databaseのエキスパートを目指して転職 執筆 「プロとしてのOracleアーキテクチャ入門」 「プロとしてのOracle運用管理入門」 講演 Developers Summit 2009 Oracle LOVERS シーズン2 第2回 Oracle DBA & Developer Days 2010, 2011 • 株式会社コーソル 「CO-Solutions＝共に解決する」の理念のもと、Oracle
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLチューニング
MySQL :: MySQL 5.1 リファレンスマニュアル (オンラインヘルプ) :: 4.5.4 クエリオプティマイザパフォーマンスの管理
Ruby から Java へのシフトで大統領選を乗り切った Twitter
1台から500台までのMySQL運用(YAPC::Asia編)