MySQLのパーティショニング - 祈れ、そして働け ～ Ora et labora
パーティショニングはMySQL 5.1で追加された新機能です。 パーティショニングの種類 種類 内容 RANGE パーティションごとに範囲を指定して振り分けます。 LIST パーティションごとに格納する値で振り分けます。 HASH 1つのカラムの値を式の結果で振り分けます。式を指定しないとMOD関数を使用します。また、大量のデータにはLINEAR HASHが用意されています。 KEY 1つ以上のカラムの値をMD5関数やPassword関数で評価して分割します。 パーティショニングの制約 パーティショニング表現に含まれるカラムは、そのテーブル内に存在するすべてのプライマリキーとユニークキーに含まれていなければなりません。 ただしプライマリキー、またはユニークキーが存在しない場合は例外です。 パーティショニング表現は連続した整数値をとるものでなければなりません。 たとえば日付を利用する場合、T
［MySQLウォッチ］第40回 パーティショニングで高速化し大量データに備える
大量のデータを1つのテーブルに格納すると何かと不便となる。処理対象が大量だけに検索をはじめとして処理時間が大きくなる。現実の生活は、手に余る大量の物を小分けにするというテクニックをよく使う。データベースでもこの手法は有効である。大量データを小分けにすることで、処理の高速化と格納効率を向上することが可能である。今回は、MySQL 5.1の新機能の筆頭に上がっているパーティショニングを解説する。 MySQL 5.1の注目機能パーティショニングとは パーティショニングとは、テーブルを分割して性能を向上させるための技術だ。MySQL 5.0でもテーブルの分割機能はあった。複数のテーブルを連結して１つのテーブルに見せかけるMARGEストレージエンジン(テーブル)、SELECTステートメントを結合するUNIONなどがある。これらの機能は、もともと別々のテーブルを結合して処理する後処理的な位置づけになる
Twitter、「MySQL」独自コードの一部をオープンソース化
Twitterは、「MySQL」に施した多くの修正の一部をオープンソース化した。MySQLは、ユーザーによって生成されるデータの大半を保存するためにTwitterが使用しているデータベーステクノロジだ。 Twitterの開発者であるJeremy Cole氏とDavi Arnaut氏はTwitterのエンジニアリングブログの中で、「MySQLは、関心のグラフやタイムライン、ユーザーデータ、ツイート自体といったほとんどのTwitterデータを裏で支える永続ストレージテクノロジだ。われわれは知識共有の価値を信じており、オープンソースソフトウェアは革新を促進すると考えているので、『BSD New』ライセンスの下、MySQLに関するわれわれの成果を『GitHub』でオープンソース化することに決めた」と述べた。 Twitterのチームが公開したコードは、より多くのステータス変数の追加や、大規模なNUM
MySQLでサービス停止のないALTER TABLEの検討 - SH2の日記
MySQLでテーブルへのカラム追加、インデックス追加やテーブルの再編成などを行うと、その間テーブルに共有ロックがかかってしまいます。そのためこれらのメンテナンス処理は、通常利用者の少ない深夜早朝帯にサービスを止めて実施する必要があります。本日はそれを無停止、オンラインのままでできないかという話題です。 基本的なアイデア メンテナンス対象の元テーブルをコピーして、作業用の仮テーブルを作ります 仮テーブルに対して、カラム追加などの変更を加えます その間、元テーブルに対して行われる更新処理について差分を記録しておきます 仮テーブルの変更が終わったら、記録しておいた差分データを仮テーブルに反映します 差分データの反映が終わったら、元テーブルと仮テーブルを入れ替えます これと似たようなことを考えた方は結構いらっしゃるのではないでしょうか。ただ、言うは易し、行うは難しです。整合性がきちんと取れるかどう
リアルタイム・ランキングを考える | GREE Engineering
はじめに こんにちは。プラットフォーム開発部のsp1rytusと申します。 先日、私もついに30歳のおっさんになってしまいました。加齢臭が出ないようにがんばります！ ランキングって？ ランキングは誰でもわかる、何らかの得点をソートして順位位置を決定する凄く簡単でシンプルなものです。しかし、ゲームを扱うコンテンツ・サービスにおいては、得点を通算/日別に順位付けされたものが直ぐに目に入るように、他人と自分を比較する非常に重要な役割を果たしています。そこで、この記事では次の３つ要件を満たすようなランキング・システムの難しさと、それを解決するための一例を簡単に説明させて頂きます。 順位付けはリアルタイムに行い、集計時間を必要としない。 100万件以上の得点データが扱える。 すべてのデータが正しい順位付けで取得できる(線形補完などで順位を概算しない）。 リアルタイムによる正確な順位付けは、データ件数
MySQL DBマスタのDC間移設 | Ore no homepage
システムをデータセンターAからデータセンターBに論理移設を行うときのメモ。 肝になるのはDB、特にマスタDBだと思うので、主題の通りおもにDBマスタの切り替えに焦点を当てて手順を書く。 移設先であるデータセンターBではサーバ構築やアプリケーション/コンフィグのデプロイは完了していて、新マスタおよび全スレーブは現マスタにレプリを張っている状態からスタートする。新マスタにはバイナリログ出力など、DBマスタとして振る舞うための設定が入っているものとする。 手順の要約 現DBマスタへの更新クエリをすべてブロックする 全てのスレーブと新マスタでshow slave statusしてログとポジションが一致していることを確認する 新マスタと全てのスレーブでstop slaveする 新マスタと全てのスレーブでreset slaveする 新マスタでreset masterする 全てのスレーブでchange
規模の大きなシステム開発に。データベース設計書からSQL文に変換·Database Modeling Excel MOONGIFT
Database Modeling Excelは指定フォーマットに沿ってDB設計書を作成することでSQL文に変換してくれるExcelファイルです。 システムの設計書を作成する中でデータベース定義書を書くことがあると思います。そんなときにはDatabase Modeling Excelのテンプレートに沿って記述してみましょう。そうすれば作成した後、SQL文に簡単に変換できますよ。 ファイル構成です。このExcelファイルはデモ兼テンプレートとなっています。MySQL/Oracle/SQL Server用が用意されています。 MySQL版です。まず表紙があります。 各テーブルの定義です。この形式に沿って自分で記述します。 ルールも書かれています。 処理を行うバッチファイルの内容です。 実際に生成されたSQLファイルです。MySQLのものを読み込めばMySQL対応のSQLが出力される仕組みです。
SystemTapでMySQL 5.5のDisk I/Oを分析する - SH2の日記
2010年1月の記事SystemTapでMySQLのDisk I/Oを分析するの続きです。以前作成したSystemTapスクリプトは、実はMySQL 5.5のDisk I/Oを分析することができませんでした。というのも、MySQL 5.5からInnoDBが非同期I/Oを行うようになったのですが、以前のスクリプトは非同期I/Oに対応していなかったためです。本日はMySQL 5.5におけるInnoDBの非同期I/Oについて、確認していきたいと思います。 非同期I/Oとは 非同期I/Oとは、I/O処理をブロックされることなしに行う方式のことです。通常のI/O処理はそれが完了するまで待たされてしまうのですが、非同期I/Oを用いることでI/O処理の完了を待つことなしに他の処理を進めることができます。以下のウェブサイトでとても詳しく解説されています。 バッファキャッシュとAIO（1） - O'Reil
PHPによる日付・時刻・時間の計算・演算
とある日が今から何日後？ というのをPHPでやるならどうするのがいいんだろう そんな感じで調べていたらPHP による日付・時刻・時間の計算・演算のまとめ – hoge256ブログを見つけました これこれ、って思ったけどよくよく見てみるとちょっと情報が古いような、2007年の記事だし・・・ という訳でちょっと書き直してみました 現在時刻の取得 echo date('Y-m-d H:i:s'); $date = new DateTime(); echo $date->format('Y-m-d H:i:s'); 日付/時刻のパース 日付/時刻を表したある書式の文字列から、年、月、日、時、分、秒を取得します echo date('Y-m-d H:i:s', strtotime('2011-08-12 10:35:20')); $date = new DateTime('2011-08-12 10
知って得するInnoDBセカンダリインデックス活用術！
InnoDBはクラスタインデックスという構造になっている。今日はクラスタインデックスがどういうことかということを、皆さんに理解して頂きたい。もっとも理解して頂きたいポイントは「セカンダリインデックスのリーフノードには主キーの値が含まれている」ということだ。 主キーの構造InnoDBの主キーは次の図のように「データが主キーのリーフノードに含まれる」という構造になっている。このような構造をクラスタインデックスという。 このような構造になっていることには利点と欠点があるが、大きな利点は主キーの値で検索をすると非常に高速だということだ。主キーのリーフノードにたどり着いたときには、既にデータのフェッチも完了している。データとインデックスが別々に格納されているタイプのストレージエンジンでは、インデックスからデータの位置を読み取って、その後データファイルからデータをフェッチする。このように二段階の操作が
MySQL TIPS 3 空間情報(geometry)を使って経度・緯度の検索を高速化する - イノベートな非日常
以下のようなピタゴラスの定理を使った指定した経度緯度に最も近いデータを取得するSQLは結構ありがちですが、CPU負荷が高く効率も悪いのでMySQLに標準搭載となった空間情報(geometry)を使ってみることにします。 SELECT * FROM loc ORDER BY power(abs(latitude - 緯度 ), 2) + power(abs(longitude - 緯度 ), 2) LIMIT 1 MySQLの空間情報(geometry)機能はPostGIS(Postgresカスタマイズ)に比べると貧弱なので、その為の工夫を行います。例えばここのとおりのままだと逆にSQLが遅くなります。 まずは、テーブル定義から 通常のテーブル CREATE TABLE IF NOT EXISTS `loc` ( `loc_id` int(11) NOT NULL auto_incremen
MySQL TIPS 5 ストアドプロシージャで指定した数のダミーデータを用意する2 (失敗編) - イノベートな非日常
以前のエントリーで作ったinsert_generate_seriesを複数INSERT,複数カラムで生成データを使用可能にしてみる DROP PROCEDURE insert_generate_series; delimiter // CREATE PROCEDURE insert_generate_series( IN target VARCHAR(255) , -- insert対象のテーブル、カラム名を指定 IN value VARCHAR(255) , -- valuesを記述 @numがgenerate_seriesで生成された値になる IN start_num INT , -- 開始値 IN end_num INT , -- 終了値 IN step INT -- 増分 ) begin set @num:= start_num; set @sql:= concat('INSERT
MySQL :: MySQL 8.0 リファレンスマニュアル :: 8.3.6 マルチカラムインデックス
MySQL は複合インデックス (つまり、複数のカラムに対するインデックス) を作成できます。 インデックスは最大 16 カラムで構成できます。 特定のデータ型では、カラムのプリフィクスにインデックスを設定できます (セクション8.3.5「カラムインデックス」を参照してください)。 MySQL では、インデックスで、すべてのカラムをテストするクエリーまたは最初のカラム、最初の 2 つのカラム、最初の 3 つのカラムというようにテストするクエリーにマルチカラムインデックスを使用できます。 インデックス定義の正しい順序でカラムを指定する場合、単一の複合インデックスにより、同じテーブルへの複数の種類のクエリーを高速化できます。 マルチカラムインデックスは、インデックス設定されたカラムの値を連結して作成された値を格納する行である、ソート済みの配列とみなすことができます。 複合インデックスの代わりに
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
さくらのVPS を改めて使いはじめる 7 - WordPress - アカベコマイリ
PHP と MySQL でカジュアルに MapReduce する
MySQL
AndroidのNFC機能でFeliCaの読み書きをする | −ゆめログ− | ゆめみスタッフブログ
リレーショナル・データベースの世界
【21社から5社をSNSの評判から厳選】おすすめの出会い系アプリ＆失敗しない選び方｜マッチングアプリ漂流教室 – マッチングアプリの感想をSNSの意見を参考に紹介
IBM Developer
