[MySQL][VP]Vertical Partitioningストレージエンジン 0.2リリース
Vertical Partitioningストレージエンジンのバージョン 0.2をリリースしました。 http://launchpad.net/vpformysql 今回の主な変更は以下です。 ・テーブルパーティショニングに対応しました。 前回のリリースでは紹介だけで実装されていなかったテーブルパーティショニングが今回から利用できるようになりました。 ※この対応により、今回からパッチファイルが追加されていますのでご注意下さい。 ・InnoDBのセカンダリindexのPK部分を有効活用するようにしました。 InnoDBはセカンダリindexにPKのカラムを持っているので、これを以下のような記述で活用できるようにしました。 create table tbl_b( col_a int not null, col_b varchar(20), col_c int not null, primary
[MySQL][Spider]Spiderストレージエンジン 0.12リリース
Spiderストレージエンジンのバージョン 0.12をリリースしました。 http://spiderformysql.com/ Spiderストレージエンジンは、テーブルパーティションとテーブルリンクを組み合わせることで、複数のリモートサーバにあるテーブルを、ローカルサーバにある１つのテーブルとして利用することを可能にするものです。(database sharding) 更新の同期は、Spiderストレージエンジン内部でxaトランザクションを利用して保障します。 資料： http://www.mysqlconf.com/mysql2009/public/schedule/detail/6837 今回の主な変更は以下です。 (以下に登場する「テーブルパラメータ」とは、テーブル固有のパラメータのことです。詳細は、ダウンロードドキュメント中の「04_table_create.txt」「06_ta
[MySQL][VP]Vertical Partitioningストレージエンジン 0.1リリース
Vertical Partitioningストレージエンジンというストレージエンジンをリリースしました。 http://launchpad.net/vpformysql このストレージエンジンは、１対１の関係にある複数のテーブルを同一のテーブルのように扱うことを可能にするものです。 これは、１対１の関係にある複数のテーブルをjoinしたviewに似ていますが、MySQLのviewとは以下の点が異なります。 ・insertできる。 ・パーティションの刈り込みが起こる。(関係のないパーティションは利用しない) Vertical Partitioningストレージエンジンは以下のような用途で利用できます。 (Vertical Partitioningテーブルを親テーブル、統合されるテーブルを子テーブルと呼びます) １．レコードサイズの大きいInnoDBテーブルのテーブルスキャンは、レコードが増え
オトコの近況 - ブログ停滞中のワケ
などという心配はしないで頂きたい。至って快調にマイペースで筆を進める毎日を送っている。ただしブログにではなくMySQL関連の書籍として。ブログは書籍の執筆が完了してから本格的に再開しようと思うので、その際にはまた是非お付き合い頂きたい。書籍も頑張って書いているので是非よろしくお願いしたい。 今書いてるのはこんな内容のものだ。原稿からプチ抜粋。 クエリキャッシュのヒット率はどのように計算すれば良いのでしょうか？ここで改めて説明するために、上の一覧ではクエリキャッシュについては敢えて省略しましたが、クエリキャッシュのヒット率は次の計算式で求めることが可能です。 Qcache_hits / (Qcache_hits + Com_select) Qcache_hitsは文字通り、クエリキャッシュにヒットして、キャッシュからクライアントへ結果が送信された回数です。キャッシュミスが発生すると、MySQ
Chrome OSアーキテクチャ大予想！
Chrome OSが出るぞ！というニュースを聞いたとき、ある種の衝撃が走った。というよりとても腑に落ちたと言った方がより正確に俺の心情を表しているかも知れない。そう、まるで心の鍵穴にChrome OS発表のニュースが鍵となって、今まで開くことが出来なかった心の奥底にある謎の扉を開いたような感覚だった。世間的には「ChromeブラウザがのっかったLinuxの1ディストリビューション」だという見方が趨勢であるように思うが、俺はChrome OSが断じてそのような安易で在り来たりなものとして登場するのではないと予感している。そしてまだ見ぬChrome OSにワクワクしながら、そのアーキテクチャを想像してニヤニヤしたりしているのである。まだChrome OSのアーキテクチャについては詳細が公表されていないが、以下のようなものになるんじゃーないだろうか。 この図はあくまでも個人的な予想というか妄想に
あの漢（オトコ）が・・・ブログを始めた!!
木下氏はInnoDBのスペシャリストであり、おそらく実力はアジア一だろう。しかもレプリケーションなど、MySQLの他の機能に関しては、興味もないし知らないという尖った知識の持ち主である。尖ったオトコが綴るブログに期待したい。 初稿はInnoDBにおけるテーブルスペースのインポートのHackに関する内容だ。これまで、innodb_files_per_tableオプションを利用している際にできるInnoDBのテーブルスペースのインポートは、テーブルスペースIDがマッチしていないといけないなどの制約があって面倒だったが、その辺の不都合な箇所を改良して任意のテーブルスペースをインポートする機能を、彼がInnoDBからforkしたXtraDBに実装していますという内容だ。 これからもどんどんマニアックでディープな記事が投稿されることだろう。彼のブログ発進を喜びたい!!
目覚ましい進化を見せるストレージエンジン - PBXT改善の軌跡
PBXTというストレージエンジンがある。これは、PrimeBase社によるストレージエンジンで、トランザクションをサポートした本格的なものである。（つまり、InnoDBやFalconの代替として使うことを目指したエンジンなのである。）PBXTは次のページからダウンロード可能だ。 http://www.primebase.org/ 上記のページにも書いてあるが、PBXTの特徴は次の通り。 MVCC（Multi Version Concurrency Control）トランザクションのサポートACID準拠行レベルのロックデッドロック検知外部キーのサポートWrite Once（追記型アーキテクチャ）BLOBストリーミング 最後の2つ以外はInnoDBと同じである。Write Onceとは追記型のアーキテクチャで、InnoDBのように独立したログが存在しないという意味である。（PostgreSQL
Good Bye MySQL 6.0
MySQL 6.0.11-alphaがリリースされた。が、アナウンスレターには気になる記述がひとこと。「これはMySQL 6.0の最後のリリースです」と。寝耳に水かも知れないがこの話は本当だ。実はこれが最後のMySQL 6.0のリリースになる。つまり、MySQL 6.0の開発はこれでストップするのだ。 などと心配しないで頂きたい。MySQLの開発はちゃんと継続される。開発の方針が変更されることになったからMySQL 6.0のリリースが見送られただけである。（ちなみに、次期バージョンはMySQL 5.4で、MySQL 6.0はその次のバージョンになる予定だったものである。といっても、MySQL 5.4は後から間に挿入された形なのだが。）理由は、ここのところMySQLの新バージョンのリリーススケジュールが遅れがちだったり色々と問題があったからだ。（何かが変更されるときは大抵その背景には問題があ
DB設計時のサイズ見積もり - よねのはてな
ここのところ、javaccとawsに魅了されている米林です。 よく使うDB(Oracle/MySQL/PostgreSQL/SQLServer)における設計時のサイズ見積もりで使うサイトの備忘録。 あとは、OracleからのPython情報。 Oracle Oracle 物理設計 http://www.oracle.com/technology/global/jp/columns/skillup/oracle9i/index.html 領域サイズ見積もり http://otn.oracle.co.jp/document/estimate/index.html OTNにログインする必要ありますがオンラインで見積もりが出来ます。 アカウント持っていない人は、この見積もりツールを使う目的でアカウントを作ってみてはいかがでしょうか。 OLTP系とDWH系においてブロックサイズを考慮し、DWH系はブ
ALTER TABLEを上手に使いこなそう。
テーブル定義を変更したい。インデックスが壊れてしまったので再作成したい。そんな場合はALTER TABLEを使う。ALTER TABLEはテーブル定義を変更するお馴染みのコマンドであるが、その挙動は意外と知られていない。（エキスパートとおぼしき方々からも度々質問を受ける。）そんなわけで、今日はALTER TABLEについて解説しようと思う。 まず結論から言うと、なんとMySQLのALTER TABLEはテーブルのデータを全てコピーし直すのである。なんて無駄なことを！？と思うかも知れないが、テーブル定義（スキーマ）の変更を動的に行うには、ストレージエンジンによるサポートが必要であり、動的なスキーマ変更をサポートしているストレージエンジンはまだ少ないのである。（動的スキーマ変更をサポートしているのはMySQL Clusterぐらいだ。しかも追加だけ。）デフォルトで利用出来るMyISAMはInn
MySQLのプロンプトを変更する。
MySQLのCLI（コマンドラインインターフェイス）を利用しているとおなじみの mysql> というプロンプトがあるが、実はこれは変更が可能である。MySQL CLIを利用している最中なら、promptコマンドを実行すれば良い。例えば次のように。 mysql> prompt \U [\d] >\_ PROMPT set to '\U [\d] >\_' mikiya@localhost [test] > \Uや\dはそれぞれ意味が決まっていて、それらを組み合わせることで任意の情報をプロンプトに表示できるわけである。見易いように > やスペース、括弧などを組み合わせるといいだろう。例えば何かの作業をするときには mysql> prompt 作業1 [\D]>\_ PROMPT set to '作業1 [\D]>\_' 作業1 [Tue Mar 17 07:39:28 2009]> などとする
変幻自在なCMS·SiteX MOONGIFT
CMSという言葉はあまりにも汎用的だ。Webサイトが動的サイトであろうが、静的サイトであろうがコンテンツがあり、それを管理する仕組みがあれば全てCMSになってしまう。その意味で大抵のサイトはCMSの一環であると思われるが、それだけに専門性が失われている感もある。 色々なテーマやカラースキーマを選択できる つまりCMSを入れた後、自分たちのニーズにあったサイトに仕上げていくのは大変ということだ。だがSiteXならばウィザードを進めていくだけで良い。 今回紹介するオープンソース・ソフトウェアはSiteX、多数の顔をもち自在に変化するCMSだ。 SiteXはセットアップウィザードを通じて進めていくだけで様々なWebサイトに対応した基盤ができあがる。Joombo、Structure、Streamline、Corporateといったテーマを指定すれば、それらのサイトに向いたデザインになる。 管理画面
MySQL Clusterへの接続方法
どうやってたくさんあるSQLノードに接続すればいいんだ？ ロードバランスは？ フェイルオーバーは？ ということがあると思う。このテーマを扱ったドキュメントはありそうだちょうど良いものが見あたらない。おそらくこの点が明確でないために「よし、最近サイトのトラフィックも増えてきたことだし、いっちょMySQL Clusterを試してみようか！」という気にならず、多くの人が利用を躊躇ってしまっているのではないだろうか？なので今日はこの点について5パターンのソリューションを紹介したいと思う。 その前に、「MySQL Clusterって何だ？シラネーヨ！」って人は、MySQL Clusterの特徴やセットアップ方法などを以前にThinkITへ投稿したのでそちらを参照して貰いたい。 http://www.thinkit.co.jp/article/95/ では本題。 1. mysqldをアプリと共存恐らく
「はてな流大規模データ処理」を見てきた - もぎゃろぐ
KOF2008：関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 ＃ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量：五千万件くらいのデータ量 このデータに対して何百万人がアクセスしてくる状況でどういう作りにするか レコード数 1073万エントリー 3134万エントリー 4143万タグ データサイズ エントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない 大規模データの難しいところ 開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク
KOF 2008 の発表資料 - naoyaのはてなダイアリー
KOF 2008 での発表資料「はてな流大規模データ処理」を以下にアップロードしました。 http://bloghackers.net/~naoya/ppt/081108huge_data.ppt 一部参考文献からの引用 (Introduction to Information Retrieval から Vector space model の図、たつをの ChangeLog から転置インデックスの図) があります。この場を借りて感謝。 環境によってはおそらくフォントの表示がいまいちだと思いますが、ご了承ください。 追記 SlideShare にアップロードしました。 081108huge_data.pptView SlideShare presentation or Upload your own. (tags: linux mysql) 追記: メモリはディスクの 150 倍について
MySQL (InnoDB) における行のサイズと速度の関係について - kazuhoのメモ置き場
集約演算を行うケースでは、行のサイズを小さく保つことはとても重要。アクセス頻度が低いコラムは別テーブルに追い出すとかしたほうがいいくらい。 一方、集約演算を行わないケース (単一行の insert, update 等を含む) の場合は、(クライアントとの通信のための) システムコールがオーバーヘッドになるので、小さなテーブルにたくさんアクセスをするよりも、長い行を持つテーブルに１回アクセスするほうが良い。 たとえば手元の環境での insert on duplicate key update の速度は、 行のサイズ 必要時間 0KB 1 3KB 4 6KB 7 9KB 13 12KB 13 とかそんな感じ (環境やクエリによる変わるので自分で測定してね。9KB の速度低下はページサイズの1/2を超えたからかな)。つまり、行のサイズが1KB程度だと、通信のオーバーヘッドが大きいからあまり問題に
MOONGIFT: » 便利なGUIのMySQLフロントエンド「Navicat for MySQL Lite」:オープンソースを毎日紹介
最近では中規模くらいのプロジェクトであればMySQLを利用することが多くなってきた。Railsをはじめとした各種Webアプリケーションの影響によるところが大きいようで、PostgreSQLより触る機会が多い。 そんなMySQLを効率的に管理できるインタフェースを紹介しよう。 今回紹介するフリーウェアはNavicat for MySQL Lite、Navicat for MySQLの機能限定版だ。 Navicat for MySQLは以前使っていて、非常に便利なMySQLクライアントだった。Windows版、Mac OSX版が用意されている。特に便利なのが外部のMySQLサーバへの接続で、SSH（証明書も対応）を使ってGUIベースでMySQLを管理できるようになる。この機能がNavicat for MySQL Liteでも対応しているようなので使ってみる予定だ。試したことはないが、HTTPト
MySQL、新ストレージエンジンMaria投入 - InnoDBは? | エンタープライズ | マイコミジャーナル
CTO at MySQL, Founder and original developer of MySQL, Michael Widenius氏は27日(米国時間)、自身のブログにおいてMySQLの新しいデータベースエンジンMariaを公表した。MariaはGuilhem氏、Sanja氏、Sergei氏、Widenius氏によって2年間にわたって取り組まれた新しいストレージエンジン。ただしフルタイムで開発が実施されたのは直前の4ヵ月間だとされている。 今回公表されたMaria 1.0系はbitkeeper経由で公開されている。バイナリでの配布は時期をみて実施されるようだ。1.0はクオリティ向上を主目的としたブランチで、開発者にはMaria 1.0を試してバグを報告してほしいと報告されている。 MySQLは複数のデータベースエンジンを使える。今回公開されたMariaはストレージエンジンとして
Kazuho@Cybozu Labs: データベースをコピーするモジュール DBIx::Replicate
« Pathtraq リニューアルのおしらせ (リアルタイム検索機能の追加ほか) | メイン | setlock を使って cron をぶんまわす方法 » 2008年01月29日 データベースをコピーするモジュール DBIx::Replicate データベースをオンデマンドでコピーするモジュール DBIx::Replicate を書いて、CodeRepos にアップロードしました。こんな感じで使います。 use DBIx::Replicate qw/dbix_replicate/; # 20才以下の人だけを young_table にコピー (1000行毎, 最大負荷 0.5) dbix_replicate({ src_conn => $dbh, src_table => 'all_people', dst_conn => $dbh, dest_table => 'young_people
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IDEA * IDEA
