今週、米国サンタクララでMySQL Conference & Expo 2010が開催されています。このカンファレンスは毎年サンタクララ コンベンションセンターで行われているもので、MySQLに関する最大のイベントとなっています。 例年月曜はチュートリアルと呼ばれる研修コースになっており、キーノートスピーチや各種テクニカルセッションは火曜から始まります。現地は日本との時差が16時間あるので、日本時間では水曜の0時30分から(つまりもうすぐ)以下のキーノートスピーチが行われる予定です。OracleがSun Microsystemsの買収を完了して初めてのカンファレンスとなりますから、その内容に注目が集まるところです。 4/14 0:30 State of the Dolphin Edward Screven (Oracle Corporation) 4/14 1:15 O'Reilly Ra

MySQLのパフォーマンスチューニングに欠かせないスロークエリログですが、このログは特別にlogrotateなどの設定をしない限り一つのファイルに延々と追記される形になっています。先日仕事で3年分ものスロークエリログを見ることがあって大変疲れたので、次回から楽をするためにスロークエリログから一部を切り出して分析するmysqldumpslowのパッチを書いてみました。 オリジナル版のmysqldumpslowはスロークエリログ全体を読み込みます。 $ mysqldumpslow -s t sandbox03-slow.log Reading mysql slow query log from sandbox03-slow.log Count: 2 Time=9223372036854.76s (-1s) Lock=0.00s (0s) Rows=0.0 (0), tpcc[tpcc]@loc

マルチスレッドなmemcachedのincrが想定通り動かない時がある件についてです。 A：memcached 1.4.4に以下のパッチを適用 *** memcached.c_org 2009-11-27 14:45:13.000000000 +0900 --- memcached.c 2010-03-30 21:03:08.000000000 +0900 *************** *** 54,59 **** --- 54,60 ---- #endif #endif + pthread_mutex_t test_lock = PTHREAD_MUTEX_INITIALIZER; /* * forward declarations */ *************** *** 1017,1022 **** --- 1018,1024 ---- req->message.body.ex

出てます。今回は機能追加が5件、バグ修正が22件あります。バグ修正のうちパーティショニングに関するものが1件、レプリケーションに関するものが2件となっています。InnoDB PluginはMySQL 5.1.42から引き続きRC版の1.0.6となっています。 5件の機能追加はいずれもmysqltestというmake test時に内部で利用されるツールに関するものであり、アプリケーション開発者にとってはあまり関わりがないものです。22件のバグ修正についてもsakaikさんが言及されているとおり、大きなものはないという印象です。

出てます。今回は機能追加が1件、バグ修正が18件あります。バグ修正のうちパーティショニングに関するものが1件、レプリケーションに関するものが5件となっています。InnoDB PluginはMySQL 5.1.42、5.1.43から引き続きRC版の1.0.6となっています。 MySQL 5.1.44では設定パラメータが一つ追加されました。 binlog-direct-non-transactional-updates これはMyISAMなどトランザクションに対応していないテーブルに対する更新を、即座にバイナリログに書き出すパラメータです。これでいったい何が変わるのか、以下の例で確認してみましょう。 mysql> select * from test_i; +----+------+ | id | data | +----+------+ | 1 | 20 | | 2 | 40 | +----

出ました。今回は機能追加が1件、バグ修正が47件あります。バグ修正のうち1件はセキュリティに関するもの、それからパーティショニングに関するものが2件、レプリケーションに関するものが7件となっています。InnoDB PluginはMySQL 5.1.42に引き続きRC版の1.0.6となっています。 今回は注意すべき変更点がいくつかありますので、かいつまんで説明します。 パーティショニングに関する機能追加 パーティショニング機能に関して一つ機能追加があり、UNIX_TIMESTAMP()をパーティショニング表現として利用できるようになりました。先日のMySQL 5.5.0-m2の記事における例を書き直すと以下のようになります。 mysql> CREATE TABLE timeline ( -> id BIGINT(20) NOT NULL, -> created_at DATETIME DEF

MySQLのJDBCドライバ、Connector/Jの5.1.11がリリースされました。今回は機能変更が1件、バグ修正が10件となっています。 今回修正されたバグのうち、Bug #48172について簡単に解説しておきます。2009年5月にMySQL Connector/Jにおける大量INSERTのチューニングというエントリで接続プロパティrewriteBatchedStatementsを用いたチューニング手法をご紹介しましたが、Bug #48172はこの機能に関する不具合です。曰く、 INSERT INTO test (col1, col2) VALUES(?, ?) VALUESのあとにスペースを空けずに括弧を書いてしまうと、SQLの書き換えが行われないというものです。ちょっとしょんぼり(´・ω・`)してしまいますね。 とりあえず、直ってよかったです。

実験エントリです。 動機 OracleのStatspack/AWRで取れるファイル単位のDisk I/O情報を、MySQLでも採取したい。これは次に示すようなデータです。 File IO Stats DB/Inst: ORA112/ORA112 Snaps: 6-7 ->Mx Rd Bkt: Max bucket time for single block read ->ordered by Tablespace, File Tablespace Filename ------------------------ ---------------------------------------------------- Av Mx Av Av Rd Rd Av Av Buffer BufWt Reads Reads/s (ms) Bkt Blks/Rd Writes Writes/s Wai

データベース負荷テストツールまとめの第3回です。 データベース負荷テストツールまとめ(1) TPC-B、TPC-Wベースのツールを6つ紹介 データベース負荷テストツールまとめ(2) TPC-Cベースのツールを6つ紹介 かなり期間が空いてしまいましたが、今回はTPC-Hベースのツールを見ていきたいと思います。 TPC-Hとは TPC-HはRDBMSベンチマーク仕様の一つで、意思決定支援システム(DSS)としての性能を測定するものです。大規模なデータを対象にアドホックなクエリを実行します。クエリは全部で22種類定義されています。 TPC-HはTPC-B/W/Cなどと異なり、実行するクエリそのものやテストデータ生成ツールがTPCから提供されています。試しに、一番負荷が高い9番のクエリを確認してみましょう。 -- $ID$ -- TPC-H/TPC-R Product Type Profit Me

出ました。元旦リリースです。あけましておめでとうございます。 今回はバグ修正が48件あり、そのうちレプリケーションに関するものが4件、パーティショニングに関するものが3件となっています。同梱されているInnoDB Pluginは1.0.6にバージョンアップしており、こちらは1.0.5に引き続きRC(リリース候補)版となっています。InnoDB Pluginはバグ修正のみが行われており、前回のような新機能の追加は無いようです。 MySQL 5.0のアクティブライフサイクル期間が2009年末で終了したということで、今日は半年前に作ったバグ曲線のグラフを描き直してみました。 MySQL 5.1は相変わらずまっすぐ伸びてますね。ちなみに私はこのグラフを見て「まだこんなにバグがあるのか」ではなくて「きちんとした品質管理体制が維持されている」と考えます。 それでは、今年もよろしくお願いいたします。

実験エントリです。 予習してみる 「転置インデックス」というキーワードで検索して、しばらく勉強してみます。 転置インデックス - Wikipedia mixi Engineers’ Blog » 転置インデックスを実装しよう ASCII.jp：悟空、秘剣「転置インデックス」を手に入れる ｜Googleはなぜ的確に探せるのか？ [を] 転置インデックスによる検索システムを作ってみよう！ 転置インデックスで学ぶ検索エンジンの中身アプリ - 睡眠不足？！ うーんなるほど。分かったような分からないような。 作ってみる とりあえず、Twitter4Jを使ってこんなデータを用意しました。ちなみに人選は漢(オトコ)のコンピュータ道: MySQLerのTwitterアカウントまとめ。を参考にさせていただきました。 5707049458,2009-11-14 20:28:34,sakaik,@hbstudy

今日はデータベースとは関係のないネタです。 AirProxyというソフトウェアをご存知でしょうか。AirProxyはダイヤルアップ接続やAIR-EDGEなどのナローバンド環境において、ブラウズ対象のテキスト・画像を圧縮することでレスポンスを改善することができるHTTPプロキシソフトウェアです。 最近はイー・モバイルやUQ WiMAXなどモバイルブロードバンド環境が整備されてきたので、AirProxyを使っている人は減ってきたかもしれませんね。私はAIR-EDGEユーザなのですが、先日発売されたPocket WiFiの評判が良いので買うかどうか悩んでいるところです。 AirProxyはそうしたAIR-EDGEユーザの延命にも一役買っているわけですが、最新バージョンが2007年4月リリースということでかれこれ2年ほど更新されていません。そしてこの2年の間にうまく表示されないサイトが出てきていて

出ました。今回は機能の追加・変更が4件、バグ修正が62件あります。 MySQL 5.1.38から同梱されるようになったInnoDB Pluginですが、MySQL 5.1.41ではバージョンが1.0.5に上がり、ついにRC(リリース候補版)となりました。再掲になりますがInnoDB PluginはビルトインのInnoDBに比べて以下のような機能強化が施されており、非常に有用性の高いものです。そろそろ利用を検討しても良い時期に入ってきたのではないかと思います。 高速なインデックス作成。従来InnoDBのCREATE INDEXはテーブルの再作成を伴っていました テーブルとインデックスの圧縮 (検証結果その1、その2) INFORMATION_SCHEMAによるロック競合の検出 (検証結果) CPUスケーラビリティの向上 (1.0.3から) バックグラウンドI/Oスレッドの増加 (1.0.4か

私の職業はWebエンジニアですが 少しPHPがわかるのでルーチン化できるものはPHPを組んでいます。 そうすることによってJavaで1時間かかる作業が1分で終わることがあります。 なので職場では「仕事が早い、仕事ができる」と評価されることがありますが 先日先輩に怒られました。 内容は ・PHPを使うのはずるい ・それは実力ではない ・仕事が早いというのは同じ環境でどれだけ間違いがなく効率よく作業ができるかだ。 ・PHPを組むのはズルとしているのを同じ と。 確かにJavaで行なえば周りの人と同じくらいの速さなので 周りと同じ環境であれば（PHPを組まなければ）仕事が早いとは言えないかもしれません。 しかし業務をどう効率よくして作業をするかを考え実践するのも仕事のうちだと思うのですが 私の考えは間違ってますか？ XSSもチェックするコードを書いたので、ミスはありません。 「PHPを組んだ方が

出ました。今回はバグ修正が48件あり、そのうちパーティショニング機能に関するものが5件、レプリケーション機能に関するものが6件あります。サーバクラッシュ系のバグ修正がいくつかありますが、いずれも発生条件が極めて複雑であり、通常の運用で当たることはまずないのではないかと思います。 今回ちょっと気になったバグとして、Bug#44369があります。 mysql> create table test (DB_ROW_ID int) engine = innodb; ERROR 1005 (HY000): Can't create table 'scott.test' (errno: -1) mysql> create table test (db_row_id int) engine = innodb; Query OK, 0 rows affected (0.01 sec)InnoDBでは特定の

出ました。今回は仕様変更が3件と、バグ修正が48件あります。 このバージョンから、InnoDBのパラメータについていくつかデフォルト値が変更されました。デフォルト値をMySQL 5.1、MySQL 5.1のInnoDB向けサンプルファイル(my-innodb-heavy-4G.cnf)、MySQL 5.4.0と比較してみると以下のようになります。 パラメータ 5.1 5.1(heavy) 5.4.0 5.4.3 innodb_autoextend_increment 8MB 8MB 64MB 8MB innodb_buffer_pool_size 8MB 2,048MB 1,024MB 128MB innodb_log_buffer_size 1MB 8MB 16MB 8MB innodb_log_file_size 5MB 256MB 128MB 5MB innodb_log_files

前回の例が思いのほかSQLの実行計画をまともに表現できているようなので、3つだけピックアップして詳しく図解しておきます。解説なしだと自分でもあまり読む気がしなかったというのもあります(^^; 1つ目はSQL 04、索引のない状態で、従業員番号(empno)が7,788である従業員の名前(ename)を表示するSQLです。 2つ目はSQL 06、SQL自体はSQL 04と同じですが、従業員番号(empno)に索引を付与しています。 3つ目はSQL 10、従業員全員の名前(ename)と所属する部門名(dname)を表示するSQLです。 ここで、rowsはあくまで推定値であることに注意してください。特にテーブル結合が何段にもなると、rowsはほとんどあてになりません。 MySQLは元々あまり複雑な実行計画は作れないので、あとはサブクエリを使用したときのEXPLAINが読めればほぼ十分ではないか

はてなブックマークの人気エントリで「SQLを使うなら理解しておきたいアルゴリズム？…」という記事を眺めていて、実際にSQLのアルゴリズムを説明するにはどうすればよいか考えてみました。そこで、試しにSQLの実行計画をJavaで再現してみることにしました。 今回は索引アクセスとテーブル結合に関する7種類のSQLについて、MySQLのEXPLAIN結果とそれに対応するJavaのコードを記述しました。EXPLAINの読み方を言葉で説明するのは非常に難しいのですが、プログラムを読める方ならこうした説明が一番分かりやすいのではないでしょうか。 import java.util.ArrayList; import java.util.List; import java.util.SortedMap; import java.util.TreeMap; public class Study { publi