DBT-2 で MySQL と他のRDBMSの性能比較をしている人に騙されないように注意

一応、立場的には第三者に戻った(MySQL/InnoDBの性能追求が仕事ではない)ので、忘れられない暗い過去にも触れてみようと思います。 未だに騙されている人が多いみたいなので、MySQL/InnoDBの名誉のために書き残さなければなりません。何度でも言いますが、性能比較は自分の目的とする処理をちゃんと比較しないとだめです。そうでなくては、騙されて本当は悪い性能のものを掴まされることになります。 DBT-2と言う(TPC-Cをベースにした)ベンチマークがありますが、数多のRDBMS(商用/OSS双方)に対して独自にTPC-Cベンチマークを実装・チューニングして比較した経験のある私から見て、怪しい結果しか出ないので、長年、基本無視のスタンスを取っています。 が、３年前にあろうことかMySQLの性能QAがDBT-2(nonsp:mysql)を利用していて、とある性能FIXに対して問題を指摘して

[shiumachi]

“「ベンチマークは自分でやるまで信じない」” かといって正しいベンチマークを行うスキルを全員が持ってるかというとそれも怪しいので、難しいところではある

[sh2]

拙作のJdbcRunnerでは考慮済みです https://github.com/sh2/jdbcrunner/blob/master/scripts/tpcc.js#L483

[stealthinu]

ベンチマークってスポーツの採点競技と同じような闇があるのだな…

[tmtms]

"DBT-2はMySQLの性能チューニングに無知な人が作ったもである、もしくは故意にMySQLの性能を低く見せる意図があると言える" "一貫して言えるのは、「ベンチマークは自分でやるまで信じない」が安全なスタンスです"

[tanaka733]

“DBT-2はMySQLの性能チューニングに無知な人が作ったもである、もしくは故意にMySQLの性能を低く見せる意図があると言えると思います”

[akuwano]

ほんこれ "性能比較は自分の目的とする処理をちゃんと比較しないとだめ"

[clavier]

DBT-2 で MySQL と他のRDBMSの性能比較をしている人に騙されないように注意

[Vaduz]

闇だ

[deep_one]

なぜ「sql_execute」系のコマンドの動作に「store_result」系の動作を入れようと思ったんだお前(MySQL実装者）は！と言いたくなった。「普通結果取得するだろ」とかいう安易な予想か？

[shodai]

そのスタンスは分かるけど、特定のDBMSでベンチマーク悪いからベンチマークの方法を変えてくれって乱暴じゃない？

[okei1213]

#slmtech

[theatrical]

db2は最高にチューニングしてからじゃねーとベンチマークのせるなカスが！とか言ってるよね。mysqlもそういうノリでいけばよいのでは？

[Surgo]

ＤＢ改造屋雑記: DBT-2 で MySQL と他のRDBMSの性能比較をしている人に騙されないように注意 / “ＤＢ改造屋雑記: DBT-2 で MySQL と他のRDBMSの性能比較をしている人に騙されないように注意”

[karumado]

“とにかく一貫して言えるのは、「ベンチマークは自分でやるまで信じない」が安全なスタンスです”

[dekokun]

大変な話である。

[t_f_m]

"まぁ、とにかく一貫して言えるのは、「ベンチマークは自分でやるまで信じない」が安全なスタンスです。 "

[gambol]

"性能比較は自分の目的とする処理をちゃんと比較しないとだめ"

[papix]

“まぁ、とにかく一貫して言えるのは、「ベンチマークは自分でやるまで信じない」が安全なスタンスです。”

[tsucchi1022]

闇だ...

[ngyuki]

"MySQL版のdbt2_sql_execute()の実装がmysql_store_result()を含むことです"

[myfinder]

“「ベンチマークは自分でやるまで信じない」”

[nippondanji]

「ベンチマークは自分でやるまで信じない」