SQL Serverに1億件を超える大量のテストデータを作成する必要がありできるだけ高速な方法を調べてみた。 ストプロを試してみる まずはストプロを作成してどの程度になる確認してみる。単純にループを回してINSERTを1件づつ行う方法でまずは100万件で試してみる。 ALTER PROCEDURE dbo.CreateData AS SET NOCOUNT ON DECLARE @RowCount INT SET @RowCount = 0 WHILE @RowCount < 1000000 BEGIN INSERT INTO TestTable VALUES (@RowCount, 'DATA' + right('0000000000' + convert(varchar, @RowCount), 10)) SET @RowCount = @RowCount + 1 END RETURN

10年ぐらい前はJavaで文字列を連結するときは String ではなく StringBuffer を使ったほうが速いなんて言われてたんだけど、それがテクニックとして有効だったのは「StringBufferを使えばこれこれの内部動作になる」という関係が固定されていたからで、仮にJVMのリビジョンによってどっちが速いかがコロコロ変わったり、文字列の長さが一定以上になると突然あっちの方が速くなったり、みたいな状態だったら「文字列の連結はStringBufferの方が...」はテクニックとして成り立たなくなってしまう。 が、SQLについての言説の一部はまさにこの状態で、本来成り立たないことがチューニングテクニックとして語られていると思う。 そういうのを暗記するのはやめて実行計画を見ましょう、という話。 「INとEXISTSはどっちが速いか」の不毛 昔から「INを等価なEXISTSに書き換えると速

枯れた技術だけど「正解」が見いだしにくいものの一つがSQL。だと思う。大抵のシステムで保守や性能のネックとなるのがDBアクセス部分だったりするし、かなり現実的、実践的な勉強会になるはず。 個人的論点は： とりあえず、表結合の条件をwhere句で書く人は爆発したまえ。 "select * from T;"対"select T.id, T.name, T.hoge_id from T;"とか 人工キーと複合キーなど 正規化とパフォーマンスとか 設定のチューニングとか スキーマ管理とか設計変更への対応とか「データベース・リファクタリング」とか O/Rマッピングとか トランザクション管理の「正攻法」とか 安全なデータモデリングのパターン的なやつとか 運用のtipsとか モデリング、クエリ、管理、運用のアンチパターンとか（たぶん一番盛り上がるw） Oracle、MySQL、PostgreSQL、SQ

元ネタはこちら。 上流の技術者はSQLを高いレベルで習得すべき http://el.jibun.atmarkit.co.jp/g1sys/2009/06/sql-9a31.html そこで、以前からの蒸し返しですが、「上流の技術者はSQLを高いレベルで習得すべき」と改めて一度、声を大にして言いたい。 ………はぁ。 えと…おいちゃんの個人的見解としては。 ・DBのスケールアウトが限りなく厄介な上に、複雑なSQLは、どう頑張ってもある程度以上性能が出ない ・業務ロジックが散らかると非常に困る ・そもSQLが「製品による方言」多すぎる ・DBMSは「１レイヤー」の本来抽象化されるべきものだと思ってるので。入れ替えが面倒な状況は可能な限り忌避したい などの理由から。 本質的にRDB(リレーショナルデータベース)を好んでません(言い切ったし)。 まぁ…厳密には。 「高いレベルのSQL」が何を指してい

大阪で働く友人 mi との合作*1で不完全版が完全版に！ やっぱり mi はすごかった！！ WITH Input(id, str) AS ( -- idと数式を渡す SELECT 1, '1 + 3 / -8' UNION ALL SELECT 2, '2*3*4*5+99' UNION ALL SELECT 3, '4 * (9 - 4) / (2 * 6 - 2) + 8' UNION ALL SELECT 4, '1 + ((123 * 3 - 69) / 100)' UNION ALL SELECT 5, '2.45/8.5*9.27+(5*0.0023)' ) , Separators(i, ch, str_src, priority) AS ( SELECT 1, '-', 1, 1 UNION ALL SELECT 2, '+', 1, 1 UNION ALL SELECT

そういえば(このパターン多いな)、redditだかstackoverflowで、いろんな言語で文字列として与えられた数式をできるだけ短いコードで評価するってのがあったけど、SQLでできる?w Twitter / finalfusion: そういえば(このパターン多いな)、redditだかstack ... あったあった。これだ Code Golf: Evaluating Mathematical Expressions - Stack Overflow http://tinyurl.com/kreb75 Twitter / finalfusion: あったあった。これだ ... 1 + 3 / -8 = -0.5 (No BODMAS) 2*3*4*5+99 = 219 4 * (9 - 4) / (2 * 6 - 2) + 8 = 10 1 + ((123 * 3 - 69) / 100

よくMySQLはサブクエリが弱いと言われるが、これは本当だろうか？半分は本当で半分は嘘である。MySQLのサブクエリだってなんでもかんでも遅いわけではない。落とし穴をしっかり避け、使いどころを間違えなければサブクエリも高速に実行できるのである。今日はMySQLがどんな風にサブクエリを実行し、どのような場合に遅いのかということについて説明しよう。 EXPLAINで実行計画を調べた際に、select_typeにはクエリの種類が表示されるのだが、代表的なサブクエリには次の3つのパターンがある。 SUBQUERY DEPENDENT SUBQUERY DERIVED 結論から言おう。遅いのは2番目、DEPENDENT SUBQUERYである。DEPENDENT SUBQUERYとはいわゆる相関サブクエリに相当するもので、サブクエリにおいて外部クエリのカラムを参照しているサブクエリのことである。そし

.NET 2.0 で、大量のデータをインポートするクラス SqlBulkCopy が導入された。その性能を試してみたのでメモ。 テスト結果 試行したPCの性能は以下のとおり。 CPU : Pen4 2.4GHz , RAM : 512MB , OS : WinXPSP2 , DB : SQLServer 2005 Express 各データ数に対して連続で５回試行し、その平均をとってみた。 データ数 SqlCommand SqlBulkCopy 100 : 108.6 [ms] 15.0 [ms] 1000 : 990.2 [ms] 80.6 [ms] 10000 : 7999.6 [ms] 193.4 [ms] 100000 : 75634.0 [ms] 1696.4 [ms]1000件くらいなら１件ずつINSERTでも我慢できないレベルじゃないけど、１万件を超えると迷わず SqlBulk

using System.Data.SqlClient; class Program { static void Main() { string connectionString = GetConnectionString(); // Open a sourceConnection to the AdventureWorks database. using (SqlConnection sourceConnection = new SqlConnection(connectionString)) { sourceConnection.Open(); // Perform an initial count on the destination table. SqlCommand commandRowCount = new SqlCommand( "SELECT COUNT(*) FROM "

株式会社ジーワンシステムの代表取締役。 新しいものを生み出して世の中をあっといわせたい。イノベーションってやつ起こせたらいいな。 旧聞ですみません。 ドメインロジックとSQLというのは、Martin Fowler氏というアジャイル・XPの提唱者の1人が書いたブログ一説です。そこから、SQLを考えてみましょう。 ■Martin Fowler氏のブログについて この記事はMartin Fowler氏のブログを読んで頂かないと理解できない内容かもしれません。 Rubyをやったことのない人はちょっと戸惑うかも知れないが、ぜひ、先ずはMartin Fowler氏のブログからがんばって読んでください。 今回、Rubyを使ってサンプルを作っている。いつもはJavaやC#（アプリケーション開発者が読めるC言語ベースのプログラミング言語）を使うのだが、まあいいややっちゃえーって思ってやってみた。Rubyを選