なぜ mysql の using temporary; using filesort が遅いのか @ t100のプログラミング脱出作戦
自分のプログラミング脳をプログラムにして、いつかプログラミングから脱出してやるぞっ！とか夢見ながら、日々プログラム作っていく 百野 貴博 の日記です！今は、屋号『百蔵。』として、Silverlight・WPFを追跡中です！ (2007/09/30) 追記 2010-08-12 今回のエントリですが、「漢のコンピューター道 － Using filesort」で既に解説されていました・・・。 しかも、「漢のコンピューター道」さんの方が分かりやすいっ うわぁぁぁん｡゜（ﾟ´Д｀ﾟ）ﾉ ---- 帰宅してからBlog書こうと思っていたら、さっそく帰宅後の仕事でハマってしまってBlogが中断してしまいました、、、 いけませんね！ というわけで、日中の仕事の中でもBlogのネタを溜めるようにして頑張ります！ さて、今日はMySQLのチューニングネタです！ mysql のSQLをチューニングしていて、E
SQLで大量データを一気に作るでござる(MySQL編) @ t100のプログラミング脱出作戦
自分のプログラミング脳をプログラムにして、いつかプログラミングから脱出してやるぞっ！とか夢見ながら、日々プログラム作っていく 百野 貴博 の日記です！今は、屋号『百蔵。』として、Silverlight・WPFを追跡中です！ (2007/09/30) 開発をしていて、大量のテストデータが欲しいなーということが時々あります。 先日の、「MySQLの using temporary; using filesort が何故遅いのか」の内容も、実際に検証してみるには、sort_buffer_size を超える量のテストデータが必要になります。 しかし、これが意外と面倒くさいっ 使い慣れたスクリプト言語で、チョチョイとコードを書くのもOKなのですが、でもやっぱり面倒くさいっ （ですよね？） ということで、今回はSQLだけで大量データを作る方法を考えて見ます。 といっても、ストアドプロシージャでループと
mysql と drizzle の負荷テストツール「skyload」が凄い！ - kazuhoのメモ置き場
tmaesakaさんがやってくれました。 ずいぶん前からSQLのベンチマークを測定するのに使いやすいプログラムないかなーと思ってました。個人的にはmysqlslapというのを使ってたのですが、幾らか気に入らない所があったりコマンドラインオプションが複雑で毎回 --help を読んだりしていました。余計な機能なんかなくて、指定したSQLを高速にくりかえしてくれる物が欲しいなぁって思ってたんです。 とあるIRCでこの前、tmaesakaさんから「いま作ってる」という話を聞いて、いろいろ要望を言ってたんですが、ついさっきチュートリアルが公開されました。速いw 名前はskyload。とても小さく、実装コードだと800行程度です。しかもオプションが少ないので使い方が単純です。試しに適当な INSERT の速度を測ってみました。 $ skyload --server=localhost --mysql
MacOSXにPHP5,MySQL5をインストール
MacOSX 10.4にMySQL5,Apache2,PHP5をインストール（MacPortsを使用） MacOSX10.4に最初から入っているのは、Apache1.xやPHP4.xと古い。（MySQLは入っていなかったはず） そこで、MacPortsで、MacOSX10.4に、MySQL5、Apache2、PHP5を入れ、動かす方法をいろいろネットや本で調べてまとめてみた。 間違っている部分をご指摘いただければありがたい。 MacPortsのインストール方法や使い方は、こちらを参考にした。 http://d.hatena.ne.jp/hakobe932/20061208/1165646618 ソフト自体のインストールはこちらを参考にした。 http://einekatze.jp/mt/archives/2006/08/mac_prodarwinports.html ■/etc/profi
Kazuho@Cybozu Labs: MySQL のウォームアップ (InnoDB編)
« DBIx::Printf と LIKE 式 | メイン | メッセージキュー事始め in Perl - コマンドラインクライアントを作ってみた » 2007年10月11日 MySQL のウォームアップ (InnoDB編) サーバの起動直後はデータがメモリ上にないためデータベースの応答速度が遅い、というのは良く知られた話かと思います。MySQL の場合、使っているエンジンが MyISAM であれば、各データファイルをあらかじめ cat ... > /dev/null するなりしてバッファキャッシュに載せておけばいいのですが、InnoDB は独自のキャッシュを持っているのでそういうわけにもいかないように思います。 具体的には、パフォーマンスを最大限発揮するためには OS のキャッシュにではなく、InnoDB のバッファプールにデータをロードすべきであるという点。それに、たとえ OS のキャ
MySQL AB :: The 12 Days of Scale-Out :: Day Twelve
Contact Sales USA - Toll Free: +1-866-221-0634 USA - From abroad: +1-208-327-6494 USA - Subscription Renewals: +1-866-830-4410 Latin America: +1 512 535 7751 UK: +44 845 399 1124 Ireland: +353 1 6919191 Germany: +49 89 420 95 98 95 France: +33 1 70 61 48 95 Sweden: +46 730 207 871 Benelux: +358 50 5710 528 Italy: +39 06-99268193 Israel: +358 50 5710 528 Spain & Portugal: + 34 933905461
ウノウラボ Unoh Labs: MySQL5からのインデックス結合で１テーブル複数インデックスを使う
GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー！古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠
MySQL Conference & Expo 2007 - とあるはてな社員の日記
一昨日から今日まで3日間の日程で開催されていた、MySQL Conference & Expo 2007に行ってきました。日帰り圏内どころか、自転車圏内で、こういうカンファレンスがあるのは、素晴しいです。 詳細は、随時アップされるであろうプレゼン資料と、Planet MySQLに大量の報告があります(全部英語ですけど)。 個人的に注目していたのは、Digg.com、Flickr.comとYoutube.comのDB周りアーキテクチャのセッションでした。あとは、http://www.mysqlperformaceblog.com/の人のセッションは、細かいTipsが多く、具体的にだいぶ役に立ちそうです。 というわけで、簡単に注目したセッションの内容を紹介してみます。ちなみに、内容の正確さは無保証です:P 気が向けば、もっといろいろ考察してみるかもしれません。 Technology at Di
Twitterのトラブルから見る、DB分割でスケーラブルなRailsサイト構築:TKMR.blog.show
最近、2.0な方々の間でTwitterが話題になってる。で、そのTwitter自体も面白いんだけど、TwitterについてDHHがブログを書いてRailsでの大規模サイト構築が話題になってるのが面白い。 Twitter trouble (Loud Thinking - DHH) まずTwitterの高負荷について言及、Twitterは11,000リクエスト/秒 の高負荷で問題となっているらしい。 そしてスケーラビリティの鍵はDB分割だ、と言っている。Railsは基本一つのDBを見るのでスケーラビリティの問題になる （確かにWebサーバはロードバランサがあればいくらでもスケールするしね、Sessionの共有だけ気を付ければ） ↓ Dr Nic » Magic Multi-Connections: A “facility in Rails to talk to more than o
MySQL Cluster - hirohama.wiki
はじめに 2004年4月のMySQL Users Conference(米国オーランド)でMySQL Clusterが公になって以来、開発チームとの技術交流、MySQL Cluster開発者による日本での5日間トレーニング受講（関係者のみ）、デブサミでプレゼン発表のお手伝い、IPAでのクラスタ機能検証及びベンチマーク計測などを通して細く長く付き合ってきたMySQL Clusterの備忘録。 Open Source Conference 2005のセッション「MySQL Cluster」PPT作成お手伝い Linux World 2005にてMySQL Clusterデモンストレーション(7台のサーバ使用) MySQL Users Conference 2004, 2005, 2006参加 5日間のMySQL Clusterオフィシャルトレーニング参加 様々なソース（メール、電話会議、MLな
DSAS開発者の部屋:5分でできる、MySQLのメモリ関係のチューニング！
MySQLのチューニングにおいて非常に重要となるメモリ(バッファ)関連のパラメータについて、 チューニングのポイント DSASのとあるDBサーバ(実メモリ4GB)の実際の設定値 をまとめてみます。 また、必要メモリの総量の計算や限界値を越えてないかチェックしてくれるスクリプトも紹介します。 是非、参考にしてみてください！ まず最初に注意点を。 バッファには2つのタイプがあります。 グローバルバッファ スレッドバッファ グローバルバッファはmysqld全体でそのバッファが1つだけ確保されるもので、 これに対し、 スレッドバッファはスレッド(コネクション)ごとに確保されるものです。 チューニングの際にはグローバル/スレッドの違いを意識するようにしましょう。 なぜなら、スレッドバッファに多くのメモリを割り当てると、コネクションが増えたとたんにアッという間にメモリ不足になってしまうからです。 in
MySQL 文字化け問題を本気で直す
mysql> status; -------------- mysql Ver 14.7 Distrib 4.1.20, for redhat-linux-gnu (i386) using readline 4.3 Connection id: 36 Current database: staff2006 Current user: maiha@localhost SSL: Not in use Current pager: lv Using outfile: '' Using delimiter: ; Server version: 4.1.20 Protocol version: 10 Connection: Localhost via UNIX socket Server characterset: latin1 Db characterset: latin1 Client char
気まぐれソフトハウス » MySQL - レコードの追加・更新・削除
create table member ( id int unsigned primary key # メンバーID , name varchar( 16 ) not null # 名前 , age tinyint unsigned # 年齢 , zip varchar( 7 ) # 郵便番号 , address varchar( 64 ) # 住所 , tel varchar( 8 ) # 電話番号 , email varchar( 64 ) # e-mailアドレス , url varchar( 255 ) # サイトのURL , regist_date datetime not null # 登録日時 );
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
株式会社スタイルズ
現場指向のレプリケーション詳説
EnterpriseZine：DeNAの人気サイトに学ぶ LAMPによるWeb-DBシステム構築/運用の極意 (前編)
Google Code Archive - Long-term storage for Google Code Project Hosting.
MySQLで全文検索 - FULLTEXTインデックスの基礎知識｜blog｜たたみラボ
http://tokuhirom.dnsalias.org/~tokuhirom/tokulog/1763.html
http://tokuhirom.dnsalias.org/~tokuhirom/tokulog/1750.html