2009-05-21
2.4打ち込んだ。 コードも短いのであっさり動いた。だがいろいろ気になることが。まず類似性*実際の和を類似性の和で割ってで、本当によさげな評価って出るんですかね？なんか数学的に式が出てくるのかな。あとtotals.setdefault(item,0)ってのは初回のみtotals[item]に0入れるのかしら〜。ちょっとあとで調べよう。 追記 http://d.hatena.ne.jp/s-n-k/20080727/1217161109より。 もしtotals[item]に何も入ってなかったら、0を入れるって感じですねー。いちいちhas_keyしなくていいから便利そう。 まあまた良くわからない図で申し訳ないですが。 現在はま達を作ってるとき、まずyuka_をmasterにして、あるcommitからbranch切って独自カスタマイズしたものをそれぞれhama(2),donsuke(3)とか名づ
【MySQLウォッチ】第7回 大規模システムを支えるMySQLのレプリケーション機能：ITpro
このところ楽天をはじめとして，MySQLを活用した大規模な事例が増えている（関連記事）。このような大規模，かつサービス停止の許されないシステムを支えているのが，MySQLのレプリケーション機能である。 「レプリケーション」とは，対象物とまったく同じ物を製作する処理だ。同じような意味に「ミラー」があるが，意味するところは物理的なコピーである。「レプリケーション」は，論理的な複製であり，対象物の全体や一部といった範囲を限定できる点が異なる。 このような機能は，大がかりな準備と高度な技術が必要と考えている方も多いだろう。しかし，MySQLのレプリケーション機能は，非常に簡単に利用することができる。今回は，現行バージョンでも利用可能なレプリケーション機能を解説する。 Masterの更新がSlaveに反映される MySQLのレプリケーション機能は，MasterとSlaveに役割が分かれる（図1[拡大
MySQLノウハウ
いろいろな本からメモってきたメモのメモ。出典を書いておくのを忘れた。思い出し次第補完するかも。 deleteのコストは高いので、無効化を示すフィールドを作ってupdateすべき slow query logに要注意 多くのエントリでほとんどのフィールドが同じ値を持つ場合はインデックスの効果が小さい →複合インデックスの効果が大きい 複合インデックスは指定の順番が大切。AとBという指定の場合、A単独でもインデックスの効果がある。逆は真でない。 インデックスが使われる場面は フィールド値を定数と比較するとき (where name = 'hogehoge') フィールド値でJOINするとき (where a.name = b.name) フィールド値の範囲を求めるとき (<,>,between) LIKE句が文字列から始まるとき (where name like 'hoge%') min(),
【MySQLウォッチ】第25回 チューニングの指標，ベンチマークのノウハウ：ITpro
誰もが，データベースができるだけ高速で動くことを望む。そのために様々なテクニックを駆使してチューニングを試みる。 チューニングの結果を確認するには，何かしらの指標が必要となる。「体感的に向上した」というのは，まったく当てにならない。正確に性能を把握してこそ，効率的なチューニングが行えるのだ。今回は，ベンチマークについて紹介する。 MySQLのベンチマーク方法 ベンチマークには，２つの方向性がある。一つ目は，決まった処理を通じて，MySQLサーバーの処理速度を計測するものだ。これは，手順が決まっているため，それほど準備は必要ない。また，常に同じ処理を行うので，MySQLサーバーの基本的な処理能力を測るのに適している。 2つ目は，作成したデータベースの処理スピードを計測するものだ。一つ目も重要であるが，結局は，作成したデータベースが高速で動作するかが重要である。さらに，同時アクセス数やデータ量
naoyaのはてなダイアリー - MySQL の負荷分散に LVS + keepalived を使う
あとで書く、と言った手前なので書くとします。 DSASの中の人がすごい勢いで LVS の話を書いてくれてます。この辺。LVS を使うと Linux と箱でロードバランサが作れちゃいます。普通に買ったら数百万とかしちゃうやつ。 DSAS の中のひとに感謝しつつ、いい機会なのでやってみよう! と思っていろいろ試して昨日あたりからはてなの中でも LVS + keepalived で動かしはじめてます。いまのところ問題なし。 そのロードバランサをどこに使ってるかですが、普通ロードバランサというとインターネットからの入り口のところに置いてウェブサーバーの負荷分散に使うイメージがあります。が、今回ははてなでは MySQL のスレーブの手前に置くという役割でとりあえず使いはじめました。 +-----------+ +-----------+ | mod_perl | | mod_perl | +----
MySQLの状態がリアルタイムでわかるMySQL用topコマンド「mytop」と「innotop」
サーバのチューニングをする上でかなりやっかいなのがデータベース系。特にログファイルの量が膨大になると後から中身を見て問題を分析するのも一苦労という場合が。そんなときにこのMySQL用topコマンド「mytop」を使えば一体何が起きているのかがすぐにわかるので問題点の把握が容易になります。ベンチマークするときに併用すればかなり効率が良くなるのではないかと。 インストールと使い方は以下の通り。 まずは「mytop」から。以下が公式サイト。 mytop - a top clone for MySQL http://jeremy.zawodny.com/mysql/mytop/ マニュアルは以下にあります。 mytop - display MySQL server performance info like `top' インストールするにはSSHなどを使ってrootでログイン後、wgetでファイル
「ちょっと待て」 真・MySQLのクエリを最適化する10のTips：CodeZine
Jaslabs: High performance phpで紹介された「MySQLのクエリを最適化する10のTips」に対して、反論している人がいる。ブログ「20bits」のJesse氏だ。彼は「10 Tips for Optimizing MySQL Queries (That don’t suck)」というエントリーで、Jaslabs氏の記事は適切でないとしている。 Jesse氏の経験によれば、SQL最適化で最も重要なことはSQLやDBの基本をしっかりと理解することであり、60％がこれで解決するという。残り35％はDBやクエリの特殊な性質に対する対処であり、最後の5％で発想の転換などを求められる。Jaslabs氏はここにばかり力を入れており、それはまったくもって時間の無駄だと述べている（Jesse氏は「SQL_SMALL_RESULTなんて、生まれてこの方使ったことすらない」とまで言
１人で稼ぐ日記 | MySQL：１台しかない環境でエセ負荷分散
MySQLのネタ。 １台しかない環境でエセ負荷分散を行う。 MySQLで負荷分散を考えたとき、 １台目にマスターのＤＢサーバー、 ２台目以降をスレーブのＤＢサーバーとして用いる。 マスターは更新系のみのＳＱＬ文を、 スレーブは参照系のみのＳＱＬ文を投げる。 こんな負荷分散を１台のサーバーで行う必要が出てきた。 現在１台でやっていて、ディスクＩＯが追いつかずに捜し求めた結果、下の形で落ち着いた。 １つのテーブルでインデックスを含めたサイズが 30MB〜100MBほどで安定している、という条件があるのですが かなり負荷下がります。 ※上記サイズは搭載メモリサイズによって変わります -------------------------- ■やりかた 負荷が高いテーブルをＡとする １：Ａと同じテーブル構成で、エンジンをMEMORY(he
naoyaのはてなダイアリー - MyISAM vs InnoDB
あくまで憶測で仮説でしかないんですが。 MySQL のストレージエンジンのうち代表的な二つ、MyISAM と InnoDB はよく MyISAM: Read は速いけどテーブルロックのため並行性が低い。運用が簡単。 InnoDB: MyISAM より Read は遅いけど並行性が高い 。行レベルロックなので。あとトランザクションや外部キー制約。運用が MyISAM よりちょっとめんどくさい。 という区別がされます。ここから転じて、 MyISAM は参照系クエリが大部分を占める場合に適用すると良い。例えば blog アプリケーションとか。 InnoDB は更新系クエリが多い場合に適用すると良い。 と言わたりします。実践ハイパフォーマンスMySQL でも第2章 ストレージエンジン(テーブル型) P.30 に アプリケーションでトランザクションを使用する必要がなく、主に SELECT または I
[Rails] MySQL使うときのMigrationのOptionメモ - inabatchの日記
僕が、Railsの中で高く評価していて、お気に入りの機能がMigrationです。なぜならば、Migrationにスキーマ情報を管理させることで、スキーマ情報を開発者間や、テスト時において、統一させることができるし、スキーマのロールバックもできるようになるからです。 システムで良い物ができたとしても、リリースでミスったら結局のところ、ダメなシステムとみなされる可能性があります。以外と権限設定関連、シェル実行時のパスなどでミスが多く見受けられます。また、SQLのスキーマについても同様でミスが出やすいように思います。なので、Migrationがあればリリース時でも安心です。※Capistrano使うとMigrationしてくれるのかな？？ 実行は、このようにする。rake db:migrate 特定のバージョン番号にしたいときは、このようにする。rake db:migrate VERSION=
MySQL エラー「ERROR 1206 (HY000): The total number of locks exceeds the lock table size」: 仕事を早く片付けて遊ぶための技術メモ
●MySQLのエラー「ERROR 1206 (HY000): The total number of locks exceeds the lock table size」回避方法 MySQLでinnodbで使用時、大量データのUPDATE時に "ERROR 1206 (HY000): The total number of locks exceeds the lock table size" のエラーが出ることがあります。 この場合、/etc/my.cnfの下記パラメータで、pool_sizeを大目にとって やります。 innodb_buffer_pool_size = 384M を設定。 ◆参考URL http://dev.mysql.com/doc/refman/5.0/en/innodb-configuration.html データベースサーバは、扱うデータベースサイズが大きい場合、
MySQL (InnoDB) における行のサイズと速度の関係について - kazuhoのメモ置き場
集約演算を行うケースでは、行のサイズを小さく保つことはとても重要。アクセス頻度が低いコラムは別テーブルに追い出すとかしたほうがいいくらい。 一方、集約演算を行わないケース (単一行の insert, update 等を含む) の場合は、(クライアントとの通信のための) システムコールがオーバーヘッドになるので、小さなテーブルにたくさんアクセスをするよりも、長い行を持つテーブルに１回アクセスするほうが良い。 たとえば手元の環境での insert on duplicate key update の速度は、 行のサイズ 必要時間 0KB 1 3KB 4 6KB 7 9KB 13 12KB 13 とかそんな感じ (環境やクエリによる変わるので自分で測定してね。9KB の速度低下はページサイズの1/2を超えたからかな)。つまり、行のサイズが1KB程度だと、通信のオーバーヘッドが大きいからあまり問題に
DSAS開発者の部屋:5分でできる、MySQLのメモリ関係のチューニング！
MySQLのチューニングにおいて非常に重要となるメモリ(バッファ)関連のパラメータについて、 チューニングのポイント DSASのとあるDBサーバ(実メモリ4GB)の実際の設定値 をまとめてみます。 また、必要メモリの総量の計算や限界値を越えてないかチェックしてくれるスクリプトも紹介します。 是非、参考にしてみてください！ まず最初に注意点を。 バッファには2つのタイプがあります。 グローバルバッファ スレッドバッファ グローバルバッファはmysqld全体でそのバッファが1つだけ確保されるもので、 これに対し、 スレッドバッファはスレッド(コネクション)ごとに確保されるものです。 チューニングの際にはグローバル/スレッドの違いを意識するようにしましょう。 なぜなら、スレッドバッファに多くのメモリを割り当てると、コネクションが増えたとたんにアッという間にメモリ不足になってしまうからです。 in
Re: MySQL最適化のミニtips - 日向夏特殊応援部隊
元ネタ: http://labs.unoh.net/2007/07/mysqltips.html あまり具体的じゃないので、僕の考えとか。 正しいかどうかは各自の状況だとか実際試すべきなんだけど、参考になれば。 MyISAM、InnoDBなどテーブルタイプ 僕は断然InnoDB派です。 ただ仰るとおり、ログるだけのテーブルとかならMyISAMでもいいとは思うけど。 トランザクションやロック処理などが必要ない場合など、MyISAM形式にも良いところはあるので検討してみる価値はあるかもしれません。 これだけの指摘だとちょっと微妙な気がするです。 MyISAMの使いどころってのは、 ピンで他とリレーションが無い単純追記系のテーブル リレーションがあり、同一トランザクション内での更新系クエリが存在する場合は、トランザクションが期待通りに動かないので、基本的にはInnoDBと混在させるべきではない
InnoDB のパフォーマンスチューニング - MySQLカンファレンス2007 - akiyan.com 管理人メモ
http://www.mysql-ucj2007.jp/details/j25.html 木下 靖文 氏 NTTコムウェア株式会社 プロジェクト管理統括部技術SE部門 DB技術グループ （「InnoDB」は「いんのでーびー」と言うらしい...今まで「いのでーびー」と言ってました） InnoDBをなぜ使うか トランザクション コミット、ロールバック、セーブポイント 外部キー 行レベルロック オンラインバックアップ クラッシュリカバリ クラッシュリカバリ MyISAMはデータ量の増大とともに時間がかかる InnoDBはデータ量の増大との相関がない InnoDBチューニングの王道的アプローチ クエリを改善して全体的に処理効率を上げる データサイズをできるだけ小さく メモリをできるだけ多く積む コミット性能（同期書き込み） innodb_flush_log_at_trx_commit=1,0,2
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://blogs.sun.com/cinnabar/entry/neverblock_for_mysql
サービス終了のお知らせ
IBM Developer
MySQL :: MySQL 8.4 Reference Manual :: 17.8 InnoDB Configuration
更新があるシステムにはInnoDBを選ぼう。MyISAMを選択するならそれなりの理由が必要。それにInnoDBのパフォーマンスはそんなに悪くないよ。 || パフォーマンスチューニングBlog: インターオフ
