MySQL InnoDBだけで全文検索 - SH2の日記
実験エントリです。 予習してみる 「転置インデックス」というキーワードで検索して、しばらく勉強してみます。 転置インデックス - Wikipedia mixi Engineers’ Blog » 転置インデックスを実装しよう ASCII.jp：悟空、秘剣「転置インデックス」を手に入れる ｜Googleはなぜ的確に探せるのか？ [を] 転置インデックスによる検索システムを作ってみよう！ 転置インデックスで学ぶ検索エンジンの中身アプリ - 睡眠不足？！ うーんなるほど。分かったような分からないような。 作ってみる とりあえず、Twitter4Jを使ってこんなデータを用意しました。ちなみに人選は漢(オトコ)のコンピュータ道: MySQLerのTwitterアカウントまとめ。を参考にさせていただきました。 5707049458,2009-11-14 20:28:34,sakaik,@hbstudy
実録、ほぼ無停止なMySQLのフェイルオーバ (動画もあるよ) - （ひ）メモ
レプリケーションしてるMySQLで、マスタやスレーブが障害停止した場合のリカバリプラン でも掲げたゴールである、「マスタが落ちてもぐーすか寝ていられるようにしたい」がほぼできたので、ほとんどサービスが停止することなく、フェイルオーバする様をスクリーンキャストに収めました。 埋め込みプレイヤーだと、小さくてわからないと思うので、リンク直接でみてください。 http://www.irori.org/pub/mysql-mm.mov 登場するホスト 登場するホストは2台、db901とdb902です。 最初は、db901が更新系クエリを受けるプライマリでdb900の浮動IPアドレスを持っています。 画面分割 画面は5分割しています。 左上 = 「select sysdate(),@@server_id」をdb900に対して(sleep 1しながら)延々と実行しまくりんぐ 右上 = ping -n
レプリケーションしてるMySQLで、マスタやスレーブが障害停止した場合のリカバリプラン - （ひ）メモ
MySQLで、レプリケーションベースのHAな構成について考えたメモです。 3台(というか2台＋1台)がいいかなぁと思っていて、前半はその理由を、後半では{マスタ,スレーブ}が{再起不能になった,ちょっとダウンしてすぐ復帰した}場合のリカバリプランについて書きます。 今のところはこれがベストかなと思っているのですが、「こうしたほうがいいと思う！」「ここがおかしい！」などなどのご意見はコメント、TBなどでいただけるとうれしいです。 ゴール マスタが落ちてもぐーすか寝ていられるようにしたい リカバリの作業はできるだけ単純に、かつ、短時間で完了するようにしたい めんどくさいのはいや 基本構成、方針 2台＋1台 サービスで使うのは2台 (db1, db2) もう1台は管理用 (db3) スレーブを多数並べる構成にはしない 台数増えると管理コストが上がる マスタダウン時のフェイルオーバとそのフェイルバ
「Linux-DBシステム構築／運用入門」がすごい - あなたのシステム、ガラパゴス化していませんか？ - kazuhoのメモ置き場
松信さんがやってくれました。 ずいぶん前からデータベースの「正しい」構築と運用方法についてまとめた本はないかなーと思ってました。自分はこれまで、様々なネットワークアプリケーションのプログラミングやデータベースの設計、チューニングを行ってきています*1が、問題が解決できたようには見えても、果たしてそれが最適な解決策だったのか不安に感じることがありました。それは、体系的な知識に欠けているからです。だから、網羅的な教科書がほしいなぁって思ってたんです。 とあるインターネットでこの前、松信さんから「いま書いてる」って話を聞いて、一部を見せていただいたりしたんですが、つい昨日、手元に届きました。やったね☆ 名前は「Linux-DBシステム構築／運用入門」。「入門」と銘打たれているものの、基礎的な知識から、なぜそうなるのか、どう応用すればいいのか、といった点まで広くカバーしている*2、全方位的な隙のな
ウノウラボ Unoh Labs: MySQL オペミスでデータが破損してしまった場合の復旧方法
こんにちは satoです。 オペミスで update に where句を付け忘れたり、プログラムのバグでデータが破損してしまったりした場合でも、バイナリログには更新SQLがすべて書き込まれるので、バックアップデータからオペミスが起こるまでの全てのSQLを流し込めれば、元の状態に戻すことは可能です。 •バイナリログを取っている •オンラインバックアップをとっている(mysqldumpやMySQLを止めた状態でのcpによるバックアップとバイナリログ) •バックアップ時点でのバイナリログの書き込み位置を保存している 以上のような状態でデータが壊れた時の復旧手順をまとめてみました。シナリオとして •ある1カラム email をupdateしようとしたら、間違ってwhere 句を付け忘れ 全レコードをupdateしてしまった •気がついたのが半日後 というオペミスが発生したとします 1) データベー
PHPでMySQL管理が便利になるphpMyAdminの代わりとなるWebアプリいろいろ:phpspot開発日誌
PHPでMySQL管理が便利になるphpMyAdminの代わりとなるWebアプリいろいろ SQL Buddy セットアップなし、Ajaxベース、インポートエクスポート機能など、オープンソース開発 PHP Mini Admin 単一ファイル、基本機能利用可能、インポートエクスポート機能、オープンソース開発 MySQLPHPGrid アプリではないけど、ＤＢの中身を簡単に書き換えられるＵＩを実装するためのライブラリ Open Source Flash - flashmyadmin Flashベースのphpmyadmin phpFlashMyAdmin こちらもFlashベース 関連エントリ phpMyAdminの簡易版「phpMinAdmin」 SQLクエリをビジュアルに組み立てることができる「phpMyAdmin Query Bulder」 Ajaxを使ってその場でMySQLの値を書き換えら
なんかばんざい | MySQLの変な癖、あるいはPostgreSQL使いがMySQLと接するときの心構え
はじめに PostgreSQLのクエリプランナ/クエリオプティマイザは非常に優秀です。ユーザーはただ自分が欲しいデータをSQLで記述し、酷使するカラムに対してインデックスを張ってやればいいだけです（DB自体が酷使されてるなら細かいチューニングは必須です）。MySQLはそれら一連の最適化を人間が担当することになります。 後で詳しく書きますが、たとえば、"SELECT * FROM foo WHERE id IN (1,2)"と"SELECT * FROM foo WHERE id=1 OR id=2"の2つのクエリを、PostgreSQLはまったく同じように処理します。意味が同じなので当然といえば当然です。MySQLもたぶんここまでは同じです。問題は次。 "SELECT * FROM foo WHERE aid=1 OR bid=2 ORDER BY cid DESC LIMIT 10"
MySQL DATETIME型へのINDEX注意点 - perlとMysqlでCGI & サーバ管理 漏れ的メモ
MySQLのDATETIME型へインデックスをつける場合注意が必要。 例えばこんなSQLではインデックスが使用されない。 SELECT * FROM `table` WHERE `datetime` LIKE '2009-05-17%' 検索結果は2009-05-17分全てが抽出されるが、フルスキャンがかかる。 この場合、以下のようなSQLが良い。 SELECT * FROM `table` WHERE `date_time` BETWEEN '2009-05-17' AND '2009-05-17' + INTERVAL 1 DAY 実行時間計測の例 行数：13,776行 データ：2,935KB インデックス：datetime SELECT SUM( `col` ) FROM `table` WHERE `datetime` LIKE '2009-05-17%' フルスキャン 実行時間：
DB復旧・最適化やチートシート等、MySQL関連の開発リファレンス集:phpspot開発日誌
DB復旧・最適化やチートシート等、MySQL関連の開発リファレンス集をまとめてみました。 Roundup of MySQL Cheat Sheets & Free Quick Reference Guides - Webmaster & Web Design Tools Blog MYSQLのコマンドやセキュリティに関するチートシート集いっぱい SayNoToFlash ? 25 Point Basic MySQL Setup/Optimization Checklist MySQL最適化のための２５のチェックリスト How To Change MySQL Root Password MySQLのrootパスワードを変更する方法色々 Recovery after DROP [ TABLE | DATABASE ] | MySQL Performance Blog MYSQLでDROPテーブ
2008-07-10 - 知のレバレッジを最大化せよ「MySQLレプリケーションの運用管理ツールMaatkit」
歴史はくりかえすというが美容外科における体内異物の歴史を振り返ると示唆に富むものがある。なお現在 FDA に認可されているプロテーゼコヒーシブタイプという、シリコンバッグに流動性の低いジェルが入ってお破れても内容物が流出しずらいものである。以下古い→新しい順にトレンドをまとめた。なお、注入系はお手軽に見えるが、注入剤が非吸収の場合、原則手術による完全な撤去は難しく不可逆的変化をもたらすこともある点が重要な観点となる。長期異物があることによるヒトアジュバント病 ( 膠原病あるいはそれに類似した症状 )のような自己免疫疾患や腫瘍化などのデータが貯まるには 10-30 年くらいかかるかもしれない点も留意されたい。 注入 1955 年〜 炭化水素・石油合成系: パラフィン化合物、ワセリン シリコン系: シリコンオイル、シリコンジェル リスク 石灰化 異物肉芽腫・腫瘤、及びその転移 ヒトアジュバント
Kazuho@Cybozu Labs: MySQL のボトルネックを統計的に監視・解析する方法
MySQL のチューニング、と言った場合には、サーバーパラメータの調整や EXPLAIN コマンドを利用したクエリ実行計画の最適化が話題に上ることが多いです。しかし、発行する全ての SQL について、いちいち EXPLAIN コマンドを使って確認していては、いくら時間があってもたりません。チューニングを効率的に進めるには、まず、ボトルネックとなっている SQL クエリを特定し、次にその最適化を行うべきです。 ではどのようにして、ボトルネックを特定するのか。MySQL Conference & Expo 2009 のキーノートにおいて Mark Callaghan 氏は、Google では SHOW PROCESSLIST コマンドを使った統計的アプローチを使っていると述べていらっしゃいます (参照: MySQLConf 09: Mark Callaghan, "This is Not a
Wild Growth 日本語
2/18にSkySQLが日本で第２回目となるMariaDB/MySQLのコミュニティイベントを開催します。 http://atnd.org/event/E0023540 海外からの講演者は、前回来日されたColin Charles氏、Michael Carney氏のほか、今回はMySQL ABの創業者のMicael“Monty”Widenius氏(MySQLの生みの親としても有名)とDavid Axmark氏も加わる豪華な顔ぶれです。 また、前回より時間枠が拡大し、株式会社ディー・エヌ・エー様、株式会社アシスト様、MySQLユーザー会堤井氏の講演が予定されており、私も本イベントで登壇させて頂くことになりました。 DeNA 樋口氏からは「Handlersocket 2.0」 DeNA 中谷氏からは「MySQLite: SQLiteデータベースを読み書きするMySQLストレージエンジン」 の講
MySQLとオープンソースに捧げる毎日:MySQLの管理など - livedoor Blog（ブログ）
今回も前回に引き続き、ただいま受講中のMySQLトレーニングの実況中継（4日目）。 いつも応援ありがとう！ 【参考】 MySQL Certification Study Guide 今日のトレーニングは、MySQLのログ、トランザクション、バックアップ、レプリケーションについて。 実践に役立ちそうな技から、試験ぐらいでしか使わなそうな技まで、気になったものをトレーニングを受けながらリアルタイムに追記していくので、もし今日の分をまとめて見たいあなたは、18時以降にまたどうぞ。 一般クエリーログをオン（デフォルトはオフのまま）にすると、発行されたクエリーを記録できるが、パフォーマンスが10%ほど低下する。 スロークエリーログを使うと、実行の遅いクエリーやインデックスを使用していないクエリーを記録できる。 基本的にMyISAMの方がselect、insertなどの動作がInnoDBよりも速い。
Kazuho@Cybozu Labs: MySQL のトリガーの実用性を確認するために InnoDB の SELECT COUNT(*) を高速化してみる
最近 RDBMS のトリガーを色々書いているのですが、知らない人にトリガーが何かいちいち説明するのに簡単な例はないかな、というのと、MySQL の処理速度はトリガーによってどの程度変化するか、ということを確認するために、以下のような実験を行ってみました。 InnoDB はしばしば、「SELECT COUNT(*) が遅い！」と批判されます。では、トリガーを使って行数を別のテーブルにキャッシュすればいいのではないでしょうか？ 以下のように、極めて小さなテーブル t1 を作り、その行数を t1_cnt にキャッシュしてみることにします。 mysql> create table t1 ( -> id int unsigned not null primary key auto_increment, -> v int unsigned not null -> ) engine=innodb
Starting MySQL...Manager of pid-file quit without updating [FAILED] - yuhei.kagaya
CentOSにMySQLインストールしたのに起動しない。 調べてみると、SELinuxがらみ。適切なSELinuxのポリシー設定がされていないみたい。 特にユーザやプロセスごとに権限管理する必要もなく、 今まで通りrootはrootでいてくれればいいので、SELinuxは後々勉強するとして今は必要なし。 SELinuxの機能を停止して、無効にしてみる。 ポリシー違反を許可する。 /usr/sbin/setenforce permissive ちなみに、SELinuxがどのモードで動いているか確認。Enforcingモードだと、アクセス制御が動作してる状態。 /usr/sbin/getenforce Permissive モードについて、調べてみた。 permissiveモードとenforcingモードの違い SELinuxは，「enforcingモード」と「permissiveモード」とい
![Starting MySQL...Manager of pid-file quit without updating [FAILED] - yuhei.kagaya](https://cdn-ak-scissors.b.st-hatena.com/image/square/45b1afbfd76470bc3470852e3a0fbcd4894821e4/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F13208692334729894569%2F12704830469096110728%2F1354339050)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://d.hatena.ne.jp/perezvon/20091115/1258269745
まずちゃんとした設計。チューニングはその後で。 | 株式会社ビーグッド・テクノロジー／システム監視 サーバ監視 障害監視 運用管理 インフラ構築 MySQL
Loading...
MyNA Web Site
株式会社アンタス - 次の時代のマーケティングテクノロジーを
