実録、ほぼ無停止なMySQLのフェイルオーバ (動画もあるよ) - （ひ）メモ
レプリケーションしてるMySQLで、マスタやスレーブが障害停止した場合のリカバリプラン でも掲げたゴールである、「マスタが落ちてもぐーすか寝ていられるようにしたい」がほぼできたので、ほとんどサービスが停止することなく、フェイルオーバする様をスクリーンキャストに収めました。 埋め込みプレイヤーだと、小さくてわからないと思うので、リンク直接でみてください。 http://www.irori.org/pub/mysql-mm.mov 登場するホスト 登場するホストは2台、db901とdb902です。 最初は、db901が更新系クエリを受けるプライマリでdb900の浮動IPアドレスを持っています。 画面分割 画面は5分割しています。 左上 = 「select sysdate(),@@server_id」をdb900に対して(sleep 1しながら)延々と実行しまくりんぐ 右上 = ping -n
MyISAMとInnoDBのどちらを使うべきか
Twitterで話題になってたので簡単にまとめました。 ●MyISAMにしか無い機能を使いたい場合はMyISAMを使うしかない ・全文検索 (TritonnやSphinx) ・GIS ●InnoDBの利点(MyISAMの欠点) ▲障害対応系 ・クラッシュしても再起動するだけでリカバリができる ・クラッシュリカバリにかかる時間はテーブルサイズに比例するようなことはなく、コミット済みのデータは修復できる (巨大なMyISAMテーブルのREPAIRには数日単位で時間がかかることがある) ・オンラインバックアップができる ・INSERTやLOAD DATAなどを実行している途中でCtrl+Cでその更新系SQL文を止めても、テーブルは壊れないし、中途半端な状態で更新されることも無いし、スレーブが止まることも無い ▲性能系 ・行レベルロックなので並列性が高い(MyISAMはテーブルロック)。またSEL
サーバは仮想化されるべきだが、データベースには気をつけろ － Publickey
StorageIOblog » Blog Archive » Should Everything Be Virtualized? The Server Storage IO Groupのアナリストが書いているブログ「StorageIOblog」に、「Should Everything Be Virtualized?」（すべては仮想化されるべきなのか？）というエントリがポストされました。 すべてのサーバ、I/O、ストレージは仮想化されるべきなのか？ という問いに答えるエントリになっています。 Unfortunately consolidation is commonly misunderstood to be the sole function or value proposition of server virtualization given its first wave focus.
ベンチマークツールのまとめ | Carpe Diem
サーバ1台あるいは、サービス全体で、いったいどのくらいのパフォーマンスがあるのかについて計測することは、とても重要なことです。 僕が管理しているサービスは、最初にサービスをはじめるときはある程度の規模感を想像しながらまとまめてサーバなどを調達しましたが、サービスを開始してすこしたってきたところで今後の投資計画をたてたいため、月ごとのトラフィックを予測して、いつごろにどのくらいのサーバなどが必要か情報を調査して計画を立てることになりました。もちろん、最初からちゃんとベンチマークを行って計測してサーバを調達したほうがいいのですが、小さい会社では最初はサービスの開発に注力したいため、なかなかそういった時間をとれないのもまた事実です。 ということで、現状のサービスのパフォーマンスを測定するために必要な CentOS 上で動作するコンソールベースのオープンソースなベンチマークツールについて調べてみま
PostgreSQLの機能と他のRDBMSの比較 | Let's POSTGRES
全ての機能を網羅した表ではありませんが、PostgreSQLが Oracle Database と同様の機能があることがお分かりいただけるでしょう。レプリケーションやクラスタリングなどは、PostgreSQL本体とは別にリリースされるサードパーティーでの提供となりますが、pgpool-II, Slony-I をはじめとした実績も豊富なソフトウェアが提供されています。 PostgreSQLが特に強みを発揮する分野として、最後の行に記載したGIS (地理情報システム) があります。GISは位置に関する情報を持ったデータ (空間データ) を管理し、主に地図と組み合わせて位置を表示、検索、分析するシステムです。PostgreSQLでは、PostGIS というサードパーティーソフトウェアで、GISオブジェクトをデータベースに格納し空間データに適した検索を行うインデックスと、GISオブジェクトを解析す
MySQL、適切なテーブル種類ですぐれたパフォーマンス | エンタープライズ | マイコミジャーナル
SitePoint: New Articles, Fresh Thinking for Web Developers and Designers Kevin Yank氏がSitePointにおいて、Free Performance with MySQL Table Typesのタイトルのもと、実際にSitePointのイベントに関連して発生したMySQLのパフォーマンス問題をどのように考えて解決していったかを紹介している。データベースパフォーマンスの改善事例として興味深い。 SitePointはMiles Burke氏がまとめた書籍「The Principles of Successful Freelancing」の無償PDFを、Twitterのフォロアになれば手に入れられるというキャンペーンを実施した。Twitterの利用制限を避けつつ使いやすい仕組みを提供するために、最終的に、今のスタ
「Linux-DBシステム構築／運用入門」がすごい - あなたのシステム、ガラパゴス化していませんか？ - kazuhoのメモ置き場
松信さんがやってくれました。 ずいぶん前からデータベースの「正しい」構築と運用方法についてまとめた本はないかなーと思ってました。自分はこれまで、様々なネットワークアプリケーションのプログラミングやデータベースの設計、チューニングを行ってきています*1が、問題が解決できたようには見えても、果たしてそれが最適な解決策だったのか不安に感じることがありました。それは、体系的な知識に欠けているからです。だから、網羅的な教科書がほしいなぁって思ってたんです。 とあるインターネットでこの前、松信さんから「いま書いてる」って話を聞いて、一部を見せていただいたりしたんですが、つい昨日、手元に届きました。やったね☆ 名前は「Linux-DBシステム構築／運用入門」。「入門」と銘打たれているものの、基礎的な知識から、なぜそうなるのか、どう応用すればいいのか、といった点まで広くカバーしている*2、全方位的な隙のな
ビジネス視点のデータモデリング
ER図の読み方／書き方 これまで概念的なお話を中心にしてきましたが、今回は具体的にER図からどのようにビジネス活動を読み書きするのかという点についてお話しします。 ER図を書くためには、まず読み方（ルール）が分かっている必要があります。ここで簡単におさらいしておきましょう。ER図は表1に示すようにエンティティ、アトリビュート、リレーションシップの3つから構成されます。 エンティティ
データベース負荷テストツールまとめ(2) - SH2の日記
データベース負荷テストツールまとめの第2回です。 前回はTPC-Bベース、TPC-Wベースのものから6つのツールをご紹介しました。今回はTPC-Cベースのものについて見ていきたいと思います。 tpcc-mysql 対応RDBMS：MySQL 対応OS：Linuxなど 言語：C 作者：Percona Inc. ライセンス：不明(ライセンスに関する記述がない) トランザクション仕様：TPC-Cベース URL：https://code.launchpad.net/~percona-dev/perconatools/tpcc-mysql tpcc-mysqlはMySQLのコンサル会社であるPercona Inc.によって開発されたベンチマークツールで、TPC-Cをベースとしています。TPC-Cの仕様やtpcc-mysqlについては以前のエントリで詳しく扱っているので、そちらをご覧ください。 tpc
MySQLを診断してチューニングポイントを教えてくれるツール「MySQLTuner」の紹介
MySQLを診断してチューニングポイントを教えてくれるツール「MySQLTuner」 このツールのCentOS5.3へのインストールを実施してみます。 「MySQLTuner」のインストールから、使用方法を紹介します。 このツールはMySQLを診断し、設定値をどのように書き換えたらいいか教えてくれます。 (全部これに頼るというよりは参考程度のようですので、注意が必要です) インストールは簡単。 任意のディレクトリにスクリプトをダウンロードし、実行権限を与えるだけです。 # ./mysqltuner.pl >> MySQLTuner 1.0.0 - Major Hayden <major @mhtx.net> >> Bug reports, feature requests, and downloads at http://mysqltuner.com/ >> Run with '--hel
DB復旧・最適化やチートシート等、MySQL関連の開発リファレンス集:phpspot開発日誌
DB復旧・最適化やチートシート等、MySQL関連の開発リファレンス集をまとめてみました。 Roundup of MySQL Cheat Sheets & Free Quick Reference Guides - Webmaster & Web Design Tools Blog MYSQLのコマンドやセキュリティに関するチートシート集いっぱい SayNoToFlash ? 25 Point Basic MySQL Setup/Optimization Checklist MySQL最適化のための２５のチェックリスト How To Change MySQL Root Password MySQLのrootパスワードを変更する方法色々 Recovery after DROP [ TABLE | DATABASE ] | MySQL Performance Blog MYSQLでDROPテーブ
フリーレイアウトグリッドを使った業務アプリケーションの作成
はじめに 業務システム開発では、開発するアプリケーションの種類を大きく分けて次のように分類することができます。 検索系 登録系 一覧系 帳票（伝票・単票）系 帳票（一覧）系 バッチ系 そこで、この連載では検索系・登録系のアプリケーション開発について、実際の開発現場に沿った形で、開発の手順からコーディングまでのテクニックを解説していきます。 具体的には、データベースサーバのストアドプロシージャと、得意先検索画面、受注入力画面 を表示するアプリケーションの開発過程を紹介します。 アプリケーションの作成には、アクセスの帳票フォームのように1明細複数行表示を簡単に実現できる、ジーワンシステムのフリーレイアウトグリッドを利用します。 対象読者 Visual Basic 2005/2008またはVisual C# 2005/2008を使ってプログラムを作ったことのある人。 社内での立場がプログラマに指
Kazuho@Cybozu Labs: MySQL のボトルネックを統計的に監視・解析する方法
MySQL のチューニング、と言った場合には、サーバーパラメータの調整や EXPLAIN コマンドを利用したクエリ実行計画の最適化が話題に上ることが多いです。しかし、発行する全ての SQL について、いちいち EXPLAIN コマンドを使って確認していては、いくら時間があってもたりません。チューニングを効率的に進めるには、まず、ボトルネックとなっている SQL クエリを特定し、次にその最適化を行うべきです。 ではどのようにして、ボトルネックを特定するのか。MySQL Conference & Expo 2009 のキーノートにおいて Mark Callaghan 氏は、Google では SHOW PROCESSLIST コマンドを使った統計的アプローチを使っていると述べていらっしゃいます (参照: MySQLConf 09: Mark Callaghan, "This is Not a
文書ドリブン開発 DB設計文書編
開発現場は日々の仕事の場であるとともに、学びの場でもある。先輩エンジニアが過去に直面した困難の数々、そこから学んだスキルや考え方を紹介する。 システム開発プロジェクトにて作成される文書にフォーカスしての連載の第3回です。今回はDB（データベース）設計文書について考えたいと思います。なお、以下は筆者の私見であることをあらかじめおことわりしておきます。また、特に指定のない場合、本稿で指すDBとはRDBのことです。 高いプレッシャーと闘うDB設計者 大半のシステム開発プロジェクトには、DB設計者としての役割を持つ方が専任・兼任の差はあれアサインされていると思います。わたしが考えるに、DB設計者は中堅からベテランのSEが担当されているケースが大半です。これはシステム開発においてDB設計の難解さと重要さが認識されているためですが、DB設計者の立場というのはその責任の重さの割には軽視されていると思える
基本設計で作るべき「論理データモデル」の考え方
データモデリング作業の大きな流れ システム企画段階で作成した「概念データモデル」は、ビジネス活動を販売、製造などの機能分野単位で大きくとらえ、ER図で表現したものでした。データの視点で俯瞰（ふかん）的にビジネス活動をとらえることにより、企業が管理すべきデータが明確になります。販売機能分野における、販売計画から販売管理までなど、ビジネス活動のつながりも、データの視点で可視化することでシステム化対象範囲を確定することができました。次はこの「概念データモデル」をベースにデータモデリングを行っていきます。 一般的にデータモデリングは、論理データベース設計、物理データベース設計、データベース適用設計という流れで進めます。それぞれの設計段階で行うことを簡単に述べると、「データ整理」「データ調節」「データ実装準備」になります。 論理データベース設計（データ整理）： 管理対象となるデータを洗い出し、整理し
MySQLのrootパスワードを忘れた時の対処法 - 絶品ゆどうふのタレ
備忘録メモ。 某所のMySQLデータベースをバックアップ兼ねて、まるっとテストサイトに持ってきたわけです。 まるっと。 そしたらまぁ、当然というかなんというか、MySQLのrootパスワードが分からなくて、あんなことやこんなことをするのに困ってしまって、(´ε｀；)ｳｰﾝ…とかなってたので、rootパスワードをセットし直す方法を調べたのでメモ。 # /etc/init.d/mysql stop # mysqld_safe --skip-grant-tables & # mysql -u root とすると、パスワードなしでMySQLにログインできちゃう。 で。 > use mysql; > update user set password=PASSWORD('NewPassword') where User='root'; > flush privileges; として、パスワード変更がで
.aspx)
いまさら聞けない BI (ビジネス インテリジェンス) | SQL Server 2005 | TechNet
Microsoft Learn. Spark possibility. Build skills that open doors. See all you can do with documentation, hands-on training, and certifications to help you get the most from Microsoft products. Learn by doing Gain the skills you can apply to everyday situations through hands-on training personalized to your needs, at your own pace or with our global network of learning partners. Take training Find
【データベースのパフォーマンス】1億件近いデータベースに対して分析処理をするのに、個人レベルで最速の処理をしようとすると、どのようなソリューションが適…
【データベースのパフォーマンス】1億件近いデータベースに対して分析処理をするのに、個人レベルで最速の処理をしようとすると、どのようなソリューションが適切ですか？ 1億件(40GB以上)が入っているテーブルに対して、参照及び更新の処理をしようと考えています。 現状、MySQL5.1＋SATA HDD(7200rpm)をRAID0+1で構築＋Windows XP＋3GB memoryの構成で処理しています。 現状、処理を実行すると、相当遅くなります。インデックスが効かない処理もありますので、莫大な時間が掛かります。 多角的に分析したいので、なるべく短時間に1億件の分析が終わると大変助かります。 個人レベル(コストは30万以下、最大でも50万以下)で、もっとも早く処理ができる方法論をアドバイス頂けると大変助かります。 ちなみに、Windows以外ではLinuxとFreeBSDが使えます。 宜しく
SQLアタマ養成講座 記事一覧 | gihyo.jp
第6回SQL流行間比較（2） 直近、直近の1つ前、そのまた1つ前… ミック 2009-05-19
DB設計時のサイズ見積もり - よねのはてな
ここのところ、javaccとawsに魅了されている米林です。 よく使うDB(Oracle/MySQL/PostgreSQL/SQLServer)における設計時のサイズ見積もりで使うサイトの備忘録。 あとは、OracleからのPython情報。 Oracle Oracle 物理設計 http://www.oracle.com/technology/global/jp/columns/skillup/oracle9i/index.html 領域サイズ見積もり http://otn.oracle.co.jp/document/estimate/index.html OTNにログインする必要ありますがオンラインで見積もりが出来ます。 アカウント持っていない人は、この見積もりツールを使う目的でアカウントを作ってみてはいかがでしょうか。 OLTP系とDWH系においてブロックサイズを考慮し、DWH系はブ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
