レプリケーションしてるMySQLで、マスタやスレーブが障害停止した場合のリカバリプラン - （ひ）メモ
MySQLで、レプリケーションベースのHAな構成について考えたメモです。 3台(というか2台＋1台)がいいかなぁと思っていて、前半はその理由を、後半では{マスタ,スレーブ}が{再起不能になった,ちょっとダウンしてすぐ復帰した}場合のリカバリプランについて書きます。 今のところはこれがベストかなと思っているのですが、「こうしたほうがいいと思う！」「ここがおかしい！」などなどのご意見はコメント、TBなどでいただけるとうれしいです。 ゴール マスタが落ちてもぐーすか寝ていられるようにしたい リカバリの作業はできるだけ単純に、かつ、短時間で完了するようにしたい めんどくさいのはいや 基本構成、方針 2台＋1台 サービスで使うのは2台 (db1, db2) もう1台は管理用 (db3) スレーブを多数並べる構成にはしない 台数増えると管理コストが上がる マスタダウン時のフェイルオーバとそのフェイルバ
MySQL+Java でサーバサイドプリペアードステートメントを使うべきで「ない」理由 - kazuhoのメモ置き場
useServerPrepStmtsのここの説明ではデフォルトがtrueになっているが、これは上述の通り嘘である。 (中略) そしてなぜfalseにされたかということの背景を察すると、trueにすることの弊害もありそうで、手放しでこれをtrueにすることを勧めることが少しはばかられる。 http://www.geminium.com/chiba_blog/2008/12/23/33/ 自分は Java 使ってないですが、MySQL の中の人が使うなって言ってます *1。その理由はメモリリークのような症状が出る可能性があるから。 So why are prepared statements a problem? Because users do not clean up/close unused prepared statements. Multiply the number of prep
フリーで使えるDBのモデリングツールまとめ
みなさんは普段モデリングツールを使用しているでしょうか。ER図を書くのにどんなソフトを使用しているでしょうか。今回は無償で利用可能なモデリングツールについて色々と調べてみました。
XAMPP for Windows
含む: Apache 2.4.58, MariaDB 10.4.32, PHP 8.0.30, phpMyAdmin 5.2.1, OpenSSL 3.1.3, XAMPP Control Panel 3.2.4, Webalizer 2.23-04, Mercury Mail Transport System 4.63, FileZilla FTP Server 0.9.41, Tomcat 8.5.96 (with mod_proxy_ajp as connector), Strawberry Perl 5.32.1.1 Portable 含む: Apache 2.4.58, MariaDB 10.4.32, PHP 8.1.25, phpMyAdmin 5.2.1, OpenSSL 3.1.3, XAMPP Control Panel 3.2.4, Webalizer 2.23-04
オープンソースDBの成熟度を計る［前編］ | OSDN Magazine
企業でのオープンソース・ソフトウェアの利用が活発化している昨今、データ活用の基盤となるデータベースにおいても、オープンソースのRDBMS（リレーショナル・データベース管理システム）が採用されるケースが増えてきている。だが、自社の業務内容やITシステムの状況に合致する製品の選定、導入は決して易しいプロセスではない。前編となる今回は、代表的なオープンソースDBについて、その特徴や最新版の技術・機能の成熟度について見ていく。 木村明治 キムラデービー 代表 オープンソースDBの成熟度とプレゼンス 日本国内のユーザーにおいて代表格とされるオープンソースDBと言えば、「PostgreSQL」と「MySQL」がまず思い浮かぶが、これら以外にもさまざまなDBが存在している。両DBと同じC/C++ベースでは、「Firebird」「Ingres」「SQLite」「Berkley DB」などがあり、Javaベ
mixiの生みの親“バタラ氏”が語るMySQLの意外な利用法 － TechTargetジャパン
日記だけで4億件のデータ ミクシィが運営するSNS「mixi」は、2007年7月末段階でユーザー数が1110万人。人が12人集まれば、1人はmixiユーザーというわけだ。ユーザーのアクティブ率（ログイン間隔が3日以内）は約62％と高く、2007年4月から6月の月間平均ページビューは117.5億に達した。日記だけでも4億件以上に上るなど、蓄積するデータ量も莫大。2004年3月のサービス開始から、わずか3年半で現在の巨大コミュニティーへと発展したのだ。 ミクシィは、「LAMP（OSのLinux、WebサーバのApache、DBMSのMySQL、開発言語のPerl、PHP、Python）」と呼ばれるWebシステム向けの標準的なオープンソースソフトウェア（以下、OSS）でシステムを自社開発し、安価なPCサーバを1000台以上連ねる超分散構成でmixiのサービスを支えている（広告配信など周辺機能では
ウノウラボ Unoh Labs: MySQL オペミスでデータが破損してしまった場合の復旧方法
こんにちは satoです。 オペミスで update に where句を付け忘れたり、プログラムのバグでデータが破損してしまったりした場合でも、バイナリログには更新SQLがすべて書き込まれるので、バックアップデータからオペミスが起こるまでの全てのSQLを流し込めれば、元の状態に戻すことは可能です。 •バイナリログを取っている •オンラインバックアップをとっている(mysqldumpやMySQLを止めた状態でのcpによるバックアップとバイナリログ) •バックアップ時点でのバイナリログの書き込み位置を保存している 以上のような状態でデータが壊れた時の復旧手順をまとめてみました。シナリオとして •ある1カラム email をupdateしようとしたら、間違ってwhere 句を付け忘れ 全レコードをupdateしてしまった •気がついたのが半日後 というオペミスが発生したとします 1) データベー
PostgreSQLのパフォーマンスはMySQLを凌ぎOracleに肉迫 | スラド
レポートで一番違いが見えるのはこのへんかと思います。 PostgreSQL Storage Requirement Info: The 85 minute run for this submission required less than 4GB of database storage. This extrapolates to less than 70GB for a 24 hour period. The Sun StorageTek 2540 Array drive capacity is 876GB of available storage when configured for RAID 1. Oracle Storage Requirement Info: A 75 min run at Injection Rate of 670 increased storage by 1
MySQLノウハウ
いろいろな本からメモってきたメモのメモ。出典を書いておくのを忘れた。思い出し次第補完するかも。 deleteのコストは高いので、無効化を示すフィールドを作ってupdateすべき slow query logに要注意 多くのエントリでほとんどのフィールドが同じ値を持つ場合はインデックスの効果が小さい →複合インデックスの効果が大きい 複合インデックスは指定の順番が大切。AとBという指定の場合、A単独でもインデックスの効果がある。逆は真でない。 インデックスが使われる場面は フィールド値を定数と比較するとき (where name = 'hogehoge') フィールド値でJOINするとき (where a.name = b.name) フィールド値の範囲を求めるとき (<,>,between) LIKE句が文字列から始まるとき (where name like 'hoge%') min(),
【レポート】mixiを支えるMySQL - FLOSSのスケールアウトによりコストを削減 | エンタープライズ | マイコミジャーナル
MySQLは22日、12日間にわたったMySQLのスケールアウトに関するエデュケーショナルイニシアチブ「Twelve Days of Scale-Out」が終了したことを発表した。同エデュケーショナルイニシアチブではmixiにおけるスケーリングのケーススタディなどが紹介された。 mixiは日本最大のソーシャルネットワークサービス。ユーザ間のメッセージ送受信や日記の作成ができるほか、写真の共有、コミュニティの作成などができる。有償サービスではさらに動画やミュージックといったいくつかのサービスが受けられる。こうしたシステムの基板テクノロジとしてmixiではMySQLを採用している。急成長したソーシャルネットワークサービスを支えていたインフラストラクチャがMySQLだったわけだ。 mixiがサービスインした当時、高価なソフトウェアを購入することはできないとして、LAMP(Linux、Apache
「PostgreSQLは遅い」は本当か？：OSSデータベース比較 - CNET Japan
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます LAMPやLAPPといった言葉が示しているように、オープンソースソフトウェア（OSS）での代表的なリレーショナルデータベース管理システム（RDBMS）といえば、「MySQL」と「PostgreSQL」だ。この2つのRDBMSは同等であるかのように思われているが、しかしPostgreSQLのユーザー団体「日本PostgreSQLユーザ会」で理事長を務める片岡裕生氏によれば、「PostgreSQLはあまり信用されていない」ということがあるそうだ。 「十分にチューニングされたMySQLとチューニングしていないPostgreSQLを比較したり、反対にチューニングされたPostgreSQLとチューニングしていないMySQLを比較したり、あるいは比
さくらインターネット移行記#2 VPN越しのMySQLレプリケーション
前回さくらiDCに移転し始めた、ということを書いたのですが、あれから一ヶ月ちょっとが経過しましてその後も順調に iDC への移転が進んでいます。すでにラックもいくつか借りて、サーバーも数十台がさくら iDC で稼動しています。回線がこれまでよりも高速なバックボーンに接続されつつ、帯域幅も大きくなったことから、移転したサービスによってはこれまでよりもパフォーマンスが出ているサービスもあります。うち比較的大きなデータを扱うフォトライフも移転を完了していますが、おかげさまで画像の読み出しがかなり速くなったのが体感できるぐらいスループットが向上しました。 既存サービスを移転するにあたって、どういった構成でそれを行っているかをちょっと紹介してみようと思います。 移転当初は、既存のはてなのサービスとはあまり関係していないサーバー群から手を付けました。例えば広告のシステムといった、はてなのデータベースを
MySQL Cluster - hirohama.wiki
はじめに 2004年4月のMySQL Users Conference(米国オーランド)でMySQL Clusterが公になって以来、開発チームとの技術交流、MySQL Cluster開発者による日本での5日間トレーニング受講（関係者のみ）、デブサミでプレゼン発表のお手伝い、IPAでのクラスタ機能検証及びベンチマーク計測などを通して細く長く付き合ってきたMySQL Clusterの備忘録。 Open Source Conference 2005のセッション「MySQL Cluster」PPT作成お手伝い Linux World 2005にてMySQL Clusterデモンストレーション(7台のサーバ使用) MySQL Users Conference 2004, 2005, 2006参加 5日間のMySQL Clusterオフィシャルトレーニング参加 様々なソース（メール、電話会議、MLな
MySQL Cluster Architecture - hirohama.wiki
今後は、hirohama.mysqlを更新します。 このページでは雑誌掲載の内容とバックアップ/リストアについて紹介しています。 MySQL Clusterのセットアップ手順はPDFファイル（[1]）の後半にあります。HTML化していません。 最新情報などはMySQL Clusterページへ。 MySQL Clusterのアーキテクチャ 一言で言うとMySQL Clusterは，Alzato 社が開発したNDB ClusterをMySQLサーバと統合した，非共有ディスク型でアクティブ・アクティブ型のインメモリデータベースです．共有ディスクを必要としないために高価なH/Wを必要とせず，アクティブ・アクティブ型なのでフェールオーバに必要な時間は非常に短い．またメモリベースのデータベースであるので高速にデータへアクセスできます． MySQL Clusterの特徴 非共有ディスク型 アクティブ・ア
「PostgreSQLは16CPUまでスケール，もう性能はOSSミドルの課題ではない」---IPA OSSセンターが検証データ公開
「最新版のPostgreSQLは16CPUまでスケール（CPU数に比例して性能が向上）する。性能はもはやオープンソース・ミドルウエアの課題ではない」---独立行政法人 情報処理推進機構（IPA）は2月7日，オープンソース・ソフトウェア・センター（OSSセンター）が実施した「OSS性能・信頼性評価プロジェクト」の結果を公開した。 スケーラビリティ評価は，The Linux Foundation(旧OSDL)が開発したツールDBT-1を利用した。オンライン書店をシミュレーションしたベンチマーク・ツールである。使用したのは，評価時の最新版だったPostgreSQL 8.1にパッチを適用したもの。「現在の最新版である8.2相当」（IPA OSSセンター研究員で日立製作所の鈴木友峰氏）。2005年に8.1を対象に実施した評価では8CPUまでしかスケールしなかったが，今回の評価では16CPUまでスケー
DSAS開発者の部屋:5分でできる、MySQLのメモリ関係のチューニング！
MySQLのチューニングにおいて非常に重要となるメモリ(バッファ)関連のパラメータについて、 チューニングのポイント DSASのとあるDBサーバ(実メモリ4GB)の実際の設定値 をまとめてみます。 また、必要メモリの総量の計算や限界値を越えてないかチェックしてくれるスクリプトも紹介します。 是非、参考にしてみてください！ まず最初に注意点を。 バッファには2つのタイプがあります。 グローバルバッファ スレッドバッファ グローバルバッファはmysqld全体でそのバッファが1つだけ確保されるもので、 これに対し、 スレッドバッファはスレッド(コネクション)ごとに確保されるものです。 チューニングの際にはグローバル/スレッドの違いを意識するようにしましょう。 なぜなら、スレッドバッファに多くのメモリを割り当てると、コネクションが増えたとたんにアッという間にメモリ不足になってしまうからです。 in
MySQL
HeatWave Use automated and integrated generative AI and machine learning (ML) in one cloud service for transactions and lakehouse scale analytics. Get faster insights from all your data with unmatched performance and deploy apps in your choice of cloud providers. Learn More » MySQL Enterprise Edition The most comprehensive set of advanced features, management tools and technical support to achieve
MySQL 文字化け問題を本気で直す
mysql> status; -------------- mysql Ver 14.7 Distrib 4.1.20, for redhat-linux-gnu (i386) using readline 4.3 Connection id: 36 Current database: staff2006 Current user: maiha@localhost SSL: Not in use Current pager: lv Using outfile: '' Using delimiter: ; Server version: 4.1.20 Protocol version: 10 Connection: Localhost via UNIX socket Server characterset: latin1 Db characterset: latin1 Client char
【ハウツー】RDBMS操作ツール決定打!? - EclipseからOracle/DB2/MySQL/PostgreSQLを操作 (1) Eclipse SQL Explorerとは (MYCOMジャーナル)
RDBMSデータの管理アプリケーションにExecute Queryがある。MySQL AdministratorやpgAdmin IIIなどとは異なり、データベースに依存しない管理ツールだ。Javaで開発されたRDBMS操作ユーティリティで、さまざまなデータベースに対してSQLクエリの実行やデータベースのインポート/エクスポートなどが可能という特徴をもつ。ここでは同様のアプリケーションとして、Eclipse IDEを使って開発された「Eclipse SQL Explorer」を紹介したい。 Eclipse SQL ExplorerはJDBCを通じてデータベースの閲覧やクエリ操作を行うためのユーティリティツール。GNU LESSER GENERAL PUBLIC LICENSE Version 2.1のもとで公開されているオープンソースソフトウェアで、執筆現在での最新版は8月30日(米国時間
【ハウツー】これは便利! MySQL/PostgreSQLにも対応 - RDBMS操作ツール\"Execute Query\" (1) いろいろRDBMS管理ツール (MYCOMジャーナル)
オープンソースのRerational Database Management Ssystem(RDBMS)の雄といえばMySQLとPostgreSQL。アプリケーションに組み込んで使うタイプのRDBMSまで広げればApache Derby、H2、HSQLDBなども人気があるが、汎用的に幅広く使われているFLOSS RDBMSとなると、やはりMySQLとPostgreSQLの2つとなるだろう。 この2つのRDBMSに共通した特徴に、周辺ツールが充実しているということがある。10年まえであれば管理にCUIツールを使うことに違和感はなかったが、現在では優れたGUIツールがあり、広く利用されている。たとえばMySQLにはMySQL Administratorが、PostgreSQLにはpgAdmin IIIが用意されている。 図1.1 MySQL管理ツール – MySQL Administrato
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
