pgloader - migrate MySQL to PostgresQL
pgloader loads data into PostgreSQL and allows you to implement Continuous Migration from your current database to PostgreSQL. Read the White Paper to learn how to limit risks and control your budget, and start your PostgreSQL migration today! Introduction pgloader has two modes of operation. It can either load data from files, such as CSV or Fixed-File Format; or migrate a whole database to Postg
データベースのmasterとslaveの使い分けの話。2014年版 - Hateburo: kazeburo hatenablog
社内で少し話題になったので。 運用上の話はfujiwaraさんの MySQLをmaster:slave=1:1構成にして参照をslaveに向けるのがなぜ良くないか - 酒日記 はてな支店 MySQLで参照の負荷分散を行うslaveは3台から構成するのがよいのでは - 酒日記 はてな支店 をみてください。 最近、新しくサービスができたり、新規機能でデータベースを追加する際には必ず全ての参照をmasterに向けてもらっています。理由は上記のエントリを読んでください。このような構成が取れるのはもちろん性能的にそれで問題ないからです。 新しいハードウェアに、設定されたMySQL、問題のないように書かれたSQLであれば、数千QPSは余裕に、また少し頑張れば数万QPSを一台で賄えます。なので大体のサービスはmaster一台で十分です。 さらにこの考え方を進めて、Webアプリケーションの中で sub d
Facebookが何千台ものMySQLを人手を使わず自律管理する仕組み「MySQL Pool Scanner（MPS）」
おそらく世界でもっとも大規模にMySQLのクラスタを展開し、運用しているのがFacebookでしょう。複数のデータセンターにまたがり何千台ものMySQLサーバを運用するために、自動化の仕組みは欠かせません。 その自動化がどのような仕組みになっているのか。FacebookのデータベースエンジニアであるShlomo Priymak氏が、Under the hood: MySQL Pool Scanner (MPS)という記事をFacebookで公開しています。 かなり長い記事なので、ここではそのポイントをまとめて解説してみました。詳細はぜひ原文をあたってみてください。 MPSのおもな3つの機能 Facebookで稼働しているMySQLは、つねに1つのマスターとそこからレプリケーションされた複数のスレーブによるレプリカセットを構成しています。このレプリカセットの構造を維持し続けることで、可用性と
Facebook: MySQL Pool Scannerでの徹底した自動化 - ワザノバ | wazanova.jp
https://www.facebook.com/notes/facebook-engineering/under-the-hood-mysql-pool-scanner-mps/10151750529723920 Facebookがエンジニアブログで、MySQLの運用を自動化している事例を紹介しています。このレベルまでくると、意思をもった大規模なロボット群みたいで、すごいですね。前半はマスタ/スレーブの基本的な自動化の話ですが、後半ではオペレーションの自動化ロジックをどのように自動化して増やすかという手法まで言及してます。 FacebookのMySQL DBクラスタは、２つの大陸にまたがる複数のデータセンタにある数千台のサーバで構成されている。通常、DBアドミンが担当するルーティーンワークは、MySQL Pool Scanner (MPS) で自動化されている。 1) DBノードを詳しく
MySQLでデータ領域をシステムと別diskにするならtmpdirも設定した方がいい - 酒日記 はてな支店
某所に300ホスト以上を2年ほど監視していたZabbixのMySQLがありまして、データが100GBぐらいになってメモリ8GBのホストではdisk IOが辛くなってきたので、移行することにしました。普段はそんなにでもないのですが、housekeeperが動作して古いデータを消しに行くとバッファプールに乗っていない部分に読みに行って重いのです。 この際折角なので Intel S3700 (サーバ用のSSD) をおごり、 Zabbix-1.8 から 2.0 にアップグレード MySQL-5.0.77 から MySQL-5.6.11 に変更 システムは HDD で /dev/sda1 データは SSD で /dev/sdb1 を /data にマウント という構成で移行の検証を行っていたところ… MySQLのバージョンが大きく上がるので mysqldump を取得して restore 後、pat
Kazuho@Cybozu Labs: blockdiff を使ったお手軽ホットバックアップ環境の構築 (Linux, MySQL, etc.)
一昨日に開催された hbstudy #7 にバックアップの話を聞きに行ってきました。Amanda を中心にした話で、とても勉強になりました。が、設定がめんどくさそうだなぁ、とも。自分の需要にはあわない感じでした。 勉強会が終わったあとで、自作のバックアップスクリプト blockdiff に関する話を何人かの方とさせていただいたのですが、思いのほか反応が良かったので、あらためて紹介したいと思います。 blockdiff は、一言でいうと、パーティションやデータベースのデータファイルの差分バックアップツールです。rsnapshot に似ていますが、rsnapshot ではデータベースのホットバックアップ不可能です。逆に blockdiff はディレクトリ単位でのバックアップには対応していないかわり、ファイルシステムやデータベースを、一貫性を保ちつつ実質無停止で差分バックアップすることができます
リアルタイムにMySQLの監視を行う·Jet Profiler for MySQL MOONGIFT
Jet Profiler for MySQLはWindows/Mac OSX/Linux向けのフリーウェア。Webアプリケーションの開発でMySQLを採用するケースが多くなっている。そのため手軽に使える監視ツールが必要になっているのではないだろうか。数値で出るものも良いが、グラフ化されて見られるともっと良い。 MySQLのステータス管理に そんなデータベース管理者の方にお勧めできるMySQL監視ソフトウェアがJet Profiler for MySQLだ。マルチプラットフォームに対応したローカルアプリケーションであり、データがビジュアル化されて見られるので状況の把握が容易になるはずだ。 例えばクエリーの実行状況によってパフォーマンスがどの程度出ているのか、リアルタイムに反映されていく。最も良く使われているデータベースやテーブル、実行速度の遅いクエリーか否かの診断もできる。グラフは多数用意さ
MuninでMySQLのグラフが表示されない場合の対策
サーバを新しく移転させたまではよかったのですが、ふと気づくとMuninで描画させているグラフのうち、MySQL関連だけがすべてまったく表示されていないことが判明。よく見ると値自体が取得できておらず、グラフの右下に見える日時も更新されていない……。 以前に書いた記事中での対策を講じるもまったく表示されず、ほとほと困り果てたのですが、悪戦苦闘の末にようやくMySQLのグラフを表示させることに成功しました。 というわけで、どうやってMySQLのグラフを表示させたのかを以下、解説。 各プラグインの中身は単なるスクリプトファイルで、「/usr/share/munin/plugins/」にあります。このディレクトリにあるMySQL関連のプラグインファイルを開いてMySQLの値を取得する処理を追っかけた結果、基本的に以下のコマンドを投げてその値を取得していることが判明しました。 mysqladmin e
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1台から500台までのMySQL運用(YAPC::Asia編)
http://tech.blog.klab.org/archives/50388696.html