DigdagをHA構成にしてみた - ZOZO TECH BLOG
こんにちは、最近のマイブームはマヌルネコ動画な新事業創造部バックエンドエンジニアの塩崎です。 今回のテックブログでは、以前にDigdagを紹介した記事の続編として、DigdagをHA構成にするためのTipsなどを紹介します。 Digdagとは Digdagはワークフローエンジンと呼ばれるソフトウェアです。 複数個のタスク間の依存関係からなるワークフローを定義し、そのワークフローの実行及び管理を行います。 この説明だけですと、何が便利なのかいまいちピンとこない方が多いかと思います。 ですが、かゆいところに手が届く便利ソフトウェアです。 具体的なかゆいところの紹介は以前にDigdagを紹介した記事の前半部分に書かれています。 Digdagを使用したことのない方はこちらを読んでから本記事を読み進めると理解しやすいかと思います。 tech.starttoday-tech.com さて、前回の記事で
MySQLの高可用性構成の展望2017年版(赤ちゃん編) | Yakst
シリーズ第三回目で、「グループレプリケーション」「プロキシ」「分散ストレージ」について紹介している。グループレプリケーションはGaleraとの違いについて、プロキシには幾つかの選択肢があること、分散ストレージではオープンソースのAuroraのようなデーターベースが可能になることなどが述べられている。 この記事は、2017年現在で使用できるMySQLの高可用性ソリューションに焦点を当てたシリーズの第3回目です。 最初の記事では10年以上前から存在していた技術である「長老」を見ました。（訳注：長老編日本語訳）第2回目の記事では「大人」 、つまりより最近の成熟した技術について話しました。（訳注：大人編日本語訳）この記事では、新興のMySQL高可用性ソリューションを紹介します。私がブログで選択した「赤ちゃん」の高可用性ソリューションは、 Group Replication（グループレプリケーション
blog.nomadscafe.jp
PHPの勉強会なので、いままでお会いしたことのない方とお話ができてよかったです。 発表内容は大きくなってしまったmaster.phpファイルをどうやって高速に読むかというお話です。PHPではリクエストの終了とともに全てのメモリを捨ててしまうので、変わらないデータもリクエストの度にキャッシュからロードしなくてはいけません。大きなphpファイルがあれば当然毎回の読み込みがオーバーヘッドとなってきます。そんな環境でどうやってアプリケーションのパフォーマンスをあげていったのかを紹介しています。 スライドの中でfile sizeを小さくする必要があると書きましたが、@hnwさんによると、VM命令が多過ぎるのが問題で、構造を簡単にしたことでVM命令が減ったのがよかったのではとのことでした。非常に参考になりました。ありがとうございました そろそろ傷が癒えてきた。。 ISUCON5の本選にメルカリのインフ
PostgreSQLで自動フェイルオーバーする方法 - Qiita
以前投稿したbgwokerで超簡易クラスタ管理を進化させたpg_keeperについて投稿。 コンセプト このツールのコンセプトは「PostgreSQLの自動フェイルオーバーを簡単に設定する」です。 Pacemaker/corosyncやrepmgrを使えばより細かく、柔軟に設定することが出来ますが、その一方設定が面倒だったり、多くのケースではそこまで柔軟な設定は必要ないと思ったので、「マスタ、スレーブ2台構成でもっと簡単に可用性を向上させたい」と思い作りました。 監視プロセスはPostgreSQLのプロセスの一つとして動作するので、高機能なクラスタリングミドルウェアによくある監視プロセス自体の起動・停止・監視等の作業は発生しません。 ただし、pg_keeperが対応しているのはマスタ1台、スタンバイ1台で同期レプリケーションを使用した場合のみです。 スタンバイを2台以上使用するケースには対
AWSでPacemaker & CorosyncADN LAB's Blog | ADN LAB's Blog
はじめに はじめまして、nendでインフラ担当をしているn_watanabeです。 今回はAWS EC2でVIP(仮想IP)を使ったActive/Standby構成を組む方法を紹介します。 技術要素としては、AWS EC2(AmazonLinux) ＋ Pacemaker + Corosyncとなります。 Pacemaker構成をオンプレミスで使う場合、IPアドレスはOS上で設定すればいいだけなのですが、 AWSの場合はAWSのシステムに対して設定してあげる必要もあります。 IPアドレスをOSに設定しただけではパケットはインスタンスに到達しません。 注意点として、今回のようにEIPではなくプライベートアドレスを切り替える方式の場合は、 2台が同一Subnetにいる必要があるのでMulitiAZできないという制約があります。 ちなみにちょっとカッコよくいうと、CDP:Floating IPパ
Highly Available MySQL/PHP Applications with mysqlnd
This document discusses how to achieve high availability in PHP/MySQL applications using the mysqlnd driver. It describes different MySQL high availability configurations including master-slave replication, multi-master replication using Galera or NDB Cluster, and how mysqlnd's mysqlnd_ms plugin allows applications to connect to these clustered MySQL instances in a highly available manner by handl
PostgreSQLクラスタの可用性確保～pgpool-II並列実行型クラスタを作ってみよう～ - Tech-Sketch
PostgreSQLはVer9からストリーミング・レプリケーションの機能が実装され、複数台のサーバで分散して処理を行うクラスタシステムを構成することができるようになりました。ただ、実装するにあたっては幾つかのパターンが考えられます。また、PostgreSQLの負荷分散を行うpgpool-IIも単一障害点になってはいけませんので、これ自身も冗長化する必要があります。 今回は、執筆開始時点での正式バージョンであるpgpool-II Ver3.1.3、PostgreSQL Ver9.1.2を使って、以下のようにpgpool-II、 PostgreSQLを並列実行する形でのクラスタシステムを考えてみたいと思います。 並列実行型クラスタ構成のメリット 通常、クラスタシステムを構築する場合、大きく分けて、アクティブ/スタンバイ型、アクティブ/アクティブ型の2通りの構成があります。当然ながら、pgpo
DRBDを用いたHA構成のChef Serverクラスタの構築 #getchef - クリエーションライン株式会社
以前、ec-metalでEnterprise Chef HAクラスタを構築しました。本稿ではHigh Availability: DRBDを参考に、順を追って手動でDRBDを用いたHA構成のChef Serverクラスタを構築してみます。 ■前提 環境 環境: QEMU+KVM仮想環境 パブリックネットワーク: 192.168.122.0/24 プライベートネットワーク: 192.168.100.0/24 フロントエンド: 1台 バックエンド: 2台 ロードバランサ: フロントエンド1台のため不要 名前解決: 全マシンの/etc/hostsに記載 (参考:Hostnames) ファイアウォール: テストのため全解放 (参考:Firewalls) フロントエンド IPアドレス: 192.168.122.101 ホスト名: fe1.example.jp OS: RHEL6.5 メモリ: 4GB
MySQL for JSON: Generated Columns and Indexing - Compose Articles
Unlock innovation with highly secure, fully-managed Database-as-a-Service capabilities on IBM Cloud® IBM Cloud® Database-as-a-Service (DBaaS) services free developers and IT from complex and time-consuming tasks including deployment of infrastructure and database software, infrastructure operations, database software updates, and backup. IBM Cloud® Database SMEs deliver and maintain ready-to-use,
MySQL Fabricつらい（HA/登録編）
昨日インストールしたMySQL Fabric にファーム(MySQL Fabric管理下のmysqld群をこう呼ぶぽい)を追加していく。 まずはグループを作成。これが「同じデータセットを持っているマスターとスレーブの組」扱いになるはず。 $ mysqlfabric group create my_first_fabric --description="MySQL Fabric is too hard to me" Password for admin: Fabric UUID: 5ca1ab1e-a007-feed-f00d-cab3fe13249e Time-To-Live: 1 uuid finished success result ------------------------------------ -------- ------- ------ 8fb1a6df-0be9-4
MySQL Proxy in Launchpad
*** NOTE *** We are no longer publishing MySQL Proxy source code on Launchpad. As of July 2015 we are publishing on GitHub: https://github.com/mysql/mysql-proxy *** END NOTE *** MySQL Proxy is a simple program that sits between your client and MySQL server(s) that can monitor, analyze or transform their communication. Its flexibility allows for a wide variety of uses, including: - load balancing -
高可用性とデータ・シャーディングを実現できるMySQL Fabricとは？
Full Name Comment goes here. 12 hours ago Reply Edit Delete Spam Block 高可用性とデータ・シャーディングを実現できるMySQL Fabricとは？ Presentation Transcript 高可用性とデータ・シャーディングを 実現できるMySQL Fabricとは？ 日本オラクル株式会社 山崎 由章 / MySQL Senior Sales Consultant, Asia Pacific and Japan Copyright © 2014, Oracle and/or its affiliates. All rights reserved.2 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。 また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことは できません。以下の事
VagrantとAnsibleでMySQLのHA構成を試す - Qiita
MySQLのマスター1台、スレーブ2台、mysql-master-haのマネージャ1台の計4台構成です。 4台すべてを起動するとトータルで3.5GBほどメモリを使用しますので、ご注意ください。 手順は全部Ansibleで自動化してもよかったのですが、それだとフェイルオーバーの動作がよくわからないかと思ったので、レプリケーション、HA構成の設定は手動です。 HA構成にはmysql-master-haを使用します。 準備 VirtualBox、Vagrant、Ansibleはあらかじめインストールしておき、ターミナル上でコマンドが実行できるようにしておいてください。 OSはCentOSを使用します。 以下のコマンドでCentOS6.5のボックスを追加します。
AWSでジョブWorkerを構成するベストプラクティス 〜 SQSの巻 | DevelopersIO
よく訓練されたアップル信者、都元です。AWSでシステム構築をする場合は、Design for failureという考えに基いて、複数AZにまたがる形の冗長構成を組むのがベストプラクティスです。さらに、このように分散させた各インスタンスには、出来る限りマスターを作らない、つまりSPOFとなるインスタンスを避ける構成であるのが理想です。 という話題については以前AWSにおける可用性の考え方というエントリーでも書きました。 可用性 (availability) と拡張性 (scalability) 本題はジョブWorkerですが、WebサーバやDBサーバの可用性と拡張性を先におさらいしておきましょう。 Webサーバ この考えで構築する最も基本的な構成が、Webシステムにおける ELB + Webサーバ の構成です。この構成マルチAZと呼び、片方のAZが丸ごとダウンしたとしても、サービス自体はダウ
Basic Concepts of High Availability Linux | Frank's blog
When considering to build a high availability cluster based on Linux, it’s easy to find all kinds of how-to’s explaining the basic tooling and configuration. Most of them forget to explain some of the basic concepts of high availability. In this post I’ll try to explain them. To build a high availability cluster that consists of a node that services its clients and a (number of) node(s) that can b
最強のMySQL HA化手法 - Semi-Synchronous Replication
MySQL 6.0で搭載される予定の機能の一つに、Semi-Synchronous Replicationというものがある。コイツを使うととんでもなく凄いHA化ができるので、今日はその方法を紹介しよう。 まずはSemi-Synchronous Replicationの機能説明から。そもそもSemi-Synchrounousってナニ？どうして完全な同期でもなく非同期でもなくSemi-Synchronousなの？という疑問をまずは解消したいと思う。さっそく次の図を見て欲しい。 これはSemi-Synchronous Replicationの動作を図で表したものである。図だけではなんだかよく分からないと思うので、以下に各ステップの詳細を説明する。 アプリケーション（クライアント）からトランザクションをCOMMIT要求を出す。 バイナリログを更新する。 ストレージエンジン（テーブル）を更新する。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSを利用する上で考えたいHA構成とAWSを活用した既存DCのバックアップ
MySQL 冗長化モデル
[和訳] Enterprise Chef におけるバックアップとリストア #opschef_ja #getchef_ja - クリエーションライン株式会社![[和訳] Enterprise Chef におけるバックアップとリストア #opschef_ja #getchef_ja - クリエーションライン株式会社](https://cdn-ak-scissors.b.st-hatena.com/image/square/4ea7496ee16b62705bf20b652e09444d607a324e/height=288;version=1;width=512/https%3A%2F%2Fwww.creationline.com%2Fwp-content%2Fuploads%2F2013%2F01%2Fcl-logo.png){kind=logo}
Riak: 本物の高可用性を実現する仕組みとは？
