HAProxy 1.6 と 1.7 ではヘルスチェックを設定しないと名前解決が走らない
Tweet 先日、会社の技術ブログで AWS Lambda を中心としたサーバーレスアーキテクチャーの記事を書いたのですが、思いのほか好評でびっくりしている @mozamimy です。 SAM 便利なので使っていきましょう記事を書きました / サーバーレスなバックアップシステムを AWS SAM を用いてシュッと構築する - クックパッド開発者ブログ https://t.co/9qbMZborLM — ᕱ⑅ᕱ もざみ (@mozamimy) February 7, 2018 HAProxy でハマりがちなポイント タイトルでオチてますが、書いてある通りです。意外と知られてない割にサービスがダウンするような大事故を起こしかねない挙動なので、ブログにメモしておくことにしました。 1.6 と 1.7 では check を書かない場合ヘルスチェックが走らないのでアップストリームに指定した名前が返す
MySQL High Availability at GitHub
EngineeringMySQL High Availability at GitHubGitHub uses MySQL as its main datastore for all things non-git, and its availability is critical to GitHub's operation. The site itself, GitHub's API, authentication and more, all require database… GitHub uses MySQL as its main datastore for all things non-git, and its availability is critical to GitHub’s operation. The site itself, GitHub’s API, authent
True Zero Downtime HAProxy Reloads
We have since migrated to a more robust solution that uses NGINX and HAProxy together to achieve our goals. See that solution here HAProxy: Cornerstone of Reliable Websites One primary goal of the infrastructure teams here at Yelp is to get as close to zero downtime as possible. This means that when users make requests for www.yelp.com we want to ensure that they get a response, and that they get
Context aware MySQL pools via HAProxy
EngineeringContext aware MySQL pools via HAProxyAt GitHub we use MySQL as our main datastore. While repository data lies in git, metadata is stored in MySQL. This includes Issues, Pull Requests, Comments etc. We also auth… At GitHub we use MySQL as our main datastore. While repository data lies in git, metadata is stored in MySQL. This includes Issues, Pull Requests, Comments etc. We also auth aga
HAProxy v1.6を使って複数のRDS Read Replilcaに分散させる - tail my trail
RDS ReadReplicaを立てて、参照クエリを逃がすことを考える。 可用性や拡張性を考えてReadReplicaは複数台構成とした場合、RDSの仕様を考慮して設計しておく必要がある。ポイントは以下。 Read Replicaは個々にEndpoint (DNS名) を持つ。 複数Read Replicaに対してバランシングする仕組みは提供していない。 ELBは RDS (Read Replica含め) には使えない。ELBにぶら下げられるのはEC2のみ。 Read Replica各ノードの死活監視、障害時の切り離し／切り戻しを考慮する必要がある。 ということで、Read Replicaのバランシングを行うなら、自分で仕組みを用意する必要がある。 実現方法はいくつか選択肢があるが、今回はL7のバランサーとして定評のあるHAProxyを使ってみる。 Architecture with HA
LobiのDB masterがダウンすると何が起こるのか - KAYAC engineers' blog
Lobiチームの長田です。 今回はLobiで使用しているデータベースの構成・運用について紹介します。 TL;DR メインのデータベースとしてMySQLを使用 一般的なmaster-slave構成 HAProxyとMHAでDBのfailoverを自動化 HAProxyでslaveへの接続を分散・死活監視 MHAで障害時のfailover・ENIを付け替えてmaster切り替え で、何が起こるの？ サービスが提供できなくなります。 ユーザーの認証情報等、サービス提供に必要不可欠なデータを管理しているため、一時的なサービス停止は免れません。 ユーザー体験的にもビジネス的にも、大変厳しい状態です。 この「一時的」な時間を可能な限り短くするために障害復旧の一次対応を自動化しています。 自動化のメリットとして、単純にサービス停止時間が短くなることはもちろん、 復旧処理を行う際の人的なエラーを未然に防ぐ
Amazon ECSでHAProxyのDockerコンテナを各Taskに配置するのがなかなか良い件 - tehepero note(・ω<)
2016 - 03 - 15 Amazon ECSでHAProxyのDockerコンテナを各Taskに配置するのがなかなか良い件 Docker HAProxy AWS ECS どうも、コンテナ芸人です。久しぶり？に Amazon ECSを使ったネタをお届けします。 今のプロジェクトではDBに MySQL を利用していますが、コスト低減のためにMaster(Multi-AZ)だけRDSでSlaveはEC2で構築しています。で、SlaveにはELB経由で参照していましたが、最近この仕組みをHAProxyコンテナに置き換えてみたらなかなか良かったぞという話です。 旧構成 これがつい先日までの構成。 ECS Task *1 は Nginx+Node(React)+ API (Go)+td-agent で1セット Nginxは API コンテナや、 SSR でHTMLを返却するNodeコンテナへPr
マイクロサービス時代のHAProxy | Yakst
マイクロサービスのアーキテクチャでシステムを開発すると、サービス間の通信を効率的に管理する方法が必要になる。この問題を解決するためにHAProxyを使う一例を提示する。 「マイクロサービス」は、この10年でもっとも興味深いアーキテクチャーのスタイルを表す言葉として、使い散らされている最新のアーキテクチャーバズワードでしょう。 マイクロサービスとは？ Martin Fowlerの定義によれば以下のようになります。 要するにマイクロサービスというアーキテクチャーのスタイルは、それぞれが独自のプロセスで動きHTTPリソースAPIなどの軽量なメカニズムでコミュニケーションを取り合う小さなサービスの形をとったひとつのアプリケーションを開発していくというアプローチです。これらのサービスは、ビジネス上の機能を中心に作られ、完全に自動化されたデプロイの仕組みによって、別々にデプロイできます。これらのサービ
HAPrxoy 1.6.0 で導入された DNS の動的名前解決の検証結果 - tkuchikiの日記
追記(2016-07-13 16:40) Changelog に書いてあるとおり(BUG/MEDIUM: dns: unbreak DNS resolver after header fix)、 動的名前解決ができないバグが修正されました。 HAProxy 1.6.6 で動的名前解決できないバグが修正されていました(Changelog にも書いていますが一応検証しました)— tkuchiki (@tkuchiki) 2016年7月13日 詳細は省きますが、本記事と同様の検証を行い、動的名前解決ができることを確認しました。 追記(2016-06-24 12:34) HAProxy 1.6.5 は、DNS の動的名前解決が動作しないようです。 ご注意ください。 HAProxy 1.6.5 で動的名前解決できない問題については 1.6.4 で困っていなければそれを使って、1.6.5 がよければ
（超メモ）HAProxy 1.6 で Lua がサポートされたので触ってみた（2）〜リクエストヘッダで Backend の振り分け〜 - ようへいの日々精進XP
どこまでも自称な HAProxy 芸人のかっぱです。 tl;dr 引き続き、HAProxy の Lua サポートについて触ってみたい。あくまで試行錯誤なので誤りがあれば適宜修正する。 参考 http://www.arpalert.org/src/haproxy-lua-api/1.6/index.html# リクエストヘッダで Backend を振り分ける例 リクエストヘッダを取得する 色々と試行錯誤した結果、Lua でリクエストヘッダの中身を取得したい場合には Fetches クラスを利用すると良いとのこと。 http://www.arpalert.org/src/haproxy-lua-api/1.6/index.html#fetches-class また、HAProxy の設定から呼び出す場合には core クラスの register_fetches メソッドを利用する。（※メソッド
RDS のリードレプリカを HAProxy で振り分ける際の死活監視について考えてみた - ようへいの日々精進XP
5 時過ぎに目が覚めて眠れなくなったので気になっていたことを考えてみた。 はじめに RDS のリードレプリカを HAProxy で振り分ける方法については... blog.cloudpack.jp 上記の記事を参考にしつつ... blog.cloudpack.jp 上記のようなことをやってみたりした。 RDS のリードレプリカ（RR）接続を HAProxy で振り分ける 一応、構成図 基本的には... HAProxy で RDS への分散アクセスを行う場合には、以下のように設定すれば RDS への接続をチェックして接続出来なければ HAProxy がよしなに切り離してくれる。 （略） listen mysql bind 0.0.0.0:3306 mode tcp option mysql-check user user_name balance leastconn server read0
Amazon ECS + registrator + consul でサービスの自動登録超シンプルパターン（HAProxy を使った例） - ようへいの日々精進XP
気づいたら面白そうなことが出来そうな事をつまみ食いしていたので組み合わせて試してみました。 概要 絵が一番わかりやすし。 ECS で登録したタスクで起動したコンテナアプリケーションを registrator で consul にサービスを自動登録して consul-template で haproxy の設定を書き出す。 参考 Service Discovery via Consul with Amazon ECS | AWS Compute Blog Consul Template + Registrator で、コンテナ上のWebサーバをHAProxyへリアルタイムに登録してみる - log.fstn 準備 Amazon ECS 環境の用意 inokara.hateblo.jp 上の記事でちょこっと ECS を触ってみました。 registrator の用意 inokara.hateb
haproxy の優雅な再起動 - diary.sorah
tl;dr haproxy -sf による再起動では SO_REUSEPORT が使えないと瞬断が発生する。SO_REUSEPORT は Linux 3.9+ か、CentOS, RHEL 6 では最新のカーネルに上げると利用できる。 haproxy は自分自身の設定を reload するみたいな便利な機能はない。 そのかわりに、 -sf オプションへ既存の pid を渡して新しく起動してあげると、入れ替わってくれる機能がある。 http://linux.die.net/man/1/haproxy Send FINISH signal to the pids in pidlist after startup. The processes which receive this signal will wait for all sessions to finish before exiting
もっとELB（Elastic Load Balancing）を活用する | DevelopersIO
みんな大好きElastic Load Balancing(以下ELB)は利用にあたっては細かい仕様に注意する必要があります。 2014年ELBにお世話になった人もそうでない人も2015年はもっとELBを活用するために、改めてELBの仕様や活用方法を振り返ってみましょう。 ※本稿の内容の多くは一度でもELBを使ったことがある方を想定しています。 ELBが得意なところ ELBはコスト効果良く高い可用性と拡張性をもつロードバランサーをサービスとして提供してくれるので、最初に利用するロードバランサーとしても、長く使うロードバランサーとしても優秀です。 ELBを活用するためのドキュメントがAWSから公開されています。未読の方は必ず目を通しておきましょう。 Best Practices in Evaluating Elastic Load Balancing ELBが苦手なところ ELBを利用する上で
Load-balancing Websockets on EC2
How we set up a robust and scalable stack on top of socket.io For the last few months, we have been working on a completely new Storify Editor which enables real-time collaboration. Storify real-time collaborationStackThe editor is a standalone server built with Node.js and socket.io in order to have a 2-way, real-time communication between the client and the server. The goal is to push changes to
最近書いたChefのCookbook(all-in-one_haproxy, redis)を公開します - 元RX-7乗りの適当な日々
公開します、というかGitHubに置いていただけですがー。 all-in-one_haproxy 2台セットでのHA構成を想定したHAProxyサーバを作るためのChef Cookbookです。2台セット冗長化済のHAProxyサーバをさくっと作るために書きました。 https://github.com/namikawa/all-in-one_haproxy 基本的には、2台で以下機能が連携しあう形で稼動します。 rsync + lsyncdの稼働 (各種設定ファイルの同期) keepalivedの稼働 (HAクラスタ構成の実現) HAProxyの稼働 (LB/ReverseProxyソフトウェア・SSL対応) iptables/ip6tablesの稼働 (接続元の限定) Quaggaの稼働 (エッジルータ等との動的経路広報の実現) snmpdの稼働 (各種メトリクスの取得) swap領域
HAProxy チートシート（acl や SSL サポート等） | cloudpack.media
どうも、39 歳の cloudpack の かっぱ（@inokara）です。おっさんです。 はじめに HAProxy の acl 機能を利用して各種条件の振り分け設定についてメモってみます。 構成 振り分けを坦々（淡々）と… acl を使って振り分け HAProxy は機能大杉漣ですが、acl を使うことで柔軟でアクセスコントロールすることが出来ます。 HAProxy – acl 以下 acl を使って幾つかの条件による振り分け設定例を試してみたいと思います。 ホストヘッダによる振り分け frontend kappa-test bind 0.0.0.0:80 acl hage hdr(host) -i hage.test.inokara.com acl pika hdr(host) -i pika.test.inokara.com use_backend hage_bk if hage u
CentOS 6.5 に 5 分で HAProxy の最新版をインストールする方法 | iret.media
ども、cloudpack の かっぱ（@inokara）です。 はじめに すいません、取り急ぎメモです。 HAProxy は本日（2014/11/6）時点で 1.5.8 となっています。 メモ 関連パッケージの導入 yum install gcc make pcre-devel openssl-devel rpm-build wget ビルド用のディレクトリ作成 mkdir rpmbuild mkdir rpmbuild/BUILD mkdir rpmbuild/BUILDROOT mkdir rpmbuild/RPMS mkdir rpmbuild/SOURCES mkdir rpmbuild/SPECS mkdir rpmbuild/SRPMS tar ball の取得と展開 cd rpmbuild/SOURCES wget http://www.haproxy.org/downloa
Performance Tuning of HAProxy for Database Load Balancing - Slides
More so than ever, businesses need to ensure that their databases are resilient, secure, and always available to support their operations. Database-as-a-Service (DBaaS) solutions have become a popular way for organizations to manage their databases efficiently, leveraging cloud infrastructure and advanced set-and-forget automation. However, consuming DBaaS from providers comes with many compromise
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - hashicorp/consul-haproxy: Consul HAProxy connector for real-time configuration
