Azureで超簡単にＶＭ負荷分散 - GUIでAzure Load Balancerの設定をしてみる -
AzureでのELB(エクスターナルロードバランシング） 負荷分散ってそもそもどういうこと？ Azureの場合、負荷分散ってどんな感じなの？ AzureでWEBアプリを運用したいが、負荷分散の設定がいまいちわからない WEBアプリを作ったけど、安定運用のためにスケールアウトを試してみたい。 という感じの方に向けた記事です。 AzureでELB(エクスターナルロードバランサ）をARMのGUIで構築する日本語の記事がなかったので、今回はELBの構築方法について書いてみます。 今回は以前書いた「Ruby on Rails on Ubuntu on Windowsの環境構築について」のプロジェクトをAzure上で動かしてみます。 今回のテーマはELB（エクスターナルロードバランサ）なので、そちらの確認がメインになりますので、一応Rails用のVMをつくり、MySQL用のVMをつくり...というとこ
「LT Thursday」by MDHエンジニア Vol.13 | CyberAgent Developers Blog
こんにちは、メディア広告部門(MDH)のkogetsuです。 MDHでは、技術者のための勉強会 「LT Thursday」を隔週で開催しています。 「LT Thursday」は、社員のスキルセットを知ることや、個人のスキルセットの幅を広げることを目的としており、1回あたり3〜4名のエンジニアがプレゼンを行っています。 今回の「 LT Thursday」 は、アドテクスタジオの代表的なプロダクトである「Dynalyst」 のチームと合同で勉強会を行いました。 トップバッターは「A.J.A.レコメンドエンジン」チームの大澤が発表しました。 テーマは「段階的Frequency Cappingの技巧」です。 大澤が担当しているA.J.A.レコメンドエンジンでは、メディアのマネタイズ(広告収益増加)とグロース(回遊増加)、両方を達成することを目的にしています。 フリークエンシーキャップとは上記の目的
nginxのTCPロードバランシングを試す - CLOVER🍀
先日、nginxのHTTPでのロードバランシングを試しました。 nginxのHTTPロードバランシングを試す - CLOVER 次は、もっと汎用的にTCPでのロードバランシングをしてみたいと思います。なお、今回はTCPのみで扱いますが、UDPでのロードバランシングも可能なようです。 ドキュメント 主要に利用するモジュール的には、 Module ngx_stream_core_module と Module ngx_stream_upstream_module の2つとなります。 また、こちらのドキュメントも参考にしました。 NGINX Docs | NGINX Load Balancing – TCP and UDP Load Balancer MySQLへの接続をロードバランシングしてみよう 今回のTCP接続の対象として、MySQLサーバーを持ち出してみます。 MySQLサーバーが、次の
Introducing the GitHub Load Balancer
EngineeringIntroducing the GitHub Load BalancerOver the last year we've developed our new load balancer, called GLB (GitHub Load Balancer). Today, and over the next few weeks, we will be sharing the design and releasing its components as open source software. At GitHub we serve billions of HTTP, Git and SSH connections each day. To get the best performance we run on bare metal hardware. Historical
nginxによるTCPロードバランサー | メルカリエンジニアリング
SREチームの@cubicdaiyaです。今回はnginxによるTCPレイヤーでのロードバランスについて解説します。 ロードバランサーとしてのnginx nginxはHTTPやTCP、UDP等の複数のレイヤーでロードバランサーとして稼働させることができます。（TCPロードバランサーは1.9.0以降、UDPロードバランサーは1.9.13以降で利用可能です） また、ngx_http_ssl_module や ngx_stream_ssl_module を利用することでそれぞれのレイヤーでTLSを有効化することも可能です。 TCPロードバランサー用のモジュールを有効にする HTTPレイヤーでロードバランスするためのモジュールはデフォルトで組み込まれますが、TCP(とUDP)レイヤーでロードバランスするにはnginxのconfigureスクリプトに--with-stream(あるいは --with
Docker ロードバランサ内部実装
先日のDockerCon16でDocker 1.12RCが発表されまして，主な機能追加として SwarmのDocker engineへの統合とそれに伴うクラスタ構築の簡略化 Service機能の追加 Load Balancer機能の追加 が発表されました． 今回はSwarmクラスタの構築~Serviceの定義まで行って，ロードバランサの内部実装を詳しく追ってみます． Docker 1.12RCのインストール これは既にget dockerで問題なく可能です． 今回はAWS上にクラスタを構築します． node1(master) : ip-172-31-1-218 node2 : ip-172-31-1-219 node3 : ip-172-31-1-217 これら３台のホスト上でそれぞれ以下のコマンドでDocker 1.12をインストールします． $ wget -qO- https://ex
ロードバランサのアーキテクチャいろいろ - yunazuno.log
少し前に，Facebookのロードバランサが話題になっていた． blog.stanaka.org このエントリを読んで，各種Webサービス事業者がどういったロードバランスアーキテクチャを採用しているのか気になったので調べてみた． ざっくり検索した限りだと，Microsoft, CloudFlareの事例が見つかったので，Facebookの例も併せてまとめてみた． アーキテクチャ部分に注目してまとめたので，マネジメント方法や実装方法，ロードバランス以外の機能や最適化手法といった部分の詳細には触れないことにする． 事例1: Microsoft Azure 'Ananta' MicrosoftのAzureで採用されている(いた？)ロードバランサのアーキテクチャは，下記の論文が詳しい． Parveen Patel et al., Ananta: cloud scale load balancing
Seesaw: scalable and robust load balancing
As Site Reliability Engineers who manage corporate infrastructure at Google, we deal with a large number of internally used services that need to be load balanced for scalability and reliability. In 2012, two different platforms were used to provide load balancing, both of which presented different sets of management and stability challenges. In order to alleviate these issues, our team set about
facebookの13億ユーザーを支えるロードバランサーの話 - stanaka's blog
最近、SREが話題ですね。 tech.mercari.com www.wantedly.com ということでSREについて調べてたら、SREconなんてものが開催されていたので中を見てたら、「Building a Billion User Load Balancer」というタイトルでFacebookのDNS〜LBまでの話があったので、そのメモです。 Building a Billion User Load Balancer | USENIX tl;dr tinydns + IPVS で Facebook規模はいける httpsの接続確立はかなり重い(RTTの4倍 = RTT 150msとするとGETまで600ms)ので、太平洋越えとかは厳しい httpsを終端させるCDNとかは活用の可能性ありそう (国内だけを考慮するなら影響は軽微かも) メモ L4 LB shiv (IPVS + pyt
Kernel Load-Balancing for Docker Containers Using IPVS
Yesterday at DockerCon Europe, Andrey Sibiryov, a senior engineer at Uber Technologies, demonstrated how to improve load-balancing performance using an open-source technology that’s been part of the Linux kernel for more than a decade — IPVS. [caption id="attachment_2749" align="aligncenter" width="4000"] Andrey Sibiryov discusses IPVS at DockerCon Europe.[/caption] What Is IPVS?To be precise, IPV
Docker Load Balancing Now Available in Rancher 0.16
Hello, my name is Alena Prokharchyk and I am a part of the software development team at Rancher Labs. In this article I’m going to give an overview of a new feature I’ve been working on, which was released this week with Rancher 0.16 - a Docker Load Balancing service. One of the most frequently requested Rancher features, load balancers are used to distribute traffic between docker containers. Now
Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ
本記事の公開後の2016年7月にはてなにおけるチューニング事例を紹介した。 はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena - Speaker Deck HAProxy や nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一の CPU コアに負荷が偏り、マルチコアスケールしないことがあります。 今回は、このようなネットワークアプリケーションにおいて CPU 負荷がマルチコアスケールしない理由と、マルチコアスケールさせるための Linux カーネルのネットワークスタックのチューニング手法として RFS (Receive Flow Steering) を
ロードバランサ（haproxy + serf + keepalived）を構築してみた - Qiita
ハードウェアのロードバランサは予算上厳しくなりそうだったので、仮想サーバで動作するOSSのロードバランサを構築することにした。今回検証を行ったので、その共有です。 構成 Ubuntu Server 14.04 LTS HAProxy v1.5.2 keepalived v1.2.7 serf v0.6.3 負荷分散するアプリサーバ Windows Server 2012 R2 or Windows Server 2008 R2 (どちらも standard edition） IIS web service A（独自）※ここでは名前をWSA、使用するポートを1111とします web service B（独自）※ここでは名前をWSB、使用するポートを2222とします インストール すでに多くの方が書かれていますが、参考までに。 sudo apt-get install -y build-ess
GoogleのHTTPロードバランサーの破壊力があり過ぎる #gcpja - Qiita
そもそもGoogle Compute Engineのロードバランサー、GCE LBは、1インスタンス・1グローバルIP・ウォームアップなしでいきなり100万リクエスト／秒を捌けてしまう謎性能を備えていて、既存の他社クラウドのLBだけこれで置き換えたい！ という声もちらほら聞かれるほどの強力LBサービスであった。 From Compute Engine Load Balancing hits 1 million requests per second! そして今回、正式公開ではないLimited Preview版ではあるものの、GCE LBの新機能としてHTTP Load Balancingが発表された。その性能と機能の破壊力があり過ぎるので、GCPブログ記事のリンクをシェアするだけではあまりにもったいない！ と思い、要点を訳してみた。 DNSに頼らない、1グローバルIPによるUS、EU、A
Amazon Elastic Load Balancing (ELB)の内部構造および拡張・障害時の動き - プログラマでありたい
諸般の理由により、AWSの各サービスの挙動を改めて復習中です。まずは、Amazon Elastic Load Balancing 、通称ELBについてです。ELBの内部の動作については、公開されている公式ドキュメントが割とあります。是非一度しっかりと目を通しておくとよいですよ。少なくともAWSマイスターシリーズのELBについては、読んでおくべきです。簡潔にかつ詳しく説明されているので、理解が格段に進むでしょう。というところで、現段階で私が理解しているELBのアーキテクチャをまとめてみました。 ELBの内部構造 ELBは、ELBエンドポイントとELBインスタンス（仮称）によって構成されます。ELBインスタンス（仮称）の正式名称は知らないので、その名前で呼ぶことにします。ELBインスタンスには、グローバルIPが付与されます。ELBエンドポイントは、myLB-xxx.elb.amazonaws.
MySQL load balancing and read-write splitting with MySQL Proxy
MySQL load balancing and read-write splitting with MySQL Proxy This is just a quick post which aims to say something positive about MySQL Proxy. I've been reading lots of negative blog and forum posts about it, with people complaining that it doesn't work for them. It works for us, and it works pretty well too. First things first though -- what is MySQL Proxy? Here's what the documentation says: M
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
OpenLogic Login
Connector/J load-balancing for auto-commit-enabled deployments
Managing load-balanced Connector/J deployments