本当は恐ろしい分散システムの話分散システムのFault Injectionの話 NTTデータテクノロジーカンファレンス2017で発表する際に用いたプレゼン資料 https://oss.nttdata.com/hadoop/event/201710/index.html Read less
DMM inside
なぜDMMがweb3に参入したのか。Seamoon Protocolが目指す新たなエンタメ体験の未来とは
LinuxでL4のロードバランサを簡単に作る手順 - Qiita
ロードバランサは高いので、Linuxで比較的簡単にL4の負荷分散を行えるLVSは使いドコロが色々あり結構便利。 久々に作った時のメモがわりとして、今回は、LVSの構築手順と簡単なテスト結果を順に書いてみた。 構成 ちょっと特殊な要件があり、負荷分散行うLVSも実際にレスポンス返すアプリも同じ筐体で動かしたいという前提で作った。 ※最初の投稿だと、同一筐体で動かした時にBACKUP STATEのLVSがARP応答する設定になっていたので、加筆！ LVS単体サーバとしても下記の手順で同じように作れる サーバはaa,bbの2台(vagrant上の仮想マシンとした) 同じ役割を持つサーバaa,bbをLVSを使って負荷分散したい LVS自身も冗長構成にして、aa,bbにやらせたい リクエスト元は、同一セグメントなのでDSR(Direct Server Return)を使う ※NATは、戻す時に直接L
AWS Application Load Balancer がきたので試しに作ってみた - サーバーワークスエンジニアブログ
夜更かしして遊んでいたら、RSSでリリースがあったのを発見してしまったので、作ってみました。 世間的にはお盆の時期ですが、明日も来週も仕事の技術一課の寺田です。 休みがないわけではなく夏休みが、お盆に限らず自由に3日取れるのがSWXです。 僕もいたるところが混んでいるお盆ではなく、時期をずらして取る予定です。 ちなみに名称は夏休みとなっていますが、冬休みにすることも可能です。 Application Load BalancerのAWSの公式blogは下の通り https://aws.amazon.com/blogs/aws/new-aws-application-load-balancer/ 公式blogにも作成手順が書いてありますが、 試しに作ってみました。 気になるのは、今までのElastic Load Balancer(ELB)がどうなるのかという部分ですが、 ELBというカテゴリの
Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ
本記事の公開後の2016年7月にはてなにおけるチューニング事例を紹介した。 はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena - Speaker Deck HAProxy や nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一の CPU コアに負荷が偏り、マルチコアスケールしないことがあります。 今回は、このようなネットワークアプリケーションにおいて CPU 負荷がマルチコアスケールしない理由と、マルチコアスケールさせるための Linux カーネルのネットワークスタックのチューニング手法として RFS (Receive Flow Steering) を
こんなに簡単！ Linuxでロードバランサ (2) : DSAS開発者の部屋
前回までで、 複数のWebサーバにロードバランスする というところまではできました。 これでリアルサーバへ負荷分散することができたのですが、冗長性がありませんでした。つまり、リアルサーバがダウンしても、ロードバランサはそれを認識できず、ダウンしているリアルサーバなのにパケットを送ってしまっていました。 このとき、クライアントから見ると、たまにサーバから応答がないように見えてしまいます。 というわけで今回は冗長化のお話、 リアルサーバのヘルスチェック を紹介したいと思います。 今回はkeepalivedを使います。 おおざっぱにいうと、keepalivedは2つの機能を提供します。 1. ヘルスチェック機構と連携したIPVSでのリアルサーバの管理 (--check) 前回ipvsadmコマンドを使って行ったような、バーチャルIPアドレス (VIP) やリアルサーバの管理を設定ファイルに記述す
DSAS開発者の部屋:知っていても損はしないkeepalivedの話 〜 MISC_CHECKの注意点
keepalived では様々なヘルスチェック方式がサポートされています。 HTTP_GET SSL_GET SMTP_CHECK TCP_CHECK これらの使い方はなんとなく想像がつくと思いますが、これら以外のサービスのヘルスチェックをするにはどうすればいいのでしょうか。 例えば DNS とか FTP とかあれとかこれとか・・・ FTP は最悪 TCP_CHECK でお茶を濁すって手もありますが、FTP サーバがポートをオープンしたまま応答不能になることも考えられるので、あまりお勧めできません。また、DNS をチェックする機能は keepalived にはありません。 そんな時に使うのが MISC_CHECK です。今回は MISC_CHECK を利用する上での注意点や設定のサンプルを紹介したいと思います。 指定したプログラムを実行して、その終了コードによってリアルサーバを UP した
[Linux] 同一サブネットに2枚以上の NIC が刺さっている場合の動作 - NAKAMURA Minoru's Diary
2002 | 10 | 11 | 12 2003 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2004 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2005 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2006 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2007 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2008 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2009 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 1
ldirectord - Linuxめもがっき
ldirectordとは？ † Heartbeatに付属するソフトウェア 実サーバの死活やTCPのサービスを監視をしてくれる。 カーネルが提供するLVSでは、L4ロードバランサーと同じ動作をするため、 実サーバの稼動状態を監視することはできない。 そのため、サーバが停止していてもパケットを転送しようとするが、 ldirectordの場合は、この問題を解決してくれる。 つまり、L7ロードバランサーと同じ動作をしてくれる。 カーネルが提供するLSVの設定は、ipvsadmというコマンドで行うが比較的複雑、 こっちはその問題を解決してくれる。 ldirectordはLVMと連携して動作する。 そのため、あらかじめipvsadmをインストールしておく必要がある。 ↑
Stray Penguin - Linux Memo (Ultra Monkey)
Ultra Monkey とは、Linux-HA (High Availability=高可用性) プロジェクト、LVS (Linux Virtual Server) プロジェクトの産物を中核とした様々なツールを組み合わせて、冗長化と負荷分散、つまり広義のクラスタを Linux で実現しようというプロジェクト。ここでは、RedHat Enterprise Linux 4 (RHEL4) と Fedora Core 5 での検証に基づいて実装方法を解説する。 Ultra Monkeyには、TCP/IP(7層のOSI参照モデル) のL4でロードバランスをする元祖 Ultra Monkey と、それを拡張した UltraMonkey-L7 とがある。当ページで検証したのは L4 のほうだ。L7版の検証は別ページにまとめた。 UltraMonkey をよりよく理解したいのなら、UltraMonke
(ひ)メモ - そんなわきゃない＞DNS RRはロードバランサの座を奪い返せるか
チープなDNSラウンドロビンは高価なロードバランサの座を奪い返せるか つっこみどころが満載スギなのは脇においておいて、金をかけないなら、DNSラウンドロビンじゃなくて、せめて、件の記事でも紹介されている Apache 2.2のmod_proxy_balancer か、Apache 2.2じゃなくても使えるreverse proxy系の実装たち、 POUND mod_backhand Perlbal を使うべきでしょう。 んで、「L7ロードバランサ（要はreverse proxy）なんていらねっす。セッション？ んなのmemcachedでシェアすりゃいいんじゃん。その方がスケールアウトしやすいしー」という向きには、LinuxでL4のロードバランサするのをオススメでします。まともなL4ロードバランサが手に入るのに、金銭的コストはゼロですってよ、オクサン！ Linux Virtual Serve
F5 Networks Japan K.K. - 積極的な取り組みでサイトの安定性と信頼感No.1*を獲得
F5のサイト サポート ポータル F5製品およびサービスに関するセルフサービス ヘルプの記事 DevCentral 弊社主催のコミュニティでつながり、学ぶ My F5 サブスクリプションおよび登録キーの管理 Partner Central F5パートナーのためのリソースおよびサポート ポータル LearnF5 Learn to use F5 products F5へのお問い合わせ F5販売担当部へのお問い合わせ 詳しくは、F5の営業担当社にお問い合わせください F5サポートへのお問い合わせ お近くのサポート担当者にお問い合わせください プロフェッショナルサービスへのお問い合わせ F5ソリューションを最適化するためのサポートを受ける 無料トライアル 複数の環境にわたりアプリケーションの安全性、速度、信頼性を確保するこれらの製品を、無料でお試しください。 F5 Distributed Clou
naoyaのはてなダイアリー - MySQL の負荷分散に LVS + keepalived を使う
あとで書く、と言った手前なので書くとします。 DSASの中の人がすごい勢いで LVS の話を書いてくれてます。この辺。LVS を使うと Linux と箱でロードバランサが作れちゃいます。普通に買ったら数百万とかしちゃうやつ。 DSAS の中のひとに感謝しつつ、いい機会なのでやってみよう! と思っていろいろ試して昨日あたりからはてなの中でも LVS + keepalived で動かしはじめてます。いまのところ問題なし。 そのロードバランサをどこに使ってるかですが、普通ロードバランサというとインターネットからの入り口のところに置いてウェブサーバーの負荷分散に使うイメージがあります。が、今回ははてなでは MySQL のスレーブの手前に置くという役割でとりあえず使いはじめました。 +-----------+ +-----------+ | mod_perl | | mod_perl | +----
Heartbeatの特徴とユニークな機能
はじめに 今回から数回にわたって、オープンソースのHA（高可用性）クラスタ構築ソフトウェア「Heartbeat」を題材にして、「クラスタリングとは何か？」というところから、Heartbeat自体の解説、Heartbeatを用いてのHAクラスタの構築、モニタリングなどについて解説していきたいと思います。皆さんお付き合いのほど、よろしくお願いいたします。 クラスタリングって何だろう？ まず、「クラスタリングとは何か」というところから始めてみましょう。この質問に簡単に答えてしまうと「あるミッションに対し、複数のコンピュータ（群＝クラスタ）をもって対処する構成」だといえます。ですが、状況に応じてさまざまなミッションのタイプがありますから、それに対するクラスタリング（構成）も自然と変わってきます。 なお、Linuxでのクラスタリングの歴史は意外と古くまでさかのぼることができます。約十年前の雑誌ですで
Linux Virtual Server Tutorial
Horms（Simon Horman） - horms@valinux.co.jp VA Linux Systems Japan株式会社 - www.valinux.co.jp 2003年7月（2004年3月改訂） http://www.ultramonkey.org/ Linux Virtual Server（LVS）プロジェクトは、レイヤ4スイッチングを利用して、Webサーバやメールサーバなどのネットワーク・サービスの負荷分散を可能にします。これは非常に高速で、これらのサービスは、数万から数十万もの同時接続にまで拡張してサービスを提供できるようになります。 このチュートリアルの目的は、LVSのさまざまな機能を利用してインターネット・サービスの負荷分散を行う方法と、heartbeatやkeepalivedなどのツールを使って高可用性を実現する方法を示すことです。さらに、高可用性環境でアク
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LVSで構築するgatewaying型負荷分散システム
ldirectordで、LVS（Linux Virtual Server）による負荷分散システムの構築
http://openideas.info/wiki/index.php?title=Pandora_3.0:Documentation_ja:HA