DeNAによる大規模なMySQLノンストップ運用の裏側にある、フェイルオーバー自動化ツール
4月11日から米サンタクララで行われた「MySQL Conference & Expo 2011」。このイベントでDeNAの松信嘉範（まつのぶよしのり）氏が、同社の大規模なMySQLの運用を支えている技術とツールについてのセッション「Automated, Non-Stop MySQL Operations and Failover」を行いました。 プレゼンテーションの中で、社内で利用しているフェイルオーバーの自動化ツールをオープンソース化することにも触れています（英語のドキュメントも作成中とのこと）。 MySQLの大規模運用における自動フェイルオーバーは、特にクラウドでのMySQLの利用が増えるにつれてニーズが高まる分野と思われます。セッションのスライドが公開されていますので、そのポイントを紹介していきます。 自動化されたノンストップなMySQLの運用 ソーシャルゲームでは高可用性が強く求
体験！ 新しくなったLinux-HA
体験！ 新しくなったLinux-HA：Heartbeat＋Pacemaker＋DRBDで高可用Linux（1/3 ページ） Linuxで動作するオープンソースソフトウェアを組み合わせ、高い信頼性を備えたシステムを実現する「Linux-HA」が新しくなり、さらに高い信頼性を実現するようになりました。最新のLinux-HAの特徴と、導入から設定方法まで基本的な環境構築を解説します（編集部） 新しくなったLinux-HA Linuxで動作するオープンソースソフトウェア（OSS）だけでHigh Availabilityクラスタ（HAクラスタ）環境を実現するLinux-HAは、サービスの可用性やデータの保存性に対する要求が高くなったこの数年で非常に注目されている分野です。 Linux-HAとは複数のOSSを組み合わせた環境の総称で、Heartbeat、Corosync、OpenAIS、DRBDなどを
ClusterLabs > Home
Open Source High Availability Cluster Stack The ClusterLabs stack unifies a large group of Open Source projects related to High Availability into a cluster offering suitable for both small and large deployments. Together, Corosync, Pacemaker, DRBD, ScanCore, and many other projects have been enabling detection and recovery of machine and application-level failures in production clusters since 1999
Fedora11でdevice mapper multipathを使ってみた (1) - aaabbb_200904の日記
確実に外部ストレージへの接続を行うため、外部ストレージを利用する際には複数のHBAにより、multipathを使いたいのだが、CentOSやFedoraにもクライアント側のmultipathの機能がある。 既にopenfiler を使って、iSCSI target が使えるようになっているので、Fedora11 からmultipathを使ってみた。 大まかな使い方はこちらと同様になる。 http://www.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/5/html/DM_Multipath/index.html まず、iSCSIのストレージに複数のHBAがある状態にするため、openfilerにログインし、 # ifconfig eth0:1 xx.xx.xx.xx などにより、二つ目のIPを付与する。実際には1つのNICしかないため、冗長
チームリーダー日記 : [記事]EC2でHAProxy
Load Balancing in Amazon EC2 with HAProxy http://agiletesting.blogspot.com/2009/02/load-balancing-in-amazon-ec2-with.html 全体的に ■設定ファイルの書き方 かなり普通な感じの書き方。mod_proxy_balancerの書き方と雰囲気は似てる。というか、普通な感じ。 ■maxconnの値 デフォルトで2000になっている。 それを超えるとキューされる。 25,000くらいがいいと思うよ、とのこと。 ■だいたいの性能 かなりいい。 20,000コネクションくらいのアクセスが来てるとき、ec2のsmallインスタンスでCPU使用率１％くらい。 これ以上のアクセスが来たら、HAProxy以外の部分がボトルネックになってるだろうから、これで十分だよね。 メモ：smallインスタ
しすろぐ : HAProxy (High Performance TCP/HTTP Load Balancer)
よさげな Proxy ＆ Load banalser。試してみようと早速 ports/net/haproxy を導入。お約束で /etc/rc.conf に haproxy_enable="YES" を追加して終了。設定ファイルを examples/haproxy.cfg から /usr/local/etc/haproxy.conf にコピーして適当にエディットしたが、起動せず。...と思ったら startup スクリプトがいまいちで haproxy_flags="-f /usr/local/etc/haproxy.conf -p /var/run/haproxy.pid" なんてのも追加しないとダメだった。ports の version が最新の 1.2.14 ではなくて 1.1.32 だからかな？ バランスサイトの keep alive チェックに使う URL を設定できるのは面白
HAProxy - The Reliable, High Perf. TCP/HTTP Load Balancer
Quick News Dec, 5th, 2023 : HAProxy 2.9.0 release This release has received a lot of small changes that are difficult to summarize. Most of them were aimed at improving performance and resource usage in general (zero-copy forwarding, QUIC's smaller footprint for closed connections, improved scalability), others focusing on better integration with other components (support for the AWS-LC crypto lib
KOF2009「ウェブサービスのパフォーマンスとスケーラビリティ」 - stanaka's blog
KOF2009にて、「ウェブサービスのパフォーマンスとスケーラビリティ」と題して発表してきました。発表資料を以下に置いておきます。 Performance and Scalability of Web ServiceView more presentations from Shinji Tanaka. 概要は、「ウェブサービスのパフォーマンスを向上させスケーラビリティを高めるために、はてなでは様々な取組みを行っています。本セッションでは、はてなで採用している具体的な技術、ノウハウ、可視化手法と、それらの効果について紹介します。」というものです。 最近の、Interopやカーネル読書会あたりで話した内容をまとめつつ、レスポンスタイムの可視化という最近の取り組みについて話しました。 最近、レスポンスタイムについては、以下のようなグラフを使っています。 x軸がレスポンス時間、y軸がその時間内に収
実録、ほぼ無停止なMySQLのフェイルオーバ (動画もあるよ) - （ひ）メモ
レプリケーションしてるMySQLで、マスタやスレーブが障害停止した場合のリカバリプラン でも掲げたゴールである、「マスタが落ちてもぐーすか寝ていられるようにしたい」がほぼできたので、ほとんどサービスが停止することなく、フェイルオーバする様をスクリーンキャストに収めました。 埋め込みプレイヤーだと、小さくてわからないと思うので、リンク直接でみてください。 http://www.irori.org/pub/mysql-mm.mov 登場するホスト 登場するホストは2台、db901とdb902です。 最初は、db901が更新系クエリを受けるプライマリでdb900の浮動IPアドレスを持っています。 画面分割 画面は5分割しています。 左上 = 「select sysdate(),@@server_id」をdb900に対して(sleep 1しながら)延々と実行しまくりんぐ 右上 = ping -n
レプリケーションしてるMySQLで、マスタやスレーブが障害停止した場合のリカバリプラン - （ひ）メモ
MySQLで、レプリケーションベースのHAな構成について考えたメモです。 3台(というか2台＋1台)がいいかなぁと思っていて、前半はその理由を、後半では{マスタ,スレーブ}が{再起不能になった,ちょっとダウンしてすぐ復帰した}場合のリカバリプランについて書きます。 今のところはこれがベストかなと思っているのですが、「こうしたほうがいいと思う！」「ここがおかしい！」などなどのご意見はコメント、TBなどでいただけるとうれしいです。 ゴール マスタが落ちてもぐーすか寝ていられるようにしたい リカバリの作業はできるだけ単純に、かつ、短時間で完了するようにしたい めんどくさいのはいや 基本構成、方針 2台＋1台 サービスで使うのは2台 (db1, db2) もう1台は管理用 (db3) スレーブを多数並べる構成にはしない 台数増えると管理コストが上がる マスタダウン時のフェイルオーバとそのフェイルバ
How To Build A Scalable Storage System with OSS at TLUG Meeting 2008/09/13
How To Build A Scalable Storage System with OSS at TLUG Meeting 2008/09/13 The document discusses Gosuke Miyashita's goal of building a scalable storage system for his company's web hosting service. He is exploring the use of several open source technologies including cman, CLVM, GFS2, GNBD, DRBD, and DM-MP to create a storage system that provides high availability, flexible I/O distribution, and
＠IT：インストールとApache用の設定方法（1/3）
前回は、HAクラスタを構築できるオープンソースソフトウェア「Heartbeat」の主な機能を紹介しました。第2回は、Heartbeatのインストール方法を解説し、さらに基本的な設定内容を紹介していきます。（編集部)
Heartbeatの特徴とユニークな機能
はじめに 今回から数回にわたって、オープンソースのHA（高可用性）クラスタ構築ソフトウェア「Heartbeat」を題材にして、「クラスタリングとは何か？」というところから、Heartbeat自体の解説、Heartbeatを用いてのHAクラスタの構築、モニタリングなどについて解説していきたいと思います。皆さんお付き合いのほど、よろしくお願いいたします。 クラスタリングって何だろう？ まず、「クラスタリングとは何か」というところから始めてみましょう。この質問に簡単に答えてしまうと「あるミッションに対し、複数のコンピュータ（群＝クラスタ）をもって対処する構成」だといえます。ですが、状況に応じてさまざまなミッションのタイプがありますから、それに対するクラスタリング（構成）も自然と変わってきます。 なお、Linuxでのクラスタリングの歴史は意外と古くまでさかのぼることができます。約十年前の雑誌ですで
DSAS開発者の部屋:repcached 1.0をリリースしました！
repcached初の公開バージョンとなる1.0を公開しました。 http://lab.klab.org/modules/mediawiki/index.php/Repcached (日本語) http://repcached.lab.klab.org/ (英語) repcachedとは、memcachedに以下の機能を追加するプロダクトです。 アクティブ/バックアップ構成での自動的なフェイルオーバ 無停止のフェイルバック 「キャッシュサーバなのに冗長構成って必要なの？」と思うかもしれませんが、そのあたりの開発動機も含め、インストール方法などのドキュメントは上記のプロジェクトページにありますのでご覧くださいませ！ 追々、このブログでも活用事例を紹介していきたいと思っています。
DSAS開発者の部屋:特集記事『Linuxロードバランサ構築・運用ノウハウ』を公開します
『Linuxロードバランサ構築・運用ノウハウ』を公開します！ これはWEB+DB PRESS Vol.37の特集記事としてDSASチームが執筆したもので、技術評論社様の許可を得て今回公開するはこびとなりました。 一口でいうと、「Linux＋IPVS＋keepalivedを使って、冗長構成(Active/Backup)のロードバランサを作るまで」の解説記事で、 サーバ負荷分散一般についてのはなし Linuxでロードバランサを作ってみる ロードバランサを冗長化 といった構成になっています。 みなさんがLinuxロードバランサを導入・構築・運用する際の一助になれば、DSASチームとしてもうれしい限りですので、是非、ご覧になってください！ 第1章 サーバ負荷分散概論 特集のはじめに なぜサーバ負荷分散をするのか？ サーバ負荷分散の実現方法 ロードバランサのいる構成 ロードバランサはなにを元に分散す
livedoor Techブログ : nowaのサーバ構成
こんにちはスエヒロです。 今回は弊社が提供しているブログサービス「nowa」(ノワ http://nowa.jp)の仕組みをサーバ構成を中心に紹介したいと思います。 nowaでは一般的なブログサービス要素とSNS要素の機能を実装しています。弊社には先行して提供している「livedoor Blog」、「フレパ」といった大規模なサービスがありますので、そちらの開発・運用で問題になった点などを参考にしつつ開発を進めています。具体的にはアクセスによる負荷への対策、データベースの分散化、画像のストレージング、冗長性、スケーラビリティといった点になります。 - ポータル(nowa.jp)、CMS(cms.nowa.jp) のサーバ構成 ポータルページ(nowa.jp)とCMSページ(cms.nowa.jp)は、静的なファイルのリクエストを捌く+動的なコンテンツへのリクエストをプロキシするフロントサーバ
負荷分散講習会 Apache編 | feedforce Engineers' blog
ゴール 負荷分散のいくつかの方法に関して理解する mod_proxy_balancerによる負荷分散クラスタが構築できる 基礎知識編 基本的な資料 主にクラスタによる負荷分散の資料。 - Apache モジュール mod_proxy_balancer - mod_proxy_balancerで中?大規模サーバー運用するときの勘所 - cyano あと社外秘資料。 負荷分散？ 複数台のサーバにアクセスを分散して、個々のサーバにかかる負荷を減らし、全体的に処理できるアクセスを増やすこと。 以下のようなアプローチがある。 DNSラウンドロビン DNSでひとつのホスト名に複数のIPアドレスを割り当てる方法 シンプル しかしダウンしているホストにもアクセスが振り分けされてしまう 冗長化と併用でなんとかなるかな？ 機能ごとにホストを分割 ウェブサーバとDBサーバの分割（基本過ぎるが一応これも負荷分散）
High Scalability | Building bigger, faster, more reliable websites.
Kafka 101 This is a guest article by Stanislav Kozlovski, an Apache Kafka Committer. If you would like to connect with Stanislav, you can do so on Twitter and LinkedIn. Originally developed in LinkedIn during 2011, Apache Kafka is one of the most popular open-source Apache projects out there. So far it Capturing A Billion Emo(j)i-ons This blog post was written by Dedeepya Bonthu. This is a repost
Sun，クラスタリング・ソフト「Solaris Cluster」を「Open HA Cluster」としてOSS化
Sun，クラスタリング・ソフト「Solaris Cluster」を「Open HA Cluster」としてOSS化 米Sun Microsystemsは，クラスタリング・ソフトウエア「Solaris Cluster」をオープンソース・ソフトウエア（OSS）の「Open High Availability（HA）Cluster」として公開する。Sunが米国時間6月27日に明らかにしたもの。同OSSは，オープンソース・コミュニティOpenSolarisのWebサイトで6月末より3段階に分け，18カ月かけて順次公開していく。 Open HA Cluster公開の第1段階では，クラスタ対応アプリケーションを動かすエージェントのソースコードを提供する。用意するエージェントは「Solaris Containers」用のほか，BEA WeblogicやPostgreSQL用。Open HA Cluste
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer