サーバとL2スイッチの接続を冗長化する設計の基本 - GeekFactory
インフラを設計する上で冗長化による信頼性向上は避けて通れない道です。サーバとL2スイッチの接続を冗長化する設計については意外と情報が少ないのでまとめてみました。変なこと書いてたらご指摘ください。 インフラ設計の基本は単一障害点（SPOF）を取り除くことです。構成要素のうち1つが故障してもサービスを維持できるように設計します。構成要素は以下のものが挙げられます： CPU マザーボード メモリ ローカルディスク 電源 FC-HBA NIC LANケーブル L2スイッチ ・・・ ただし、これらすべての故障に備えようとすると費用対効果が割に合わないので、ローカルディスクから下を冗長化する構成が一般的と思います。絶対に止まってはいけないサービスは別ですけどね。 冗長化の種類 サーバを冗長化するにはクラスタを組みます。クラスタはActive-ActiveとActive-Standby（HA）の二種類に
体験！ 新しくなったLinux-HA
体験！ 新しくなったLinux-HA：Heartbeat＋Pacemaker＋DRBDで高可用Linux（1/3 ページ） Linuxで動作するオープンソースソフトウェアを組み合わせ、高い信頼性を備えたシステムを実現する「Linux-HA」が新しくなり、さらに高い信頼性を実現するようになりました。最新のLinux-HAの特徴と、導入から設定方法まで基本的な環境構築を解説します（編集部） 新しくなったLinux-HA Linuxで動作するオープンソースソフトウェア（OSS）だけでHigh Availabilityクラスタ（HAクラスタ）環境を実現するLinux-HAは、サービスの可用性やデータの保存性に対する要求が高くなったこの数年で非常に注目されている分野です。 Linux-HAとは複数のOSSを組み合わせた環境の総称で、Heartbeat、Corosync、OpenAIS、DRBDなどを
Amazon EC2の「Cluster Compute Instances」を使ってみた(High Performance Computing向け) - 元RX-7乗りの適当な日々
先日、Amazon EC2の新しいインスタンスタイプで、ハイパフォーマンスコンピューティング(HPC)向けの「Cluster Compute Instances」が発表されました。 特筆すべきは、 Cluster Computeは標準的なEC2より処理パワーが向上しており、クラスタの計算ノード間のネットワーク接続が高速化して通信が向上しているという。一方で、顧客の利用に応じた料金支払いというサービスの理念は維持されており、利用が増えると料金は増加する。 このクラスタサービスは、Linuxと顧客のソフトウェアを多様に組み合わせて利用でき、作業を独立した複数ピースに分割し同時に実行する平行タスクに最適だ。 アマゾン、スパコンの計算能力をウェブサービスで提供 - CNET Japan といった、高い計算処理能力とノード間での処理連携を前提にしている点。 HadoopなClusterや、Amazo
次世代Ruby on RailsサーバーUnicorn（汎用のRackアプリケーションサーバ）を使ってみた｜TechRacho by BPS株式会社
2010.07.09 次世代Ruby on RailsサーバーUnicorn（汎用のRackアプリケーションサーバ）を使ってみた 2010.07.20追記: prefixを指定した運用も可能でした。ご指摘頂きありがとうございます。 2010.07.28追記: 関連記事「RailsサーバUnicornを飼いならす! 運用時の便利技」へのリンクを張りました。 Railsサーバはたくさんあってややこしいですね！ 最近さらにUnicornというものが頭角を表してきたようで、Twitterやgithubも使っているようなので使ってみましたので、特徴や使い方などレポートしてみたいと思います。 このブログの他にもEngine Yardのブログ記事「Everything You Need to Know About Unicorn」やgithubの記事「Unicorn!」が非常に参考になると思いますので、
最強のMySQL HA化手法 - Semi-Synchronous Replication
MySQL 6.0で搭載される予定の機能の一つに、Semi-Synchronous Replicationというものがある。コイツを使うととんでもなく凄いHA化ができるので、今日はその方法を紹介しよう。 まずはSemi-Synchronous Replicationの機能説明から。そもそもSemi-Synchrounousってナニ？どうして完全な同期でもなく非同期でもなくSemi-Synchronousなの？という疑問をまずは解消したいと思う。さっそく次の図を見て欲しい。 これはSemi-Synchronous Replicationの動作を図で表したものである。図だけではなんだかよく分からないと思うので、以下に各ステップの詳細を説明する。 アプリケーション（クライアント）からトランザクションをCOMMIT要求を出す。 バイナリログを更新する。 ストレージエンジン（テーブル）を更新する。
MySQL Clusterが苦手とするJOINを如何にして克服するべきか。
シェアードナッシング型の負荷分散機能を持ち、なおかつ同期レプリケーションによるHA機能まで備えたMySQL Cluster最大の弱点といえば、JOINの遅さであろう。MySQL ClusterのJOINは偽りなく遅い。JOINを多用するアプリケーションでMySQL Clusterを利用するのはある意味マゾヒスティックな行為であると言えよう。何故MySQL ClusterはJOINが遅いのか？それはMySQL Clusterが分散データベースだからである。 ご存じの通り、MySQLにおけるJOINのアルゴリズムにはNested Loopしかない。他のストレージエンジンを利用していればそれでも十分実用に耐えうるぐらい高速なのだが、MySQL Clusterの場合はそうはいかない。JOINでは自ずとストレージエンジンからデータをフェッチする回数が増えるが、MySQL Clusterの場合レコード
MySQL Cluster進化の歴史
MySQL Cluster開発者の一人であるFrazer Clement氏がその歴史についてとても興味深いエントリを自身のブログで綴っているのだが、いかんせん英語の長文で日本人には辛いかも知れないので今日はその日本語訳を皆さんにも紹介しようと思う。進化の歴史とその結果生じた構造を知ることにより、MySQL Clusterの仕組みに興味を持って頂けると幸いである。（わかり辛いところにはところどころ訳者による注釈を入れてある。ただし翻訳は結構大ざっぱなので、英語が達者であれば細かいニュアンスなどはオリジナルのエントリを参照して頂きたい。なお、日本語訳をすることに関してはFrazer氏の了解を得ているのであしからず。） NDB（MySQL Clusterの略称。元々はNetwork DBという名称であった。）の開発の正確な歴史について、きっと他の誰かのほうが上手く解説できると思うのだが、限られて
DRBD+heartbeat+LVM(on Fedora Core10)によるクラスタリング
こんにちは、亀本です。 今回は、PHPとかから少し離れて、サーバのクラスタリングのお話です。 ちょっと仕事で冗長化システムを組む必要があったので、せっかくなので記事にまとめました。 さて、ここで目指すのは、DRBDを使ったデータレプリケーションサーバ( Master / Slave 構成 )の自動フェイルオーバークラスタ( 非フェイルバック構成 )です。 ネットワーク構成としては、ルータから結ばれるLAN(eth0に接続)とは別に、eth1で１対１のLAN接続を行います。 また、heartbeatでのクラスタ構成後は、eth0に仮想IPとして192.168.1.100を割り振るようにします。 eth1の設定は、 # vi /etc/sysconfig/network-scripts/ifcfg-eth1 DEVICE=eth1 HWADDR=00:00:00:00:00:00 ONBOOT
twitter's social network analysis
The document discusses analyzing the community structure of a Twitter social network with 329 users and 75 topics. It proposes using the favorite function and weighted reciprocal of favorites between users to cluster the network into communities. It describes implementing the analysis in R using the igraph package and discusses that calculating communities for the whole network of 5000 users would
MySQL ClusterのRPMパッケージ
MyNAのメーリングリストで迷ってる人を見かけたのだが、意外と同じことで悩んでいる人が多いのではないかと思って書いておく。 MySQL Clusterのダウンロードページに行くと、Linux用のRPMが細かく分かれていて、どのパッケージをどのホストにインストールすればいいのか迷ってしまうんじゃないだろうか。MySQL Clusterには管理ノード、データノード、SQLノードの3種類が存在するが、それぞれにインストールしなければいけないRPMは次の通り。 管理ノードCluster storage engine management・・・ndb_mgmd（デーモンプログラム）が入っている。 Cluster storage engine basic tools・・・ndb_mgmやndb_restoreなどの各種クライアントプログラムが入っている。 Cluster storage engine
MySQL Clusterへの接続方法
どうやってたくさんあるSQLノードに接続すればいいんだ？ ロードバランスは？ フェイルオーバーは？ ということがあると思う。このテーマを扱ったドキュメントはありそうだちょうど良いものが見あたらない。おそらくこの点が明確でないために「よし、最近サイトのトラフィックも増えてきたことだし、いっちょMySQL Clusterを試してみようか！」という気にならず、多くの人が利用を躊躇ってしまっているのではないだろうか？なので今日はこの点について5パターンのソリューションを紹介したいと思う。 その前に、「MySQL Clusterって何だ？シラネーヨ！」って人は、MySQL Clusterの特徴やセットアップ方法などを以前にThinkITへ投稿したのでそちらを参照して貰いたい。 http://www.thinkit.co.jp/article/95/ では本題。 1. mysqldをアプリと共存恐らく
Project mod_cluster
mod_cluster mod_cluster is an intelligent native Apache httpd-based and pure-Java Undertow-based load-balancer GitHub Download releases Issue Tracking Documentation Discussions JBoss mailing list Drop us a line Introduction Project mod_cluster/mod_proxy_cluster is an intelligent load balancer. Like mod_jk and mod_proxy, mod_cluster uses a communication channel to forward requests from the load bal
Hadoopを用いたクラスタコンピューティング環境の構築 - SourceForge.JP Magazine : オープンソースの話題満載
ペタバイト規模のデータを格納させる分散コンピューティング用プラットフォームを探しているのであれば、そのフレームワークとして Hadoop の使用を検討すべきだろう。HadoopはJavaベースで作成されているため、Linux、Windows、Solaris、BSD、Mac OS Xにて使用できる。こうしたHadoopを実際に採用している組織に共通するのは、安価（特殊なハードウェアが不要）かつ効率的でスケーラビリティと信頼性を兼ね備えたプラットフォームによる、膨大な量のデータ処理を必要としているという点だ。 Hadoopでは、こうした膨大な量のデータを格納するために、Hadoop Distributed File System（HDFS）を採用している。実際、HDFSのマスタ/スレーブアーキテクチャは、Hadoopのクラスタ機能の中核を成している。ここでサポートされているのは、ファイルシステ
負荷分散講習会 Apache編 | feedforce Engineers' blog
ゴール 負荷分散のいくつかの方法に関して理解する mod_proxy_balancerによる負荷分散クラスタが構築できる 基礎知識編 基本的な資料 主にクラスタによる負荷分散の資料。 - Apache モジュール mod_proxy_balancer - mod_proxy_balancerで中?大規模サーバー運用するときの勘所 - cyano あと社外秘資料。 負荷分散？ 複数台のサーバにアクセスを分散して、個々のサーバにかかる負荷を減らし、全体的に処理できるアクセスを増やすこと。 以下のようなアプローチがある。 DNSラウンドロビン DNSでひとつのホスト名に複数のIPアドレスを割り当てる方法 シンプル しかしダウンしているホストにもアクセスが振り分けされてしまう 冗長化と併用でなんとかなるかな？ 機能ごとにホストを分割 ウェブサーバとDBサーバの分割（基本過ぎるが一応これも負荷分散）
HA-JDBC
JS7 JobScheduler is an open source workload automation solution. JS7 offers cross-platform job execution, managed file transfer, complex no-code job dependencies and a real REST API. JS7 JobScheduler is an open source workload automation solution. It is used to run executable files, shell scripts etc. and database procedures.
MySQL Cluster - hirohama.wiki
はじめに 2004年4月のMySQL Users Conference(米国オーランド)でMySQL Clusterが公になって以来、開発チームとの技術交流、MySQL Cluster開発者による日本での5日間トレーニング受講（関係者のみ）、デブサミでプレゼン発表のお手伝い、IPAでのクラスタ機能検証及びベンチマーク計測などを通して細く長く付き合ってきたMySQL Clusterの備忘録。 Open Source Conference 2005のセッション「MySQL Cluster」PPT作成お手伝い Linux World 2005にてMySQL Clusterデモンストレーション(7台のサーバ使用) MySQL Users Conference 2004, 2005, 2006参加 5日間のMySQL Clusterオフィシャルトレーニング参加 様々なソース（メール、電話会議、MLな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Sign in - Google Accounts
High Availability Session Store(HADB)の概要
http://blogs.sun.com/yosshi/entry/%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E7%92%B0%E5%A2%83%E6%A7%8B%E7%AF%89%E3%81%AE%E6%BA%96%E5%82%99
N Linux
