商用のクラスタソフトウェアがその市場を伸ばす中で、オープンソースソフトウェアによるクラスタソフトウェアも少しずつ改良が加えられ、その機能は進歩し続けています。 クラスタソフトウェアはミッションクリティカルな分野で使用されることが多いため、「ベンダーの保障がないと使用できない」と導入を躊躇する企業が多いと思われているかもしれません。しかし、その特徴と適用分野を見極めることで、有効な運用が可能になります。
[ThinkIT] 第9回：オープンソースソフトウェアの「Heartbeat」によるHAクラスタ (1/4)
商用のクラスタソフトウェアがその市場を伸ばす中で、オープンソースソフトウェアによるクラスタソフトウェアも少しずつ改良が加えられ、その機能は進歩し続けています。 クラスタソフトウェアはミッションクリティカルな分野で使用されることが多いため、「ベンダーの保障がないと使用できない」と導入を躊躇する企業が多いと思われているかもしれません。しかし、その特徴と適用分野を見極めることで、有効な運用が可能になります。
月間57億PV、300台のサーバを運用するミツバチワークスが編み出したインフラ技術
ミツバチワークスのエンジニアは、「月間57億PV」という巨大なトラフィックをさばくため、さまざまな技術を駆使してインフラを構築している。主と副の2本立てでデータベースを運用し、300台のサーバを使いながら「負荷の限界」に挑むエンジニアに、技術ノウハウを聞く。 ミツバチワークスが運営するケータイブログサービス「DECOLOG」は、異色のサービスである。10代後半から20代前半の女性に最も人気のあるケータイブログサービスで、「デコメール」などを利用して、かわいくカラフルなブログを作成できる。広告基準を厳しくすることで女性ユーザーにも不安なく使ってもらえるような安心感を作り出し、口コミだけでじわじわとアクセス数を伸ばしてきた。 結果、2010年7月実績で月間57億PV（ページビュー）超、想定800万UU（ユニークユーザー）、会員登録者数180万件と、ケータイブログサイトでは国内最大のサービスとし
DSAS開発者の部屋
12/27 から年末年始をはさんだ5日間で、技術系インターン「KLabサーバーサイドキャンプ」を開催しました。 今春3月に第2回も企画しているので、 その宣伝も兼ねて開催報告をします。 （尚、エントリー最終締切日が1/24（月）に迫っているので興味を持って頂けた方はお早めにご応募ください） キャンプの目的 このキャンプは、主にこれから就職活動を始める学生を対象にサーバーサイド開発を体験してもらい、今後の進路を考える上で参考にしてもらうことを目的としています。 そのため、Pythonでのある程度のプログラミング経験は前提としつつ、SQLやSSHなどを触ったことがない方でも参加できるように講義や課題を準備していました。 キャンプの内容 題材として、実際に遊べるリズムゲーム（音ゲー）を用意しています。 このゲームにはユーザー登録機能と、複数人で同一曲を同時にプレイする機能があります。この2つの機
kumofsはなぜ落ちないか - Blog by Sadayuki Furuhashi
前回は、kumofsはなぜスケールするかということについて紹介しました。その中で最後に、耐障害性もスケーラビリティにとって重要だーと述べました。 そこで今回は、kumofsはなぜ落ちないのか、なぜ耐障害性が高いと言えるのかーということについて紹介したいと思います。 分散システムはテストが難しいことに定評がありますが（たぶん^^;）、その中でも耐障害性の検証は最上級に困難な部類です。 耐障害性は実際のところ、アルゴリズムの設計以前に実装上のバグが大きく影響するので、設計上は耐障害性が高いと言っていても、実際に使ってみると良く止まるという話はありがちな話です。（個人で開発している場合など、開発リソースが小さい場合はなおさら） そのため耐障害性の高いシステムを実現するためには、実装しやすくバグが入り込みにくい設計も重要かなーと思います（もちろん、アルゴリズムも重要ですが）。 分散システムには複雑
mixiの生みの親“バタラ氏”が語るMySQLの意外な利用法 － TechTargetジャパン
日記だけで4億件のデータ ミクシィが運営するSNS「mixi」は、2007年7月末段階でユーザー数が1110万人。人が12人集まれば、1人はmixiユーザーというわけだ。ユーザーのアクティブ率（ログイン間隔が3日以内）は約62％と高く、2007年4月から6月の月間平均ページビューは117.5億に達した。日記だけでも4億件以上に上るなど、蓄積するデータ量も莫大。2004年3月のサービス開始から、わずか3年半で現在の巨大コミュニティーへと発展したのだ。 ミクシィは、「LAMP（OSのLinux、WebサーバのApache、DBMSのMySQL、開発言語のPerl、PHP、Python）」と呼ばれるWebシステム向けの標準的なオープンソースソフトウェア（以下、OSS）でシステムを自社開発し、安価なPCサーバを1000台以上連ねる超分散構成でmixiのサービスを支えている（広告配信など周辺機能では
DSAS開発者の部屋:特集記事『Linuxロードバランサ構築・運用ノウハウ』を公開します
『Linuxロードバランサ構築・運用ノウハウ』を公開します！ これはWEB+DB PRESS Vol.37の特集記事としてDSASチームが執筆したもので、技術評論社様の許可を得て今回公開するはこびとなりました。 一口でいうと、「Linux＋IPVS＋keepalivedを使って、冗長構成(Active/Backup)のロードバランサを作るまで」の解説記事で、 サーバ負荷分散一般についてのはなし Linuxでロードバランサを作ってみる ロードバランサを冗長化 といった構成になっています。 みなさんがLinuxロードバランサを導入・構築・運用する際の一助になれば、DSASチームとしてもうれしい限りですので、是非、ご覧になってください！ 第1章 サーバ負荷分散概論 特集のはじめに なぜサーバ負荷分散をするのか？ サーバ負荷分散の実現方法 ロードバランサのいる構成 ロードバランサはなにを元に分散す
データベースミラーリングを構築してみよう
主な内容 --Page 1-- データベースミラーリングの構築手順 サーバの用意 --Page 2-- プリンシパルの完全バックアップとミラーへの復元 --Page 3-- データベースミラーリングセッションの構成 まとめ 前回の「高可用性は低コストなデータベースミラーリングで」では、データベースミラーリングの概要について取り上げ、その仕組みや動作モード、利点など基本的な内容を確認しました。 今回は実際にデータベースミラーリングの構築を行ってみたいと思います。データベースミラーリングは基本的に3台のサーバを用意して構築しますが、今回は試験利用ということで、1つのサーバに3つのインスタンスを用意し、サンプルデータベースであるAdventureWorksをミラーリング対象のデータベースとして構築します。 データベースミラーリングの構築手順 データベースミラーリングの構築に際し、Transact
naoyaのはてなダイアリー - YouTube の負荷
なんつったって動画ですよ。 ブログとかmixi日記のようなテキストレベルのコンテンツに比べて、はるかにサーバーにかかる負荷は高いはずです。 YouTube と mixi を比較して "負荷" の話をしていて、「動画配信だから負荷が高い」と断定していますが、これは何を"負荷"とするかにもよるかなと思います。 "負荷" というと CPU load や I/O などリソースの消費っぷりを指す言葉というイメージがありますが。(一般的には違うものでしょうか?) そういう意味での負荷で言ったら、「YouTube = 動画 / mixi = テキストだから YouTube の方が負荷が高い」という断定はやや微妙です。負荷の種類が違うのです。 YouTube のシステムを見たときにその焦点になるのは、まず第一にネットワーク帯域。第二にストレージをどうしているかというところじゃないかなと思います。動画配信に
Six Apart - Tech Talk Blog: 分散ファイルシステム MogileFS について
初登場になります、酒井といいます。 今回は Six Apart のサービスで使われている MogileFS というファイルシステムを紹介したいと思います。MogileFS については、日本語の情報はあまり…、というかほとんどない状況ですので参考にしていただければと思います。では早速。。。 MogileFS とは MogileFS とは、Perl で記述されているオープンソースな分散ファイルシステムです。 プロジェクトホームページ http://www.danga.com/mogilefs/ メーリングリスト http://lists.danga.com/mailman/listinfo/mogilefs 上記のホームページ内でも紹介されていますが、主に以下のような特徴があります。 アプリケーションレベルでの実装なので特殊なカーネルモジュールいらず。 ファイルを複数ホストに自動コピー / バ
[ThinkIT] 第8回：MySQL／OracleとLifeKeeperによるHAクラスタ化 (1/4)
今回はOracle Database 10gとMySQLを例に、データベース（DB）のHAクラスタ化構成の概要について紹介していく。 まず各ARKによる構築の概要を述べる前に、LifeKeeperによるDBシステムのHAクラスタ化にあたって、事前の留意事項を表1にあげる。 アプリケーションがすでにインストールされていること 監視・切り替え対象のアプリケーションは、LifeKeeperの設定を行う前にインストールされている必要がある。またLifeKeeperでは、DBの死活監視をクライアントユーティリティから行うため、クライアントコンポーネントもインストールされていなければならない。 各アプリケーションにおけるサポートするバージョンの最新情報は、Release Notes（http://licensing.steeleye.com/support/docm.php）を参照して確認していただき
[Vol.3] RailsとMySQLによる大規模サイト構築実験
MySQL + Railsで大規模サイト構築実験もいよいよ大詰めです。 前回までは、 DB : Active-Active LB : Active-Passive 構成を想定して構築してきました。 また、レプリケーションの遅れによる更新の衝突を避けるための解をいくつか紹介しました。 だがActive-Active構成にするコストが大きい！！ 「そもそもActive-Active構成で組む必要があるのかどうか？」といった疑問が沸いてきました。 調査を進めたところ、DBのActive-Active構成にするコストに対して、メリットが少ないことが判明。 [Active-Active構成を組むメリット] 瞬間的なコネクション増への対応が可能。 コネクションの負荷分散のみ可能。(I/Oの負荷分散はできない) [Active-Active構成を組むデメリット] 更新系クエリの負荷分散は不可。 レプリケ
[Vol.2] RailsとMySQLによる大規模サイト構築実験
vol2でも引き続き、負荷分散・高可用性を備えるDBとWEBアプリケーションフレームワーク(以下AF)のセットアップを目指します。 デュアルマスタ構成に複数台のスレーブがぶら下がっています。 もう少し、詳しく今考えているアーキテクトを見ていきたいと思います。 最小構成: マスタ2台, スレーブ1台 最低3台のDBを用意します。 なぜ3台か？スレーブを追加する際には、マスタのスナップショット取得のためにマスタへの更新を停止する必要があります。データ量が増えると、マスタを停止してスナップショットを取得するには、長時間を要するため、これは現実的な解ではない。 そこで、スレーブをマスタのスナップショットとして考え、スレーブへのレプリケーションを一時停止し、スレーブのスナップショットを新規に用意したスレーブにコピーしレプリケーションを設定する。 スレーブが1台しか存在しない場合でのスレーブ停止時は、
![[Vol.2] RailsとMySQLによる大規模サイト構築実験](https://cdn-ak-scissors.b.st-hatena.com/image/square/b32c7212a71686a423457f26d96cfa0955f315a3/height=288;version=1;width=512/https%3A%2F%2Flh3.googleusercontent.com%2Fblogger_img_proxy%2FAEn0k_txPto9Jq098uA-Y2iq1hriiYhTsUYOaZ_EnnE3uRWq2cwG4HHQ35bO_YnRmt1BOAc7gh6xjYRd9h9WjwEM3OUQi1efJplNOq7I6OAbgf7HNXnG0ZEZOllpBklk0n5aBmNOCr2yAs1StqmGl4A%3Dw1200-h630-p-k-no-nu)
Acorn Software Technologies:システム開発
１００万ダウンロードユーザに対応するMySQL Clusterシステム （MySQL Cluster + UltraMonkey） Acorn Software Technologies社は、今回、MySQL Clusterを使ったWebシステムの負荷分散と高可用性を実現する機会に恵まれたので、その構築の背景や構築作業、結果について紹介する。 新たな携帯向けサービスのプロジェクトの立ち上げに携わる機会を得た。今までの経験から、運用開始後のノンストップ性と処理能力のスケーラビリティ（ユーザ数増加と処理の複雑性増大に対する耐レスポンスタイム劣化性）を重視しMySQL Clusterを選択した。 MySQL Clusterは、In-memoryのデータベースなのでデータベースの容量に制限があるが、当該サービスでは大きな容量を必要としないことから問題とはならなかった。負荷分散システムに関しては
MySQL Clusterを使った負荷分散のやり方
ロードバランシングってやつですね、俗に言うところの。 How To Set Up A Load-Balanced MySQL Cluster | HowtoForge - Linux Howtos and Tutorials http://www.howtoforge.com/loadbalanced_mysql_cluster_debian 正確には「MySQL Cluster」と呼ぶらしい。 上記サイトに詳しいやり方が解説されていますが、なかなか優秀なようで。 MySQL AB :: MySQL Cluster http://www-jp.mysql.com/products/database/cluster/ MySQL、クラスター技術「MySQL Cluster」を発表、正式版は今年3Q http://enterprise.watch.impress.co.jp/cda/forei
製品概要 uni/cluster for MySQL
製品概要 - uni/cluster for MySQL - 「uni/cluster for MySQL」は、MySQLデータベースの規模拡大に最適なソフトウェアです。 GUIツール（管理画面）とマニュアルが日本語化されていますので、従来の製品よりも分かりやすくなっています。 「uni/cluster for MySQL」の特徴 ・透過性の高いデータベースクラスタリング により、MySQL4.0.x〜5.0.x をサポート ・システムの二重化による高可用性 ・Java、Perl、PHP、C/C++の専用ドライバとクラスタのコントローラによる負荷分散 ・16台までデータベースを追加できるスケーラビリティ ・障害発生時の自動フェイルオーバーを実現 ・2ノードからのクラスタリングを実現 ・仮想データベース機能によりクライアントに単一のビューを提供 ・クラスタのコントロー
【特集】MySQL Clusterを試す - クラスタ化した分散アドレス帳をつくる (1) オープンソース・ソフトウェアと高可用性への挑戦 | エンタープライズ | マイコミジャーナル
IntelのXeonやAMDのOpteronといった64ビットアーキテクチャが実用的になるに伴って、従来メインフレームやRISCサーバが担っていた大規模なエンタープライズシステムを、クラスタ化されたIAサーバで置き換える動きが活発化し、いわゆる「グリッド・コンピューティング」への移行が進みつつある。一般的に、情報システムの信頼性を高めるためには、2つのアプローチがある。まず、システムを構成するハードウェア、ソフトウェア自体の品質を高めることがひとつだが、一定の水準以上の品質向上は、どうしても高コストになりやすいのが難点だ。そこで、現実的な選択肢として重要となるのが、「グリッド」「クラスタ」といった冗長化の技術である。単独のシステムでは性能、信頼性が要求に満たないとしても、複数のシステムの集合として冗長化されたグリッドやクラスタでは、各構成システムが相互に補完しあいながら全体として高い信頼性
MySQL負荷分散のまとめ - Life on the net
はてぶで人気エントリーになっていた、 http://kokoromo.jugem.cc/?eid=195 [MySQL：１台しかない環境で負荷分散] これは負荷分散＝スケールアウトというよりは一台でスケールアップしてしのぐ手段を書いてい。 だから負荷分散という言葉は必ずしも正しくないのだが、一つのテーブルへの付加集中を分散させるという事なのだろう。 そこで何パターンかあるMySQLの負荷分散を簡単にまとめてみる。 1. 富豪的分散 商用のクラスター製品を使う。 最近はMySQL専門のクラスター製品が出てきている。 http://www.continuent.jp/pro.html なんかは良いかなと思う。 長所： プログラム側ではクラスタ状態を何の意識もせず、一つのターゲットに対してクエリーを発行すれば良い。 ターゲットが複数台ある事は意識する事は無い。 不具合があるノードに生じた場合、他
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
agilecatcloud.com
Hadoopの解析資料
http://tech.blog.klab.org/archives/50373849.html