mixiの生みの親“バタラ氏”が語るMySQLの意外な利用法 － TechTargetジャパン
日記だけで4億件のデータ ミクシィが運営するSNS「mixi」は、2007年7月末段階でユーザー数が1110万人。人が12人集まれば、1人はmixiユーザーというわけだ。ユーザーのアクティブ率（ログイン間隔が3日以内）は約62％と高く、2007年4月から6月の月間平均ページビューは117.5億に達した。日記だけでも4億件以上に上るなど、蓄積するデータ量も莫大。2004年3月のサービス開始から、わずか3年半で現在の巨大コミュニティーへと発展したのだ。 ミクシィは、「LAMP（OSのLinux、WebサーバのApache、DBMSのMySQL、開発言語のPerl、PHP、Python）」と呼ばれるWebシステム向けの標準的なオープンソースソフトウェア（以下、OSS）でシステムを自社開発し、安価なPCサーバを1000台以上連ねる超分散構成でmixiのサービスを支えている（広告配信など周辺機能では
[ThinkIT] 第8回：MySQL／OracleとLifeKeeperによるHAクラスタ化 (1/4)
今回はOracle Database 10gとMySQLを例に、データベース（DB）のHAクラスタ化構成の概要について紹介していく。 まず各ARKによる構築の概要を述べる前に、LifeKeeperによるDBシステムのHAクラスタ化にあたって、事前の留意事項を表1にあげる。 アプリケーションがすでにインストールされていること 監視・切り替え対象のアプリケーションは、LifeKeeperの設定を行う前にインストールされている必要がある。またLifeKeeperでは、DBの死活監視をクライアントユーティリティから行うため、クライアントコンポーネントもインストールされていなければならない。 各アプリケーションにおけるサポートするバージョンの最新情報は、Release Notes（http://licensing.steeleye.com/support/docm.php）を参照して確認していただき
[Vol.3] RailsとMySQLによる大規模サイト構築実験
MySQL + Railsで大規模サイト構築実験もいよいよ大詰めです。 前回までは、 DB : Active-Active LB : Active-Passive 構成を想定して構築してきました。 また、レプリケーションの遅れによる更新の衝突を避けるための解をいくつか紹介しました。 だがActive-Active構成にするコストが大きい！！ 「そもそもActive-Active構成で組む必要があるのかどうか？」といった疑問が沸いてきました。 調査を進めたところ、DBのActive-Active構成にするコストに対して、メリットが少ないことが判明。 [Active-Active構成を組むメリット] 瞬間的なコネクション増への対応が可能。 コネクションの負荷分散のみ可能。(I/Oの負荷分散はできない) [Active-Active構成を組むデメリット] 更新系クエリの負荷分散は不可。 レプリケ
[Vol.2] RailsとMySQLによる大規模サイト構築実験
vol2でも引き続き、負荷分散・高可用性を備えるDBとWEBアプリケーションフレームワーク(以下AF)のセットアップを目指します。 デュアルマスタ構成に複数台のスレーブがぶら下がっています。 もう少し、詳しく今考えているアーキテクトを見ていきたいと思います。 最小構成: マスタ2台, スレーブ1台 最低3台のDBを用意します。 なぜ3台か？スレーブを追加する際には、マスタのスナップショット取得のためにマスタへの更新を停止する必要があります。データ量が増えると、マスタを停止してスナップショットを取得するには、長時間を要するため、これは現実的な解ではない。 そこで、スレーブをマスタのスナップショットとして考え、スレーブへのレプリケーションを一時停止し、スレーブのスナップショットを新規に用意したスレーブにコピーしレプリケーションを設定する。 スレーブが1台しか存在しない場合でのスレーブ停止時は、
![[Vol.2] RailsとMySQLによる大規模サイト構築実験](https://cdn-ak-scissors.b.st-hatena.com/image/square/b32c7212a71686a423457f26d96cfa0955f315a3/height=288;version=1;width=512/https%3A%2F%2Flh3.googleusercontent.com%2Fblogger_img_proxy%2FAEn0k_txPto9Jq098uA-Y2iq1hriiYhTsUYOaZ_EnnE3uRWq2cwG4HHQ35bO_YnRmt1BOAc7gh6xjYRd9h9WjwEM3OUQi1efJplNOq7I6OAbgf7HNXnG0ZEZOllpBklk0n5aBmNOCr2yAs1StqmGl4A%3Dw1200-h630-p-k-no-nu)
Acorn Software Technologies:システム開発
１００万ダウンロードユーザに対応するMySQL Clusterシステム （MySQL Cluster + UltraMonkey） Acorn Software Technologies社は、今回、MySQL Clusterを使ったWebシステムの負荷分散と高可用性を実現する機会に恵まれたので、その構築の背景や構築作業、結果について紹介する。 新たな携帯向けサービスのプロジェクトの立ち上げに携わる機会を得た。今までの経験から、運用開始後のノンストップ性と処理能力のスケーラビリティ（ユーザ数増加と処理の複雑性増大に対する耐レスポンスタイム劣化性）を重視しMySQL Clusterを選択した。 MySQL Clusterは、In-memoryのデータベースなのでデータベースの容量に制限があるが、当該サービスでは大きな容量を必要としないことから問題とはならなかった。負荷分散システムに関しては
MySQL Clusterを使った負荷分散のやり方
ロードバランシングってやつですね、俗に言うところの。 How To Set Up A Load-Balanced MySQL Cluster | HowtoForge - Linux Howtos and Tutorials http://www.howtoforge.com/loadbalanced_mysql_cluster_debian 正確には「MySQL Cluster」と呼ぶらしい。 上記サイトに詳しいやり方が解説されていますが、なかなか優秀なようで。 MySQL AB :: MySQL Cluster http://www-jp.mysql.com/products/database/cluster/ MySQL、クラスター技術「MySQL Cluster」を発表、正式版は今年3Q http://enterprise.watch.impress.co.jp/cda/forei
製品概要 uni/cluster for MySQL
製品概要 - uni/cluster for MySQL - 「uni/cluster for MySQL」は、MySQLデータベースの規模拡大に最適なソフトウェアです。 GUIツール（管理画面）とマニュアルが日本語化されていますので、従来の製品よりも分かりやすくなっています。 「uni/cluster for MySQL」の特徴 ・透過性の高いデータベースクラスタリング により、MySQL4.0.x〜5.0.x をサポート ・システムの二重化による高可用性 ・Java、Perl、PHP、C/C++の専用ドライバとクラスタのコントローラによる負荷分散 ・16台までデータベースを追加できるスケーラビリティ ・障害発生時の自動フェイルオーバーを実現 ・2ノードからのクラスタリングを実現 ・仮想データベース機能によりクライアントに単一のビューを提供 ・クラスタのコントロー
【特集】MySQL Clusterを試す - クラスタ化した分散アドレス帳をつくる (1) オープンソース・ソフトウェアと高可用性への挑戦 | エンタープライズ | マイコミジャーナル
IntelのXeonやAMDのOpteronといった64ビットアーキテクチャが実用的になるに伴って、従来メインフレームやRISCサーバが担っていた大規模なエンタープライズシステムを、クラスタ化されたIAサーバで置き換える動きが活発化し、いわゆる「グリッド・コンピューティング」への移行が進みつつある。一般的に、情報システムの信頼性を高めるためには、2つのアプローチがある。まず、システムを構成するハードウェア、ソフトウェア自体の品質を高めることがひとつだが、一定の水準以上の品質向上は、どうしても高コストになりやすいのが難点だ。そこで、現実的な選択肢として重要となるのが、「グリッド」「クラスタ」といった冗長化の技術である。単独のシステムでは性能、信頼性が要求に満たないとしても、複数のシステムの集合として冗長化されたグリッドやクラスタでは、各構成システムが相互に補完しあいながら全体として高い信頼性
MySQL負荷分散のまとめ - Life on the net
はてぶで人気エントリーになっていた、 http://kokoromo.jugem.cc/?eid=195 [MySQL：１台しかない環境で負荷分散] これは負荷分散＝スケールアウトというよりは一台でスケールアップしてしのぐ手段を書いてい。 だから負荷分散という言葉は必ずしも正しくないのだが、一つのテーブルへの付加集中を分散させるという事なのだろう。 そこで何パターンかあるMySQLの負荷分散を簡単にまとめてみる。 1. 富豪的分散 商用のクラスター製品を使う。 最近はMySQL専門のクラスター製品が出てきている。 http://www.continuent.jp/pro.html なんかは良いかなと思う。 長所： プログラム側ではクラスタ状態を何の意識もせず、一つのターゲットに対してクエリーを発行すれば良い。 ターゲットが複数台ある事は意識する事は無い。 不具合があるノードに生じた場合、他
【特集】MySQL Clusterを試す - クラスタ化した分散アドレス帳をつくる (1) オープンソース・ソフトウェアと高可用性への挑戦 | エンタープライズ | マイコミジャーナル
IntelのXeonやAMDのOpteronといった64ビットアーキテクチャが実用的になるに伴って、従来メインフレームやRISCサーバが担っていた大規模なエンタープライズシステムを、クラスタ化されたIAサーバで置き換える動きが活発化し、いわゆる「グリッド・コンピューティング」への移行が進みつつある。一般的に、情報システムの信頼性を高めるためには、2つのアプローチがある。まず、システムを構成するハードウェア、ソフトウェア自体の品質を高めることがひとつだが、一定の水準以上の品質向上は、どうしても高コストになりやすいのが難点だ。そこで、現実的な選択肢として重要となるのが、「グリッド」「クラスタ」といった冗長化の技術である。単独のシステムでは性能、信頼性が要求に満たないとしても、複数のシステムの集合として冗長化されたグリッドやクラスタでは、各構成システムが相互に補完しあいながら全体として高い信頼性
日本語：MySQL AB :: MySQL Cluster
MySQL NDB Cluster CGE MySQL NDB Clusterは、リニアスケーラビリティと高可用性を組み合わせた分散インメモリデータベースです。パーティショニングされた分散データセット全体にわたる一貫性のあるトランザクションなアクセスを提供します。ミッションクリティカルなアプリケーション向けに設計されています。 MySQL NDB Clusterは、地理的に離れたサイトにまたがるクラスタ間でレプリケーションを構築できます。データの分散と分散されたデータへのアクセスを自動化しているシェアードナッシングアーキテクチャは、コモディティハードウェアやグローバルに分散したクラウドインフラストラクチャでの実行に最適です。 MySQL NDB Clusterは以下の優れた特徴を提供します。 MySQL NDB Cluster 8.0 MySQL NDB Cluster 8.0は、最新のハ
ミクシィのCTOが語る「mixiはいかにして増え続けるトラフィックに対処してきたか」：ITpro
ミクシィのCTOが語る「mixiはいかにして増え続けるトラフィックに対処してきたか」 YAPC::Asia 2006 Tokyo 東京都大田区で開催されているPerl技術者向けカンファレンス「YAPC::Asia 2006 Tokyo」で2006年3月29日，日本最大のソーシャル・ネットワーキング・サイト（SNS）である「mixi」を運営するミクシィのBatara Kesuma（バタラ・ケスマ）取締役最高技術責任者（CTO）が，増え続ける膨大なトラフィックにどのように対処してきたのかについて講演した。カギとなるのは「データベース分割」である。 mixiのシステムはもともとBatara氏が1人で作り上げたものだ。2003年当時，米国でFriendsterなどのSNSがはやっており，同氏が会社（現在のミクシィ，当時はイー・マーキュリー）にSNSを作りたいと提案したところ認められたという。同氏が
１人で稼ぐ日記 | MySQL：１台しかない環境でエセ負荷分散
MySQLのネタ。 １台しかない環境でエセ負荷分散を行う。 MySQLで負荷分散を考えたとき、 １台目にマスターのＤＢサーバー、 ２台目以降をスレーブのＤＢサーバーとして用いる。 マスターは更新系のみのＳＱＬ文を、 スレーブは参照系のみのＳＱＬ文を投げる。 こんな負荷分散を１台のサーバーで行う必要が出てきた。 現在１台でやっていて、ディスクＩＯが追いつかずに捜し求めた結果、下の形で落ち着いた。 １つのテーブルでインデックスを含めたサイズが 30MB〜100MBほどで安定している、という条件があるのですが かなり負荷下がります。 ※上記サイズは搭載メモリサイズによって変わります -------------------------- ■やりかた 負荷が高いテーブルをＡとする １：Ａと同じテーブル構成で、エンジンをMEMORY(he
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://tech.blog.klab.org/archives/50373849.html
http://tech.blog.klab.org/archives/50357090.html
現場指向のレプリケーション詳説
http://gigazine.net/News/html/lg/001313.htm