タグ

分散に関するt_43zのブックマーク (8)

  • 「モバゲータウン」のつくりかた − TechTargetジャパン システム開発

    低価格なPCサーバ1000台で1日6億PVをさばく 「モバゲータウン」(以下、モバゲー)といえば、誰しも「中高生に絶大な人気を誇る携帯サイト」という認識ぐらいはあるだろう。ゲーム、ニュースに小説占いなどのコンテンツ、アバター(仮想キャラクター)を装ったSNSコミュニケーション、ディー・エヌ・エー(以下、DeNA)が運営するショッピングやオークションサイトなどが利用できる、携帯電話向けの総合ポータルサイトだ。 DeNAのポータル事業部 システム部 部長、武部氏 モバゲーは2009年5月現在で会員数1419万人、月間ページビュー(PV)は約183億を誇る。つまり、1日当たり6億PVである。さぞかし大掛かりなシステムを運用しているのだろうと想像してしまうが、意外にそうではない。 DeNAポータル事業部 システム部の部長、武部雄一氏は「モバゲーのシステムは、比較的低価格なPCサーバ機1000

    「モバゲータウン」のつくりかた − TechTargetジャパン システム開発
  • Kazuho@Cybozu Labs: Pacific という名前の分散ストレージを作り始めた件

    大規模なウェブアプリケーションのボトルネックがデータベースであるという点については、多くの同意が得られるところだと思います。解決策としては、同じ種類のデータを複数の RDBMS に保存する「sharding」 (別名:アプリケーションレベルパーティショニング/レベル2分散注1) が一般的ですが、最近では、分散キーバリューストア (分散 KVS) を使おうとする試みもみられるようになってきています。 分散 KVS が RDBMS sharding に対して優れている要素としては、事前の分割設計が不要で、動的なノード追加(とそれにともなう負荷の再分散)が容易、といった点が挙げられると思います。一方で、Kai や Kumofs のような最近の実装では eventually consistent でこそ無くなってきているものの、ハッシュベースの分散 KVS は、レンジクエリができなかったり (例:

  • Hadoopの解析資料

    オープンソース分散システム「Hadoop」に関する解析資料を公開させて頂いております。この調査はNTTレゾナント株式会社様と共同で行いました(プレスリリース)。 Hadoop解析資料(PDF), 最終更新: 2008/08/25, 公開: 2008/08/25 Hadoopの実際のインストール方法などにつきましては、弊社太田による以下の記事もご参考下さい。 Hadoop、hBaseで構築する大規模分散データ処理システム Hadoopのインストールとサンプルプログラムの実行 複数マシンへHadoopをインストールする

  • mixi Engineers’ Blog » スマートな分散で快適キャッシュライフ

    今日は以前のエントリーで書くと述べたConsistent Hashingに関して語らせて頂こうかと思います。ただしConsistent Hashingはセミナーやカンファレンスなどでかなり語られていると思いますので、コンセプトに関しては深入りせず、実用性に着目したいと思います。 問題定義 分散されたキャッシュ環境において、典型的なレコードを適切なノードに格納するソリューションはkeyのハッシュ値に対しmodulo演算を行い、その結果を基にノードを選出する事です。ただし、このソリューションはいうまでもなく、ノード数が変わるとキャッシュミスの嵐が生じます。つまり実世界のソリューションとしては力不足です。 ウェブサイトのキャッシュシステムの基はキャッシュがヒットしなかったらデータベースにリクエストを発行し、レコードが存在したらキャッシュしてクライエントに返すという流れです。ここで問題なのが一瞬

    mixi Engineers’ Blog » スマートな分散で快適キャッシュライフ
  • PostgreSQLの可用性と拡張性を向上 PostgresForest

    PostgresForestは,複数台のPostgreSQLサーバーを仮想的に1つに統合し,並列分散動作させるソフトウエアである。同ソフトを導入することで,PostgreSQLで構築したデータベース・サーバーの可用性や拡張性を向上できる。 この数年間でLinuxを中心としたオープンソース・ソフトウエア(OSS)は,目覚しい発展を遂げている。特に,Webサーバーに「Apache HTTP Server」,アプリケーション・サーバーに「Tomcat」,データベース・サーバーに「PostgreSQL」を用いた3層システムは,Webシステムの定番と呼べる存在になった。 ただし,Webシステムの可用性や拡張性を考慮した場合には,これらのソフトウエアだけでは不十分だ。Webサーバーとアプリケーション・サーバーはともに,複数台を並列に動作させれば可用性や拡張性を確保できる。しかし,データベース・サーバー

    PostgreSQLの可用性と拡張性を向上 PostgresForest
    t_43z
    t_43z 2008/01/31
    詳細な解説記事
  • 並行処理フレームワークのJPPF、負荷分散とフェイルオーバー、J2EEインテグレーションを提供

    Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。このでは、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

    並行処理フレームワークのJPPF、負荷分散とフェイルオーバー、J2EEインテグレーションを提供
  • [rails][負荷分散]RailsのDB負荷分散調査のための資料 - yoshitetsuの日記

    magic_multi_connections Magic Multi-Connections magic_multi_connectionsのページ Magic Multi-Connections: A “facility in Rails to talk to more than one database at a time” magic_multi_connections作った人の記事 Twitterのトラブルから見る、DB分割でスケーラブルなRailsサイト構築 magic_multi_connectionsの使い方がのってる Ruby on RailsでMagic Multi-Connectionsを使う magic_multi_connectionsの使い方がのってる 分散DB対応ライブラリ Magic Multi-Connections を試してみる magic_multi_

    [rails][負荷分散]RailsのDB負荷分散調査のための資料 - yoshitetsuの日記
  • 楽天技術研究所とまつもと氏がRubyによる大規模分散フレームワーク開発へ

    楽天の研究開発部門である楽天技術研究所とまつもとゆきひろ氏は,Rubyによる大規模分散処理フレームワークを開発する。共同研究として開発し,楽天内で実際の業務に使用する。 楽天ではRuby on Railsを実際に顧客が利用するアプリケーションで採用しており,まつもとゆきひろ氏を2007年6月に楽天技術研究所のフェローに招聘していた(関連記事)。これまで共同研究の方向性について議論を行ってきた。ディスカッションの結果,「エンタープライズ」と「スケーラビリティ」を主要なテーマとする方向性が固まり,間もなくプロトタイプの開発に着手する。まつもと氏が方向性やアイデア,アドバイスを出し,楽天技術研究所が実装を行う。 楽天技術研究所とまつもと氏は2つのタイプの分散処理フレームワークを開発する方針。 一つは,小さくは2~3台から手軽に分散処理が行えるような「簡単さ」を追求したフレームワーク。用途としては

    楽天技術研究所とまつもと氏がRubyによる大規模分散フレームワーク開発へ
    t_43z
    t_43z 2007/09/01
    Ruby始まったな。ErlangやScalaみたいな方向なのかな?
  • 1