タグ

scalabilityに関するhiroki_gsのブックマーク (4)

  • Webアプリ開発における「内部APIモデル」 - Tous Les Jours 攻防記

    前回の話は、一回のエントリーでは書ききれない内容でした。。以下もうすこし詳しく書き直してみます。 Webアプリ開発における「内部APIモデル」とは、ネットワーク越しに外部サイトのWebAPIを呼び出すかのごとく、自サイト内のリソースに対して内部専用のWebAPIでアクセスする仕組みを導入し、分散処理を行うモデルのことです。典型的なWebアプリでは、データベースがここでいうリソースに該当するかと思います。 図にすると以下のようなイメージです。 今回、Lang-8で実際に「内部APIモデル」を導入してみたので、気づきの点などをこのエントリーにまとめてみました。 ※導入のいきさつについては、前回のエントリーで触れています。 「内部APIモデル」を採用するメリット Webアプリ開発において「内部APIモデル」を採用するメリットは2つあります。 (1)言語やフレームワークの選択自由度が上がる 現在運

    Webアプリ開発における「内部APIモデル」 - Tous Les Jours 攻防記
  • Software Design誌記事:Hyper Estraierを使いこなせ!:付録 今後の開発予定

    付録:今後の開発予定 付録では、Hyper Estraierの現在の開発状況と、今後どのような進化を目指していくのかについて説明します。 現在の開発状況 筆者が現在どういう活動をしていて、その中でHyper Estraier(以下H.E.)の開発をどのように進めているか紹介します。 筆者の近況 筆者は現在、mixi※というSNSを運営する会社に在籍しつつH.E.の開発を継続しています。mixiは招待制のサービスですが、ユーザ数は今や660万人(2006年11月16日現在)を越える規模に成長しており、ユーザの皆さんからお預かりしているコンテンツのアクセシビリティを確保するには大規模な検索システムが不可欠となっています。しかし、ログインが必要なサイトであるために、Yahoo!Google等のクローラにコンテンツを拾わせることができないので、専用の検索システムを用意しなければなりません。 従来

    hiroki_gs
    hiroki_gs 2009/01/22
    どのようにDBをスケールアウトしているかのイメージが書かれている。
  • 「はてな流大規模データ処理」を見てきた - もぎゃろぐ

    KOF2008:関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 #ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量:五千万件くらいのデータ量 このデータに対して何百万人がアクセスしてくる状況でどういう作りにするか レコード数 1073万エントリー 3134万エントリー 4143万タグ データサイズ エントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない 大規模データの難しいところ 開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク

  • L4スイッチはDSR構成にすべし - sanonosa システム管理コラム集

    大規模サイトではL4スイッチをDSR(Direct Server Return)構成で組むことはもはや常識です。しかし国内には大規模サイトが少ないためかDSR構成についての情報が不足しているのが現状です。L4スイッチを扱っているベンダーさんもDSR構成でネットワークを構築したという例をほとんど聞かないとのことです。そこで今回はDSR構成の紹介とメリット&デメリットをご紹介します。 【一般的な構成とDSR構成の違い】 一般的な構成ではスイッチとサーバの間にL4スイッチを挟み込む構成を取ります。それに対してDSR構成ではスイッチに直接L4スイッチを接続します。 これを踏まえてパケットの流れを見てみましょう。一般的な構成では行きのパケットがL4スイッチを流れサーバに到達し、帰りのパケットもL4スイッチを流れていきます。それに対してDSR構成では行きのパケットはL4スイッチを通りますが、帰りのパケ

    L4スイッチはDSR構成にすべし - sanonosa システム管理コラム集
    hiroki_gs
    hiroki_gs 2008/01/17
    DSR構成時のループバック設定方法
  • 1