タグ

関連タグで絞り込む (6)

タグの絞り込みを解除

Gizzardに関するyassのブックマーク (4)

  • 分散データベースを作るためのフレームワーク Gizzardのご紹介[和訳]

    Introducing Gizzard a framework for creating distributed datastores.markdown 分散データベースを作るためのフレームワーク Gizzardのご紹介 原文: The Twitter Engineering Blog: Introducing Gizzard, a framework for creating distributed datastores This article is translated by @ono_matope. Please contact me if any problem. シャーディング序論 多くのモダンなWebサイトは、１台のコンピューターに納まりきらないほどの大量のデータに高速にアクセスする必要があります。そのため、複数のコンピューターに情報を分けて格納する「シャード」という手法が使

    分散データベースを作るためのフレームワーク Gizzardのご紹介[和訳]
    yass
    yass 2013/08/18
    "Replicating, Write-Only, Read-Only, Blocked(ReadもWriteも不許可)といった広く便利ないくつかのストラテジを同梱"
    リンク

  • Introducing Gizzard メモ(3) - aaa.txt

    Gizzardというミドルウェアの話が紹介をメモ取りながら読んでいます。元記事は以下、 Introducing Gizzard, a framework for creating distributed datastores. 前半と中盤のメモ： Introducing Gizzard メモ(1) Introducing Gizzard メモ(2) 今回で最後まで読みました。 Gizard はフォールトトレラント 障害許容性は分散システムの最大の関心事である。なぜならそのような系では多くの計算機と 関係しているので、どんな時でもある確率で一つ（または多く）の機能不全が 起こっているからである。Gizzardは単一障害点をどのような形でも避けている。 もし、パーティション中のあるレプリカがクラッシュしたら、重み付け関数にしたがって、 Gizzardは残りの健康なレプリカにリクエストを案内する

    yass
    yass 2013/08/18
    "レプリカが応答しなくても、応答するレプリカに可能な限り書き込みかつ応答しないレプリカへの書き込みをバッファリングし、shardが生き返ったら後で書き込む/「後でリトライ」する戦略/書き込み操作を冪等かつ可換"
    リンク

  • Introducing Gizzard メモ(2) - aaa.txt

    Introducing Gizzard, a framework for creating distributed datastores. TwitterエンジニアブログでGizzardというミドルウェアの話が紹介されていて非常に興味深かったのでメモ取りながら読んでいます。続きです。GizzardはConsistent Hashingではないのですね。 Gizzardはフォワーディングテーブルを通して、パーティショニング処理する。 GIzzardはデータの範囲を各々のシャードにマッピングすることによって パーティショニングする(つまり排他的な範囲で複数のホストに分割される)。 このマッピングは下記のテーブルのように、数値のレンジの下限と所属する シャードの情報がフォワーディングテーブルに保管される。 正確にはあなた方はGizzardに次のようなカスタムハッシング関数を供給する： データにキ

    yass
    yass 2013/08/18
    "GIzzardはデータの範囲を各々のシャードにマッピングすることによってパーティショニングする(つまり排他的な範囲で複数のホストに分割される)/マッピングは、数値のレンジの下限と所属するシャードの情報が保管される"
    リンク

  • New Tweets per second record, and how!

    Recently, something remarkable happened on Twitter: On Saturday, August 3 in Japan, people watched an airing of Castle in the Sky, and at one moment they took to Twitter so much that we hit a one-second peak of 143,199 Tweets per second. (August 2 at 7:21:50 PDT; August 3 at 11:21:50 JST) To give you some context of how that compares to typical numbers, we normally take in more than 500 million Tw

    New Tweets per second record, and how!
    yass
    yass 2013/08/18
    "our Rails servers were only capable of serving 200-300 requests/sec/host. / JVM instead / we push on the order of 10-20K requests/sec/host. / Gizzard was fronting a series of MySQL databases – every time a tweet comes into the system, Gizzard hashes it, and then chooses an appropriate database"
    リンク
  • 1

お知らせ

もっと読む

公式Twitter

  • @HatenaBookmark

    リリース、障害情報などのサービスのお知らせ

  • @hatebu

    最新の人気エントリーの配信

はてなブックマーク

公式Twitter

はてなのサービス

  • App Storeからダウンロード
  • Google Playで手に入れよう
Copyright © 2005-2024 Hatena. All Rights Reserved.