たけまる / Kai - Amazon's Dynamo communicating with memcache protocol
_ Kai - Amazon's Dynamo communicating with memcache protocol [kai][dynamo][erlang] だいぶ前 [2008-02-25-1] に，Perl (POE) で Amazon Dynamo っぽいもの を作りかけて放置していました． Erlang で書き直して，それなりに動くことを確認したので公開します．名 前は Kai といいます．今回は，memcache プロトコルでデータをやり取り できるようにしました． Dynamo とは，Amazon で使われているスケーラブルなハッシュテーブルで す．詳しくは [2008-01-31-1] に書きましたが，次のような特徴を持って おり，Amazon の巨大なサービスを支えています． - 簡単にスケールアウトできる - 障害に強い (マシン障害どころかラック障害にも耐える)
Consistent Hashing
Tom White's Blog: Consistent Hashing(翻訳: ConsistentHashing - コンシステント・ハッシュ法)でconsistent hashingというアルゴリズムを知った。大略こういうことらしい。 問題 複数台のキャッシュサーバがあり、オブジェクトのキャッシュをどのサーバに配置するかを決めたい。 普通のハッシュ利用法だとどうなるか オブジェクトのハッシュ値 mod N (Nはキャッシュサーバの台数)で決める。 しかし、これではキャッシュサーバを追加したり削除したりすると全てのオブジェクトのキャッシュ配置先が変わってしまう。 望ましいのは キャッシュサーバを追加すれば既存のサーバから少しずつ分担が新しいサーバに移動し、キャッシュサーバが取り除かれれば残りのサーバに負担が分散、それ以外のオブジェクトのキャッシュ先は変わらない、というのがよい。 Con
repcachedのメモ。 - hideden.hatenablog.com
ある程度でかいサービスでDailyCount的な事をやらなきゃいけなくなって、DBに突っ込むとログのお掃除や負荷が大変だからmemcachedでやりたいけど、落ちたらウザいしなー・・・って考えてたらrepcachedを思い出した。YAPC2008でもmixiのkazeburoさんが紹介してたみたい。まぁ寝坊して聞けなかったんだけど。。。 で、ちょっと色々やってみたメモ。まださほど検証してない。 Installとかはほとんど公式のとおりに。memcachedと共存させるためにバイナリ名かえてみた。 ./configure --enable-replication --program-transform-name=s/memcached/repcached/ make make installで、起動。console2つ開いて-vつけて情報表示させつつ。 repcached -v -m 64
Consistent Hashing を試す
Consistent Hashing は、 複数のノードにレコードを分散させる方法として、 Amazon Dynamo や Cache::Memcached::Fast などで使われているアルゴリズムです。 この文章では、Perl で実際に Consistent Hashing を実装し、 その特徴を理解することを目的とします。 更新履歴 2008-06-01: 公開 サーバー台数で割った余り (mod) を使用する まず Consistent Hashing と比較するために、レコードに対して整数のハッシュ値を求め、 ハッシュ値をノード数で割った余り (mod) で、ノードを選択するという方法を書いてみます。 ここでは、ハッシュ値の算出に CRC (Cyclic Redundancy Check) を使用しています。 use strict; use String::CRC; use Pe
libmemcached でconsistent hashing - D-6 [相変わらず根無し]
libmemcached でconsistent hashing id:kazeburoさんのYAPCでの話でlibmemcachedがconsistent hashing使えないと言われてしまったのを知らなかったのだけど、先週の金曜Brian Akerのセッションでそのことを知ったので調べてみたよ！ テストはこのように書いてみました。 するとようやく現象が確認できました。で、問題はどこかと調べてみたところ・・・libmemcached C ライブラリでした＞＜ libmemcached 0.20以降でこの現象は直ってるはず。 なお、これを調べてる時にMemcached::libmemcached + Cache::Memcached::libmemcachedでマスターキー付きのget/setがうまくできないことが判明。これは次のリリースで直る予定。近々リリース予定の0.2101では、
ConsistentHashing - コンシステント・ハッシュ法
ConsistentHashing - コンシステント・ハッシュ法 目次 この文書について コンシステント・ハッシュ法 実例 実装 用途 コンシステント・ハッシュ法 この文書について "Tom White's Blog: Consistent Hashing" の日本語訳です. http://weblogs.java.net/blog/tomwhite/archive/2007/11/consistent_hash.html 推敲歓迎: 誤訳, タイポ, 訳語の不統一, そのほか... 原文のライセンス: http://creativecommons.org/licenses/by-nc-sa/2.0/ 私は今までに何度かコンシステント・ハッシュ法にとりくんだことがある。 このアイデアをあらわした論文 ( David Karger らによる Consistent Hashing and R
Notes from the fourth memcached hackathon of undetermined frequency
Notes from the fourth memcached hackathon of undetermined frequency Dustin Sallings dustin at spy.net Wed Apr 16 16:52:20 UTC 2008 Previous message: dotorg booth at mysql conf, second session Next message: Notes from the fourth memcached hackathon of undetermined frequency Messages sorted by: [ date ] [ thread ] [ subject ] [ author ] Last night was pretty good. As far as I know, we made progress
memcached
※本記事は当初HTMLに整形せずに掲載してしまい、ご覧になった方にはご不便をおかけしました。お詫び申し上げます。 consistent hashingの記事でmemcachedが名前だけ出てきたので少し調べてみた。 memcachedは単純なキーと値のペアによる分散キャッシュサーバ。高速で、非常に台数にスケールすることが利点という。ほとんど設定いらずでインストールしてそのまま起動できる。 動的に生成するウェブページのキャッシュ等に用いられる。キャッシュの他HTTPのセッション情報のような消えてしまっても致命的でない情報の保持に使われることもある。検索してみると国内でもmixiやはてな等で広く使われているようだ。各種言語のクライアントライブラリも多い。 目次 libevent クライアント1万台問題 memcached Ruby-MemCache libketama libevent mem
Memcached の容量を監視する - リンギオ
Cache::Memcached を利用して Memcached を利用していますが、 容量を監視したいと思ったときに エラー(容量が一杯によりset失敗とか)をハンドリングする方法がないようでした。(知らないだけ？) どうにか容量を監視できないかなぁということで、memcachedサーバのソースに同梱しているスクリプトを見つけました。 監視スクリプト memcached/scripts/memcached-tool USAGE # ./memcached-tool Usage: memcached-tool [mode] memcached-tool 10.0.0.5:11211 display # shows slabs memcached-tool 10.0.0.5:11211 # same. (default is display) memcached-tool 10.0.0.5:
ヽ( ・∀・)ノくまくまー(2007-05-20)Rails勉強会@東京#18 後半: 今だからこそ運用環境を考える
● [Rails] Rails勉強会@東京#18 前半: QueryCache / MMC 後半: 今だからこそ運用環境を考える に参加。 ● 前半: QueryCache / MMC QueryCache とは、AR.find の結果を memcached を用いてキャッシュする plugin。(rakuto 作) rakuto式 QueryCache の課題 with_scope どうする？ memcache のキー 削除戦略 1は、AR.find の引数だけを見てキャッシュのキーを作成しているため、with_scope と混ぜるな危険。解決策の1つは「キャッシュするレイヤーを select_xxx まで引き下げる」こと。そうすると find_by_sql まで対象に入るという嬉しい副作用もある。ただその場合、キャッシュの対象も同レイヤーにするとARオブジェクトでなく生の結果セットにな
repcached
Telepresence allows Kubernetes application developers to ship code to production faster and more safely, using the local tools they are comfortable with. Combined with Ambassador Cloud, Telepresence is the #1 tools for Kubernetes development teams.
おいぬま日報(不定期) - セッションにmemcachedを使うかどうか
@ セッションにmemcachedを使うかどうか なぜmemcachedをセッション管理用に使うのか Why storing session on memcached? なんか僕のエントリが元になり軽く議論になっているようですが... 個人的にはmiyagawaさんのVox/LJの方針に賛成で、「消えては困るデータ」はプライマリーのストレージとしてmemcachedを使うのではなく、MySQLに入れる方が安全だと思います*1 MySQL 使ってると、セッションデータを定期的に消してやらなきゃいけないけど DELETE FROM sessions WHERE timestamp >= '2006-12-01 00:00:00'; とかはすごく重かったりして、ここでまた刺さる というのは、InnoDB+timestampカラムにインデックス張れば解決するのではないかと思いますが、そんな単純な話
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
memcached: a distributed memory object caching system
What is Memcached? Free & open source, high-performance, distributed memory object caching system, generic in nature, but intended for use in speeding up dynamic web applications by alleviating database load. Memcached is an in-memory key-value store for small chunks of arbitrary data (strings, objects) from results of database calls, API calls, or page rendering. Memcached is simple yet powerful.
なぜmemcachedをセッション管理用に使うのか
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[memcached] - Life with IT![[memcached] - Life with IT](https://cdn-ak-scissors.b.st-hatena.com/image/square/63c67004f340a9cfebe1346d512a10a786385cbc/height=288;version=1;width=512/https%3A%2F%2Fl-w-i.net%2Fimg%2Flogo_256.png)
http://download.tangent.org/talks/Memcached%20Study.pdf
DBIx::Class とMemcached (ありんく tech-log)
Scaling with memcached
Login