memcached API で Riak を叩けるようになりました - kuenishi's blog
その名もダイコーン。まずはget, set, delete だけなんですが、とりあえず適当に作ってもMemcachedの速度の1/40くらい出ます。そのうちいろんなデータベースのAPI備えて、クライアント側を書き換えなくてもRiakを叩けるようにしたいなーと思っています。memslapの結果だと $ ./clients/memslap --servers=localhost:11211 --non-blocking --concurrency=10 とすると memcached dicorn/mem dicorn/riak 1.987 2.705 88.487 てな感じです（単位は秒）。 構成としては1プロセスで動くただのプロキシで、メモリもCPUもほとんど使いません。Memcachedがいたところに代わりに立ち上げて、Riakの場所を教えてあげるとそれだけでMemcachedとして動いて
groupcache を読む #2 - Kato Kazuyoshi
groupcache を読む #1 では、外側から groupcache の処理の流れを外側から追ってみた。これで大体、どこに何があるかのあたりがついたので、今回は Comparison to memcached にある memcached に無い機能について、どこで実装されているかを追ってみよう。 Thundering Herd 対策 memcached のような独立したキャッシュサーバーでは、キャッシュが無い場合の処理が、以下のようにだぶってしまうことがある。 クライアント c1 が、キー k1 を get するが存在しなかった。 クライアント c1 は、キー k1 に対応する値を (たとえば MySQL などに問い合わせて) 作りはじめる。 クライアント c2 も、キー k1 を get するが、まだ c1 が作っている最中なので、存在しなかった。 クライアント c2 も、キー k1
教材としての yrmcds - 誰かの役に立てばいいブログ
@ymmt2005 こと山本泰宇です。 公式発表とは別に、こちらでは yrmcds のもう一つの使い方を紹介します。それと、私の気持ちなどを。 yrmcds は実際のところ、作ることをかなりためらいました。工数という観点でみれば Apache が Redis を扱えるようにするとか、レプリケーションの仕組みを頑張るといったほうが小さい気がしたからです。C++11 の実践課題という動機は個人に寄っているので、会社に十分なメリットがないことには・・・と。 そこで会社へのメリットとして、以下の価値を加えることにしました。 後進の開発者が設計やプログラミング技法を学ぶ教材として使える 英語圏では無名のサイボウズの知名度の足しになるようにオープンソース化して宣伝を頑張る 教材として yrmcds が提供しているものは以下です。 簡潔なコード 以下の cloc レポートが示すように、ほとんどのファイル
yrmcds 0.9.0 リリース - Cybozu Inside Out | サイボウズエンジニアのブログ
@ymmt2005 こと山本泰宇です。 今回は memcached 互換で冗長構成を簡単に組める自社製 KVS である yrmcds のリリースをご案内します。 ... この Redis 全盛なご時世になんで？とか、repcached や Kyoto Tycoon があるじゃない、といったツッコミの嵐が聞えてきそうです。わかってます、わかってますから物を投げないで！ 順を追って説明しますので、批判はそれからにしてください！ 何が欲しいのか 私は日頃 cybozu.com のインフラで動作するソフトウェアを開発しています。リリース後もうすぐ２年になりますが、お蔭様で 4,000 社以上にご利用いただくまでになりました。商売繁盛で嬉しいのですが、運用側は日々増えるデータとアクセスを捌くべく奮闘しています。 ここのところ問題になっていたのが、MySQL に保存しているセッション情報でした。アプリ
Rails で、Controller に定義されている action を一度に取得する方法はありますか？ - QA@IT
平素よりQA＠ITをご利用いただき、誠にありがとうございます。 QA＠ITは「質問や回答を『共有』し『編集』していくことでベストなQAを蓄積できる、ITエンジニアのための問題解決コミュニティー」として約7年間運営をしてきました。これまでサービスを続けることができたのは、QA＠ITのコンセプトに共感をいただき、適切な質問や回答をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。 しかしながら、エンジニアの情報入手方法の多様化やQAサービス市場の状況、＠ITの今後のメディア運営方針などを検討した結果、2020年2月28日（金）15:00をもちましてQA＠ITのサービスを終了することにしました。 これまでご利用をいただきました皆さまには残念なお知らせとなり、誠に心苦しく思っております。何とぞ、ご理解をいただけますと幸いです。 QA＠ITの7年間で皆さまの知識
おそらくはそれさえも平凡な日々: Kyoto Tycoonでmemcachedプロトコルの圧縮オプションを有効にすると捗る
最近、セッションストレージはKyoto Tycoonを使っています。ゲームだとFlash生成時の情報をセッションに突っ込んだりするので、セッションデータが大きくなりがちです。それをユーザーごとに頻繁にGet/Setされると結構バカにならないトラフィックになったりulogがすごい勢いで溜まったりします。 Kyoto Tycoonはmemcachedプロトコルで使うことが多いでしょう。実はmemcachedプロトコルには、データを圧縮して通信するオプションがあり、Kyoto Tycoonでもそれを使うことが可能です。 Cache::Memcached::Fastだとこんな感じで指定できます。 my $kt = Cache::Memcached::Fast->new({ servers => [...], compress_threshold => 500, compress_ratio =>
Twitter、Memcached向けの軽量プロキシ「Twemproxy」を公開
22日(米国時間)、Twitterの開発チームが自身のブログにおいて軽量プロキシ「Twemproxy」のオープンソース化を発表した。Twemproxyhは、memcachedプロトコル用に開発されている軽量で高速に動作するプロキシ。ライセンスには、Apache License 2.0を採用しており、Githubで公開されている。 Twitterでは数千にも及びフロントエンドのアプリケーションサーバを用意し、キャッシュサーバを割り当てていた。しかし、ユーザ数が増えることでトラフィックが増大し、アプリケーションサーバを追加しなければならず、結果的にキャッシュサーバのパフォーマンスの低下をまねいていた。そこでキャッシュの性能をあげるために、Twemproxyを開発し導入したという。 Twitterの開発者は、Twemproxyでは以下のようなことが実現できるとしている。 永続的なサーバー接続の維
OCamlからmemcachedを叩く - YAMAGUCHI::weblog
はじめに 最近はOCamlからいろんなものとやり取りしたいなという心持ちなんですが、とりあえずmemcachedを叩いてみようかと思って始めてみました。 書いたもの とりあえず書いた。適当に書いただけなので動くかどうかも適当です。 ymotongpoo/ocamlmemcached · GitHub 全部書いてもしょうがないので、とりあえずsetだけ雰囲気で。 memcachedインストール $ sudo port install memcached ... ---> Fetching memcached ---> Attempting to fetch memcached-1.4.5.tar.gz from http://memcached.googlecode.com/files/ ---> Verifying checksum(s) for memcached ---> Extrac
#isucon ではどんなことを考えながら作業していたか - 酒日記 はてな支店
前のエントリ #isucon で優勝してきました は当日夜に酔っ払った頭で勢いで書き上げたので、少し冷静に振り返ってまとめてみます。 最初のボトルネック発見 DB が CPU 4コアをフルに使って回っているのですぐに Query が重いのは分かった 重いクエリはキャッシュすれば、という発想は自然 (実際 MySQL のクエリキャッシュだけでスコアは 1.5倍程度上がる)、とはいえ このクエリは実行に 300〜400 ms 程度かかる アプリケーションの要件上、毎秒更新する必要がある 1秒ごとに更新に 0.3〜0.4秒かかる処理をするのは悪手だろう cache が消えてから生成、とすると生成処理が複数同時に走って無駄が大きい (実際ベンチマーク中の slow query を見ると 600〜700 ms 程度の時間が掛かっていた) ということで、DB のテーブル構成を変更して高速化できないか、
Amazonクラウド、Memcached互換のキャッシュサービスを開始。1テラバイトのキャッシュも数分で利用開始
Amazonクラウドを運用するAmazon Web Servicesは、クラウド上でMemcachedプロトコル互換のキャッシュ機能を提供する「Amazon ElastiCache」を発表しました。 クラウド上で大規模なオンラインサービスを提供する際にいちばんボトルネックとなりやすいのはデータベースに対するアクセスです。データベース自身をスケーラブルにすることは一般に難しいため、多くのアプリケーションではデータベースの前段にMemcachedによるメモリキャッシュを置いています。 大規模なオンラインサービスで知られるFacebookでは、メモリキャッシュ上に300テラバイト以上のデータを置いていると説明されています。 1テラバイトを数分で用意 これまでAmazonクラウドでメモリキャッシュを利用するには、Memcachedのようなメモリキャッシュのためのアプリケーションをインストールする必
Node.js on Heroku で Redis をキャッシュサーバとして使うためのモジュールを書いた - hakobera's blog
ソース Heroku 上の Redis をキャッシュとして使うためのモジュール — Gist set, get, remove, clear の4メソッドのみ。set には有効期限 (TTL) が設定できる。それだけしかできない。 書いた理由 memcached が使えなかったから。 Heroku には memcached Add-on があって、Node アプリでもこれを使おうと思っていたのだが、なぜかつながらない。 調べてみると、Heroku の memcached add-on は SASL 認証が必須で、node-memcached はそれをサポートしていないのでつながらないということらしい。
高負荷サイトのボトルネックを見つけるには : DSAS開発者の部屋
はじめに アクセスが急増すると、応答時間が著しく悪化するサイトはありませんか？ 普段は200ミリ秒以内で安定してアクセスをさばいているのに、イベントやらキャンペーンやらを開始した瞬間から、普段の２倍や３倍のアクセスが殺到し、その結果、レスポンスタイムが3秒とか9秒とかかかるようになってしまうことってありますよね。 あるサイトの実状 つい先日まで、そんなサイトが私の目の前にもありました。自社で運営している某ソーシャル系のサイトなんですが、イベント開始時刻と同時にアクセス数が急増するのです。とはいえ、所詮は普段の2倍とか3倍程度の数なのだから、少なくとも1秒以内にレスポンスを返せるくらいの性能は維持したいものです。 しかし実際は困ったことに、応答に3秒以上もかかってしまう処理が大量に発生してしまう状況に陥ってしまっていました。これはきっと、どこかにボトルネックがあるに違いありません。 仮説を立
Emerge Technology: CouchDBもベンチマークしてみた
MongoDBの方が好きなんですが、CouchDBのパフォーマンスも見てみました。viewを作るところとかのパフォーマンスは見ていないので、厳密な比較にはならないかもしれませんが、ある程度の傾向とか、感覚は分かると思います。CouchDBとか、MongoDBって何じゃ?と言う人は、ASCIIのHadoop & NoSQLを読めば分かるかも。今回はmemcached、MongoDB、CouchDBの3つについて比較しました。memcached、mondodbのコードは以前のものを使っています。 Memcachedのコード MongoDBのコード CouchDBのコード データの追加はmemcacheやmongodbが0.2ミリ秒弱の時間です。memcacheはオンメモリなので当たり前ですが、mongoはディスクへの書き出しが遅延されているのでmemcacheに迫るスピードになっているのでしょ
Membase vs memcached vs TokyoTyrant vs Redis - #詰んでる日記
Membaseを入れてみたので、実際にどれくらいの速度が出るのか試してみました。 memcached vs TokyoCabinet vs TokyoTyrant vs Redis - blog.katsuma.tv この記事のパクリですね。これにMembaseを加えてみた感じです。 クライアントによって速度が変わるのが嫌だったので、すべてPythonのmemcachedクライアントを使って、1万回setを行いその時間を計測してみました。 Membase 1.18884205818 memcached 0.683738946915 TokyoTyrant 0.788640022278 Redis 0.642278909683 思ったよりMembaseが遅い…。って言うかRedis速い。 まとめ 使おう！Redis！APIも豊富だし、レプリケーションとかも簡単らしいよ！ ちなみに今回計測に使
KTのHTTPとMemcachedプロトコルのベンチを取ってみた - とほほのN88-BASIC日記
環境は以下の通り mac mini 2.66GHz 4GB RAM kyotocabinet 1.2.30 kyototycoon 0.9.18 KTをMemcachd pluginサポート起動 ktserver -plsv /usr/local/lib/ktplugservmemc.dylib -plex 'port=2010'ベンチを取ったコードはこんな感じ とりあえずsetのベンチ #!/usr/bin/env perl use strict; use warnings; use Benchmark qw(:all); use Cache::KyotoTycoon; use Cache::Memcached::Fast; my $kt = Cache::KyotoTycoon->new( host => '127.0.0.1', port => 1978 ); my $mf = Ca
mixiがはまったmemcached(or libevent?)の問題を調べる人たち
Neal Sato @nealsato 二日とも複数台のmemcachedが連続して落ちました。コアは吐かずにストンと落ちるので、原因追及に時間がかかりましたが、memcachedへの接続数が異常に多いと落ちる事は再現できました。 #mixi Neal Sato @nealsato memcachedが大量の接続を受けると突然停止をするので、memcachedへの接続数を減らし安定運用中。外部からの過剰アクセスではなく、サーバ追加→クライアント数増加→停止。 Masahiro Nagano / 長野雅広 @kazeburo ファイルディスクリプタが不足してmemcachedが落ちたとして、そのときには、3万強の接続となってるはず。3万強の接続となるにはアプリケーションサーバ側のmax clientが平均60として500台以上必要。そんなに増えたん？
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - golang/groupcache: groupcache is a caching and cache-filling library, intended as a replacement for memcached in many cases.
GitHub - twitter/twemproxy: A fast, light-weight proxy for memcached and redis
GitHub - billywhizz/node-memcache-parser: memcached binary protocol parser and encoder
GitHub - elbart/node-memcache: node.js memcached client
