Cache::Memcached::Fastの圧縮オプションが便利 - ninjinkun's diary
Memcachedに大量のJSONを保存していたのですが．Memcachedサーバの容量を超えてしまい，データ容量の削減が必要になってしまいました．いろいろ調べているうちに，クライアントとして使っているCache::Memcached::Fastに圧縮オプションがあることを発見したので，試してみました．デフォルトではオフになっているのですが，newする際にcompress_thresholdを設定することで有効になります． Cache::Memcached::Fast->new( my $memcached_comp = Cache::Memcached::Fast->new({( servers => [qw/localhost:11211/], compress_threshold => 500, compress_ratio => 0.9, )}); この設定の便利な点は，圧縮オプシ
memcachedを知り尽くす 記事一覧 | gihyo.jp
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
preventing cache stampedes : maaash.jp
webサイトとかで、重いSQLを使ったページを快適に表示するために、重いSQLの結果をキャッシュするためにmemcachedとかをよく使います。 キャッシュの有効期限が切れた後に、大量のリクエストに対応して大量の重いSQLが走ると困るので、どうしよう。 これをthundering herd 問題といったり、cache stampede, database stampedeというそうです。 キャッシュ切れた後にががっとくるやつ、です。 A. キャッシュの有効期限が切れる B. SQL発行 C. SQLの結果を受け取る D. キャッシュにつっこむ A-D.の間に大量のリクエストが来ると、重いSQLが走るので困ります。 Kazuhookuさんが書いています。 キャッシュシステムの Thundering Herd 問題 対策としては、以下の２種類の手段があります。 * バックエンドへ
Big Sky :: Cache::Memcached::Fastのクライアントモジュールを使った高速なmemcached client
memcachedサーバへのアクセスモジュールは数ありますが、一般的にはlibmemcachedが使われる事が多いと思います。 Perlにおいても Cache::Memcached Cache::Memcached::Fast Cache::Memcached::libmemcached Memcached::libmemcached と数種類存在し、一般的に使用されるlibmemcachedのラッパインタフェースであるCache::Memcached::libmemcachedが使われる事が多い様に思います。 libmemcachedに関しては、以前Windowsへのポーティングを行い、オフィシャルへのパッチ送付も行いました。 成果物としてはcodereposに置いてあります。オフィシャルからもリンクを張って頂けるようになりました。 さらにCache::Memcached::Fastにつ
memcached - Yappo::タワシ
screen でいっぱいういんどうあげてスクリプト大量にはしらせてたらgetをdumpするとこでgetの戻り地がundefになったりしてる出力でた。 use strict; use warnings; use Cache::Memcached::Fast; my $memd = Cache::Memcached::Fast->new({ servers => [ '0.0.0.0:11211', '0.0.0.0:11211', '0.0.0.0:11211', '0.0.0.0:11211', '0.0.0.0:11211', '0.0.0.0:11211', '0.0.0.0:11211', '0.0.0.0:11211', ], }); my $i = 0; while (1) { warn $i; $memd->set_multi( ['yappo:'.$$.':'.$i++, $
Catalyst::Plugin::Session::Store::Memcached
NAME Catalyst::Plugin::Session::Store::Memcached - Memcached storage backend for session data. SYNOPSIS use Catalyst qw/ Session Session::Store::Memcached Session::State::Foo /; MyApp->config( 'Plugin::Session' => { memcached_new_args => { # L<Cache::Memcached::Managed/new> 'data' => [ "10.0.0.15:11211", "10.0.0.15:11212" ], }, memcached_item_args => { # L<Cache::Memcached::Managed/set>, get, dele
第1回 memcachedの基本 | gihyo.jp
株式会社ミクシィ 開発部 システム運用グループの長野です。普段はミクシィのアプリケーション運用を担当しております。今回から数回にわたり、最近Webアプリケーションのスケーラビリティの分野で話題になっているmemcachedについて、弊社開発部 研究開発グループの前坂とともに、使い方や内部構造、運用について解説させて頂きます。 memcachedとは memcachedは、LiveJournalを運営していたDanga Interactive社で、Brad Fitzpatrick氏が中心となって開発されたソフトウェアです。現在ではmixiやはてな、Facebook、Vox、LiveJournalなど、さまざまなサービスでWebアプリケーションのスケーラビリティを向上させる重要な要素になっています。 多くのWebアプリケーションは、RDBMSにデータを格納し、アプリケーションサーバでそのデータ
Cache::Memcached
NAME Cache::Memcached - client library for memcached (memory cache daemon) SYNOPSIS use Cache::Memcached; $memd = new Cache::Memcached { 'servers' => [ "10.0.0.15:11211", "10.0.0.15:11212", "/var/sock/memcached", "10.0.0.17:11211", [ "10.0.0.17:11211", 3 ] ], 'debug' => 0, 'compress_threshold' => 10_000, }; $memd->set_servers($array_ref); $memd->set_compress_threshold(10_000); $memd->enable_compre
Cache::Memcached::Fastを試す : blog.nomadscafe.jp
Cache::Memcached::Fastを試す Perlの新しいmemcachedクライアント「Cache::Memcached::Fast」がでていたので試してみた 結論から言うと、これは使えそう。 まず、C::M::Fastはmemcached-1.2.4でサポートされた、append, prepend, cas, gets, gets_multiをサポートする唯一のPerlクライアントです。また、常に問題となるCache分散にKetama consistent hashing algorithmをサポートしているためCacheの組み替えを最小限にしてCacheサーバの追加が行えます。 手元のベンチマークでは50%〜80%、処理によりますが300%以上高速化されてます インストールは普通にCPANから行えます。ただし、memached-.1.2.4が動いていないとmake test
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
[DBIx::Class][Perl] Cache::Memcached と DBIx::Class - cyberlib.enterbrainz.com
[DBIx::Class] [Perl] Cache::Memcached (Cache::FileCache,Catalyst::Plugin::Cache::Memcachedも) はオブジェクトがキャッシュできる。とても便利。 でもDBIx::Classのオブジェクトは、キャッシュできないことがある。 サンプル： #!/usr/bin/perl use strict; use Cache::Memcached; use TestDB; my $memd = new Cache::Memcached {'servers' => [ "127.0.0.1:11211" ]}; my $schema = TestDB->connect("dbi:mysql:testdb;localhost",'user','password'); #OK pattern
DBIx::Class::Cursor::Cached
NAME DBIx::Class::Cursor::Cached - cursor class with built-in caching support SYNOPSIS my $schema = SchemaClass->connect( $dsn, $user, $pass, { cursor_class => 'DBIx::Class::Cursor::Cached' } ); $schema->default_resultset_attributes({ cache_object => Cache::FileCache->new({ namespace => 'SchemaClass' }), }); my $rs = $schema->resultset('CD')->search(undef, { cache_for => 300 }); my @cds = $rs->all
MasteringMemcached
2008-09-27 17:53:11 +0900 (78d); rev 114 この文書について 分散型メモリオブジェクトキャッシングシステムである memcached について、その仕組み、導入やプログラミング言語からの利用方法までを紹介します。 この文章は常に書きかけです。誤字脱字や間違いの指摘や情報提供などを歓迎します。 この文書の対象者 memcached の導入を検討しているひと memcached をプログラミング言語から利用する方法を知りたいひと memcached の仕組みや仕様を知りたいひと 環境について 以下のような環境を想定しています。 UNIX および UNIX ライク OS x86 アーキテクチャ memcached は x86 以外のアーキテクチャでも動作しますが、この文書では x86 前提として記述します。 memcached とは memcached は
Memcacheはやっぱりすごかった
森川です。恥ずかしながらmemcacheを使うくらいならtmpfsとかMySQLのHEAPテーブルを使えばいいじゃん、などと思っていたのですが、今回簡単なベンチマークをやってみて心を入れ替えました。 はい、memcacheは偉大です。すごく速いです。 テストとして10万件のデータをINSERTして、そこから該当するデータを10万件取得します。まずはmemcacheを使用した場合です。 今回はdagレポジトリのRPM版memcachedとソースからインストールしたPHP 5.2.3を使用してpecl installでmemcacheエクステンションをインストールしています。memcachedの設定はデフォルトのままです。 # yum install memcached # pecl install memcache # vi /usr/local/lib/php.ini extension=
memcachedの驚愕の事実。
MixiやFacebook、Wikipediaなど、大規模なサイトでmemcachedを利用する例が増えている。マイコミジャーナルのレポートでFacebookの事例紹介があるのだが、なんとmemcached用のサーバは805台で、メモリ容量は15TBにもなるそうだ。ディスクではなくメモリだけで15TB！である。アクティブユーザーの数は7000万人もいるそうだから、それを捌くとなるとハードウェアも凄い規模にならざるを得ないのである。 このように大規模サイトを支えるmemcachedであるが、そのプログラムの中身は一体いかなるものなのであろうか。memcachedはhttp://www.danga.com/memcachedでソースコードが配布されている。現時点での最新版は1.2.5である。ぜひダウンロードしてみてほしい。そしておもむろにファイルサイズを確認してみてほしい。するとあることに気づ
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Cache::Memcached::LibMemcached の非同期モードはありえないくらい速い。 - D-6 [相変わらず根無し]
Cache::Memcached::LibMemcached の非同期モードはありえないくらい速い。 先輩！ 仕事で疲れた脳を休めようと、先ほどlibmemcachedが備えているno_blockをCache::Memcached::LibMemcachedからも設定できるようにしてみたんです。で、ベンチマークを取ってみたところ・・・ daisuke@beefcake Cache-Memcached-LibMemcached$ perl -Mblib tools/benchmark.pl ==== Benchmark "Simple set() (scalar)" ==== (warning: too few iterations for a reliable count) Rate perl_memcahed memcached_fast libmemcached libmemcac
なぜmemcachedをセッション管理用に使うのか
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
memcached | feedforce Engineers' blog
何？ オブジェクトをメモリにキャッシュするデーモン。 動的ページを持つウェブアプリケーションの裏側で動くデータベースへの負荷を軽減させることを目的にデザインされている。 - 公式サイト memcached: a distributed memory object caching system 特徴 オブジェクトをメモリ上にキャッシュ 複数ホスト間でキャッシュ共有可能（リモートからキャッシュにアクセス可能） 各言語用のインタフェースライブラリがそろってます 実績豊富 よくある用途 セッションストア DBへのクエリ結果のキャッシュ アプリケーションレベルのオブジェクト共有（静的インスタンス） セッションストア 複数サーバ間のセッション情報共有 DBを使う方法と比べて負荷がかからなくてうれしい セッションストアとしての問題点 レプリケーションの仕組みがない。 ので、アプリケーションの性質によって
最近のmemcached界隈の賑わいについてのメモ : DSAS開発者の部屋
repcachedの開発をしている関係で、昨年あたりからmemcached界隈のウォッチを強化しています。 昨日のエントリでもちょっと書いたんですが、なぜかここ最近、にわかにmemcached界隈が賑やかになってきている感があります。具体的には、memcached互換の実装がいろいろと現れたり、新しいクライアントライブラリが登場したりなど。 そんなわけで、最近わたしが気になっている、memcached関連のあのプロダクトやこのプロダクトをささっとまとめてみたいと思います。 クライアントライブラリ (C) libmemcached Brian Akerさんによる、C言語用のライブラリ。 既存のC言語用のライブラリである、libmemcacheとapr_memcacheに続く、第3のC言語用ライブラリです。 Consistent Hashingも実装しているようです。 いままでベンチマークプロ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
