Redis Sentinelを運用してみたお話 | GMOメディア エンジニアブログ
こんにちは、宇津井です。 弊社ではゲソてんというゲームプラットフォームを運営しております。ゲソてんではサービスリリース当初から主にキャッシュ的な役割でRedisを導入していました。つい先日の事ですが訳あってRedis 2.6からサポートされたRedis Sentinelを採用しました。今回は、採用に至った経緯をご紹介します。 簡単なシステム構成 パフォーマンスは良いし、Memcachedには無い便利な機能を提供するRedisですが約一年間運用していくつかの問題が出てきました。 Redisサーバーが突然高負荷に陥るするとWebサーバーも高負荷に陥るRedisのReplicationは張ってるけどアプリケーション側でRedis Slaveへフェイルオーバーしない（MySQLを直接参照する）Redis落ちると恐らくMySQLサーバーが耐えられない（落ちた事無いけど）という事で対策を行ってきました
分散メモリー技術
分散メモリー技術とは，数十～数千台のサーバーに搭載される物理メモリーを連携させて，巨大な論理メモリーとして使用する技術である。作り出したメモリーを，データベースのキャッシュ・メモリーとして使用することで，アプリケーションのパフォーマンスが向上する（図1）。 Webアプリケーション分野で広く使われている分散メモリー技術が「memcached」だ。元々はブログ・サービス「LiveJournal」用に開発されたソフトウエアだが，オープンソース化され，ソーシャル・ブックマーク・サービスの「digg」や，ソーシャル・ネットワーク・サービス（SNS）の「mixi」でも使われるようになった。 米GoogleのPaaS（Platform as a Service）である「Google App Engine」にも，memcachedに相当するメモリー・キャッシュ機能が搭載されている。開発者はGoogle A
『JavaネットワークアプリケーションフレームワークNettyの紹介』
こんにちは、新規開発局のイニシャルP.です。 今回はJBoss OpenSource Projectの一つであるNetty Projectを紹介します。 Nettyは高性能・高スケーラビリティなネットワークアプリケーションを快速開発するために設計されたNIOクライアント・サーバフレームワークです。 Nettyを使うと複雑なNIO Selector APIを知らなくても簡単に非同期なイベント駆動型のネットワークアプリケーションの作成が可能になります。 簡単とはいえ、APIや使い方の説明になると楽しくないので、 ここでは実際にNettyを利用してMemcachedサーバを作ってみることにします。 動作環境について ・JDK1.5以上 ・Nettyの最新バージョン(現時点で3.2.1-Final) Memcachedサーバの実装について ・Binary Protocolのみ ・GetとSetのみ
memcachedを使った開発のお供に。キー一覧取得ツール·memcached-keys MOONGIFT
memcached-keysはmemcachedのキー、データサイズ、有効期限を一覧表示するソフトウェア。 memcached-keysはPerl製のオープンソース・ソフトウェア。Webサービスを高速化する上で欠かせないのがキャッシュだろう。そのキャッシュシステムとして有名なのがmemcachedだ。オンメモリに保存するので高速、KVSなのでシンプルに利用できるのが利点だ。 実行結果 memcachedを使っていて気になるのが、ちゃんとキャッシュで来ているのか否か、キャッシュがどれくらいあるのかといった情報ではないだろうか。その問題を解決してくれるソフトウェアがmemcached-keysだ。 memcached-keysはPerl製のシンプルなソフトウェアで、そのまま実行するだけでローカル（デフォルト。変更可能）のmemcachedにあるキャッシュを一覧表示してくれる。キャッシュ名、有効
Amazonクラウド、Memcached互換のキャッシュサービスを開始。1テラバイトのキャッシュも数分で利用開始
Amazonクラウドを運用するAmazon Web Servicesは、クラウド上でMemcachedプロトコル互換のキャッシュ機能を提供する「Amazon ElastiCache」を発表しました。 クラウド上で大規模なオンラインサービスを提供する際にいちばんボトルネックとなりやすいのはデータベースに対するアクセスです。データベース自身をスケーラブルにすることは一般に難しいため、多くのアプリケーションではデータベースの前段にMemcachedによるメモリキャッシュを置いています。 大規模なオンラインサービスで知られるFacebookでは、メモリキャッシュ上に300テラバイト以上のデータを置いていると説明されています。 1テラバイトを数分で用意 これまでAmazonクラウドでメモリキャッシュを利用するには、Memcachedのようなメモリキャッシュのためのアプリケーションをインストールする必
mixi Engineers’ Blog » Tokyo Tyrantによる耐高負荷DBの構築
連休中はWiiのマリオカートをやりまくってやっとVR7000越えたmikioです。愛車はマッハ・バイクとインターセプターです。さて今回は、分散ハッシュデータベースサーバTokyo Tyrantでmixiの最終ログイン時刻を管理するようにした時の苦労話を書きます。 ログイン処理は負荷地獄 mixiでは、全てのユーザについて、各々の最終ログイン時刻を管理しています。「マイミクシィ一覧」や「お気に入り」などの画面で、友人が近い時間にログインしていてコミュニケーションがとりやすい状態にあるかどうか確認できるようにするためです。 mixiのほぼ全てのページはログインしないと見られないページなので、ほぼ全てのページにアクセスされるたびにログイン確認が行われます。したがって、最終ログイン時刻はほぼ全てのページにアクセスされる度に更新されることになります。mixiの中で最も重いデータベースのひとつとして「
Memcacheでスピンロックを実装してTask Queue処理結果を集約してみるテスト - スティルハウスの書庫の書庫
TaskQueueで分散処理した結果をまとめるときは、排他を考慮する必要があります。Datastoreを使う場合なら、単に結果を新規エンティティとして追加したり、エンティティグループの楽観排他を使ったりすればOKです。一方、やっぱりMemcacheでスピーディーに集約したいよ、という場合は、Memcache上で排他を実装する必要があります。以前のエントリにちょろっと書いたMemcacheService#incrementでスピンロックという方法について説明してほしいというコメントをid:miztakaさんよりいただいたので、ここに改めて書きたいと思います。 Memcacheでは排他制御が必要 ご存じのとおり、App Engineはデフォルトで複数のApp Serverによるクラスタが構成されており、またMemcacheサービスはクラスタ全体で共有されるグローバルなキャッシュとして機能します
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RethinkDB: the open-source database for the realtime web
GitHub - twitter-archive/kestrel: simple, distributed message queue system (inactive)