あと2時間でElastiCacheのメモリが枯渇！そのときあなたは何をしますか？
突然ですが... あなたは、あるゲームプロジェクトの本番リリース2日前にサーバエンジニアとしてJOINしました。いざリリースを迎えたとき、ElastiCacheのメモリが突然危険域を超え、さらにあと2時間で枯渇しそうな状況になりました。 さて、この状況におかれたあなたは何をしますか？ はじめに モバイルゲームのシステムは新しいイベントをopenするとトラフィックが2倍、3倍、時には普段の10倍以上来ることがあり、トラフィックの変動が非常に大きい特性があります。 新しいゲームのリリース時はより顕著で、想定以上のトラフィックが来ることもしばしばあります。 この記事は、あるゲームプロジェクトの本番リリース時に大規模トラフィックが来た際のサーバトラブルを題材に、 どのような観点で問題を切り分けていったのか、トラブルシュートのプロセス どのような準備(負荷テスト)をしていれば防げるのか という話をし
Spring Boot+Spring SessionでスケーラブルなステートフルWebアプリが簡単につくれるよ〜 - Qiita
今回は、Spring BootとSpring Sessionを使用してスケーラブルなステートフルWebアプリ（HTTPセッションを使うWebアプリ）を作ってみるぞ〜 システム構成のイメージ 今回は・・・ Webサーバー兼ロードバランサーとしてNginx アプリケーションサーバーとしてSpring Boot(Embedded Tomcat) セッションストアとしてKVS(Key Value Store)の有名どころであるRedis を使用し、Nginx、Spring Boot(Embedded Tomcat)、RedisをそれぞれDockerコンテナ上で動かします。 なお、今回はRedisは１台構成にさせてもらいます。実際のシステムを１台構成で動かすことはあり得ませんが・・・ （Master/Slave構成によるクラスタ化は次回の宿題ということで・・・） フレームワーク構成 Spring B
プロダクションで2年間Redis Clusterを運用してみて - Qiita
TL;DR Redis Clusterで運用は本当に楽になった でも、Redis 4.0は不安 Redis Clusterで一番怖いのはDisk IO 特にフェイルオーバーなどのFull Resync時 Redisとは？ 高速なインメモリ型のKVS シングルスレッド 豊富なデータ構造(次ページにて詳細) 豊富な操作(次々ページにて詳細） 豊富なデータ構造 key-value型 hash型(key-field-value) set型(集合演算ができる) sorted set型(スコア付きset) 任意の型(redis modules機能) 豊富な操作 インクリメントや和集合などなど lua scriptも実行できちゃう シングルスレッドだからatomicな処理になる Redisの問題点 writeがスケールしない 気軽に停止できない サーバー再起動やバージョンアップなど Redis Clus
Redisアプリケーションパターン | おそらくはそれさえも平凡な日々
この記事は、はてなエンジニアアドベントカレンダー2016の12日目の記事です。 先日こういうツイートをしました。 Redisはキャッシュ用途のミドルウェアだと思わない方が良いと思う — songmu (@songmu) 2016年12月10日 言いたかったのは、Redisはキャッシュのためだけのミドルウェアだと誤解されがちなのですが実際はそうではないということです。実際、公式サイト を見に行くと以下の様なことが書かれています。 Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache and message broker. つまり、Redisは多彩なデータ構造を保持できるインメモリーのデータストアで、様々な活用法があり、キャッシュとして「も」使える、とい
Spring Data Redis におけるデフォルト設定の注意点 - なんとなくな Developer のメモ
Spring Data Redis のデフォルト設定に関して、個人的に気になった点を挙げておきます。 (1) キーと値に JdkSerializationRedisSerializer を適用 (2) トランザクションサポートが無効化 （enableTransactionSupport = false） 今回使用したモジュールは以下。 Spring Boot Starter Redis 1.2.5 （ Spring Data Redis 1.4.3 ） サンプルソースは http://github.com/fits/try_samples/tree/master/blog/20150827/ はじめに 今回作成したサンプルの Gradle 用ビルド定義です。 spring-boot-gradle-plugin を使わず、gradle run で実行するようにしました。 build.grad
Redis Cluster の構築と利用（Redis 3.0.0） - ALBERT Engineer Blog
みなさまこんにちは。池内です。 Redis 3.0.0 から正式な機能として盛り込まれたRedis Clusterの構築と基本的な動作について紹介します。 ※ 期せずして本日 LINEさんの事例 LINEの100億超/日メッセージを支えるRedis・HBaseのスケールアウト・アップ戦略（A-5） #linedevday – Togetterまとめ が話題になっていますが、合計48TBものメモリサイズで運用しているようです。凄いですね。 Redis Cluster とは 疑似的なマルチマスタ構成 複数ノードでデータをシャーディングできる スレーブ構成を採用すれば耐障害性の向上も可能 概ね上記のような内容です。マルチマスタを「疑似的」としているのは、実際にデータが各ノードに伝播しているわけではないからです。Redis Clusterは、あるレコードをどのノードに保存するかを把握しておき、ノー
公式のDockerコンテナでRedis Clusterを構築する - Maverick's tech blog
はじめまして、@chaltosです。 今回はDockerコンテナでRedisクラスタを構築した際の手順について書きます。 「set, getなどが問題なく実行できればよい」という状況での作業メモ的なものなので、レプリケーションやバックアップなどはまったく考慮してません。 環境 OS Mac OS X 10.9.2 Docker 1.8.2 DockerMachine 0.4.1 やってみる Redis Cluster Tutorialによると、配布されているソースコードにはredis-tribやcreate-clusterというユーティリティが同梱されていて、以下のようなコマンドでノードの追加やスロットの割当てができるらしいです。便利ですね。 $ ./redis-trib.rb create 127.0.0.1:7000 127.0.0.1:7001 ... $ create-cluste
Redis 本番障害から学んだコードレビューの勘所
Redis不適切利用による問題は本番運用が始まってから顕在化することが多く、時限爆弾みたいな存在です。事前に防ぐにはコードレビュー段階で叩くしかありません。 Redisはスクリプト言語と相性が良く、適切に利用するとRDBと比較し驚くほど高速なプログラムを組むことができます。昨年尊敬する先輩にコードレビューで斧100本くらい(レビューコメント)投げられて血まみれになりつつ学んだことを、まとめて書いてます。概要は『消えても良いデータならRedis』 Redisのメモリが溢れたら... （この話は事実ではなくファンタジーです。） 深夜電話で叩き起こされました。どうやらアクセス障害みたいです。 何人かで実機確認したら、まったくゲームが遊べない。データ不整合怖いのでメンテIN。 ほどなくしてRedisが溢れメモリ不足で新規書き込みが出来なくなっていると判明。サーバのメモリ容量は64GByteでこれ以
Redis作者自身によるRedisとMemcachedの比較 | Yakst
Redisの作者antirez氏自らによる、memcachedとRedisの長所短所の比較。特に、Redisを単なるキャッシュ用アプリケーションとしてmemcachedと比較することの間違いと、それぞれの向いている使用方法についての私見。 あなたが私と面識があるなら、私が競合製品があることが悪いと考える人間でないことはご存知でしょう。ユーザーに選択肢があることは本当にいいことだと思っていますし、だからこそ他の技術とRedisを比較するようなことはほとんどしませんでした。 しかし、最適なソリューションを選ぶためには、ユーザーは正しく情報を持たねばならないのも確かです。 この記事を書くのは、有名なライブラリであるSidekiqの作者として知られるMike Perhamが、Redisのバックエンドストレージとしての使い方を書いた記事を読んだのがきっかけです。従って、私はMikeがRedisに「反
Spring Bootハンズオン — Spring Bootハンズオン 1.0.0-SNAPSHOT documentation
Spring Bootハンズオン¶ 本ハンズオンでは、簡単なECサイト作成を通じて、Spring Framework/Spring Bootの機能を学んでいきます。 また、RedisやSpring Sessionを用いてスケーラブルなWebアプリケーション作成方法を学びます。 ハンズオンを始める前に以下のソフトウェアをインストールしておいてください。 Gitのインストール Java SE 8u45以上のインストール Maven 3のインストール IntelliJ IDEA(推奨) または Spring Tool Suite(Eclipse)のインストール IDEのLombokプラグイン(IntelliJ IDE用0.9.4以上、またはEclipse用1.16.4以上)のインストール 【オプション】Redisのインストール 【オプション】Dockerのインストール 「はじめてのSpring
Redis のメモリが足りなくなった時にどうやってチューニングしたか - Qiita
Redis は便利なのですが、メモリが半分しか使用出来ないという問題が有ります。 非同期でファイルの書き込みを行う際に、メモリのスナップショット（コピー）を取るために、その分の空きメモリが必要なのです。 ここに Redis のソースコードのコメントを翻訳したものを置いておきます。 今回、メモリの空きが足りなくなったのは、準永続的な情報用のサーバと利用している物で、簡単に消すことは出来ませんでした。 そこで Redis のメモリダンプを解析し、利用していないキーの削除やデータ型の変更を行うことにしました。 メモリの解析 メモリダンプはそのままでは人間には理解不能なので、ローカルにdump.rdbファイルをコピーし、 Rdbtools を利用してCSVに出力し、そこから必要なデータに整形しました。 $ rdb -c memory dump.rdb > redis_memory.csv # バイ
Twitterのキャッシュを支えるRedis - ワザノバ | wazanova
https://www.youtube.com/watch?v=rP9EKvWt0zo 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約1時間前 TwitterのYao Yuが、大規模サービスのキャッシュにおいてRedisを活用する取組みについて紹介しています。 1) Redisを採用している理由 キャッシュだけで、ストレージとしては利用していない。 主なところでは、Twitterのタイムラインで利用している。ホーム画面であれ、ユーザ画面であれ、タイムラインはTweetのインデックスなので、key/valueストア型のRedisを利用するケースとして最適。 以前はmemcachedを使っていたが、問題になったのは、タイムラインでおきるread/writeは、（ユーザが閲覧している範囲に追加反映するということなの
Cassandra vs Riak vs Redis 〜 NoSQLの性能を比較してみた
CassandraとRiakとRedis、どれが一番速いのかなーってことで性能を比較してみました。 後ほど詳しく書きますが、若干Redisに有利なベンチマークの取り方しています。 各ミドルウェアの条件と特徴はこれ。 アーキテクチャ比較 version: 2.0.5 構成: cluster depend: Java, Python データモデル: カラム指向 アーキテクチャ: Gossip ノード管理: 設定ファイル/コマンド/GUI 無停止ノード管理: 無停止 CUIクライアント: cqlsh 管理ツール: 付属のweb ui Cassandraのインストール〜クラスター構築はこちらをどうぞ。 Cassandra2系のクラスターをRHEL系LInuxに構築する version: 2.0.0pre11 構成: cluster depend: Erlang データモデル: Key-Value
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Webアプリケーションのキャッシュ戦略とそのパターン / Pattern and Strategy of Web Application Caching
Nosqlの基礎知識（2013年7月講義資料）
Redis勉強会資料(2015/06 update)
Redisを使ったランキング機能の実装