FluentdとRedisを使ったランキング機能の実装 | SmartNews開発者ブログ
ゴクロの大平です。ごくろうさまです。 Redisは高速で、かつデータの永続化や、複数のデータ型によるストア(list,set,sorted set等）も対応しており、機能的が豊富ということから愛用者の多いKVS実装の一つだと思います。 特に私のようなアプリケーションエンジニアの人間にとってはデータ型のバリエーションの豊富さが便利さを感じる部分で、たとえばlistを用いてタイムライン的な情報や履歴情報の管理、sorted setを用いてランキング情報の管理、などのようにアプリケーションの需要の多くにRedisが対応することができます。 これらの情報を登録する際のフローとしては自作のアプリケーションから直接、というケースが多いと思いますが、せっかくFluentdのような便利なlog collector実装があるので、FluentdとRedisを組み合わせる事でカジュアルに情報の蓄積を行いたい
Redsmin
MonitoringMonitor your Redis instances with the highest level of granularity both in real-time and historical. Cloud ReadyManage your cloud hosted Redis servers directly from Redsmin. Microsoft Azure Redis cache, Redis Labs, Amazon AWS or Elasticache you name it! Manage Behind FirewallYour Redis servers may be deployed securely behind the firewall. Redsmin proxy will open and maintain a secure con
Redis 使ってるなら絶対に使うべき Redis Commander - Yamashiro0217の日記
皆さん Redis 使ってますか。 僕は一時期 Redis 厨になるぐらいには使ってます。 （今は一定の距離を保ったいいお付き合いしてます） でだ。 まぁ、皆さん redis-cli とか使って key の管理とかしてると思うんですよ。 でも、もう2013年の夏も終わりですよ。 そんな前時代的なことしてちゃだめです。 はい。そこで Redis Commander。 http://nearinfinity.github.io/redis-commander/ 四の五の言わずに、サイト見れば良さがすぐわかると思うんだけど、 まぁ、npmでサーバー立ち上げて、HTMLでRedisの管理ができちゃうすぐれもの。 インスコも楽ですしおすし。 え。皆さん普通 node はマシンに入ってますよね。 じゃあ、npm install -g redis-commanderで終了です。 もちろんローカル以外にも
軽量なTime-based ID生成器”shakeflake(仮称)”について | SmartNews開発者ブログ
大平です。今回はさだまさしネタは特に無しです。 先日、サービスのクローラーで使用しているID生成器について置き換えを行いました。非常に地味な話になりますが、本記事ではその辺の内幕の話をしたいと思います。 ID生成にまつわる苦悩 弊社ゴクロの提供しているSmartNewsは表向きはニュースアプリですが、裏側の仕組みは検索エンジンに近似しています。ユーザーの方々の興味関心や、アクセス傾向をクエリーとし、その内容に応じた話題のニュースを検索結果として返却する、という風に捉えていただくと、なんとなく私が言わんとしている事を想像していただけるかと思います。 SmartNewsはTwitterのつぶやき情報を用いたトレンド分析をベースとしており、話題になっているニュースを選定するためには、大量のTwitter上のtweet、ならびにその中に含まれているURLに対してクロールを行う必要があります。日々
Pyresを使ってみた | hexacosa.net
pyresって pyres は Redis をバックエンドに使った、ジョブキューサービスを 提供するPythonモジュールです。 ワーカに実行させたいジョブをあらかじめ登録しておき、 実行したい時にエンキューして使います。 同じような用途のモジュールには Celery なんかがあります。
redisのmaster-slave構成で考えるべきことの話 - diary
結論 Redisは2.6を使おう master-slave構成を取る場合はclient-output-buffer-limitをちゃんと意識するべき 概要 redisはエッジトリガ型のnon-blocking I/Oを用いてシングルスレッドでソケットの読み書きをぶん回す構造で書かれています。 よってclientやslaveへ対してのreplyを行う際も、ソケット自体の送信バッファが溢れた際(EAGAINが帰った際)には一度イベントループに処理を戻し、またソケットが書き込み可能になってイベントループが自分を呼んでくれた時に続きをwriteします。 まあnon-blocking I/Oなんだから当たり前なんですが、送信処理を再入可能にするためにredisはアプリケーションレベルで出力バッファを持っています。 これは送信が終わり次第適宜解放されるものの、write自体が間に合わなくなると詰まって
Redis Sentinelを運用してみたお話 | GMOメディア エンジニアブログ
こんにちは、宇津井です。 弊社ではゲソてんというゲームプラットフォームを運営しております。ゲソてんではサービスリリース当初から主にキャッシュ的な役割でRedisを導入していました。つい先日の事ですが訳あってRedis 2.6からサポートされたRedis Sentinelを採用しました。今回は、採用に至った経緯をご紹介します。 簡単なシステム構成 パフォーマンスは良いし、Memcachedには無い便利な機能を提供するRedisですが約一年間運用していくつかの問題が出てきました。 Redisサーバーが突然高負荷に陥るするとWebサーバーも高負荷に陥るRedisのReplicationは張ってるけどアプリケーション側でRedis Slaveへフェイルオーバーしない（MySQLを直接参照する）Redis落ちると恐らくMySQLサーバーが耐えられない（落ちた事無いけど）という事で対策を行ってきました
redis-top というCLIを書いた - Perl勉強メモ アルパカDiary出張版
追記2013/03/11 2.6対応と差分表示対応いただきました！ @hirose31++ @fujiwara++ とある日 探してみたけどたしかにそれっぽいの無さそうだし 自分も欲しいし書くしか無い！！！！ というわけで書きました。 https://github.com/toritori0318/p5-App-RedisTop 使い方 help引けば大体わかると思いますが、いくつか説明します。 その１ 127.0.0.1:6379 のRedis情報を表示します。デフォルトだと３秒更新です。 redis-top その２ 複数インスタンスを同時に表示することも可能です。 redis-top -i 127.0.0.1:6379,127.0.0.1:6380,127.0.0.1:6381,127.0.0.1:6382 いくつか頑張ってみた点 依存を気にした cpanとか使わなくても、１ファイルを
redis で sharding #KDLgunma 参加中 - Deveroper メモ
redis で sharding にチャレンジ ちなみに、redis を install する記事は..こちら ちなみに、 sharding については...こちら まずは、複数台...もってないので（汗） redis のプロセスを複数用意し それを複数台と仮定し進める事にする redis は redis.conf という設定ファイルで daemon にする事や port指定する事が出来る ※ソースからmake した場合、 tar.gz を解凍した最上位ディレクトリに conf ファイルがいます。 #daemon モードにする vi redis.conf #下記の箇所を修正して yes にする daemonize yes これで redis を 再起動( 起動時にconfファイルを適用 src(コマンドのpath)/redis-server redis.conf )すれば d
RedisをKeepalivedでフェイルオーバーする構成案 - 酒日記 はてな支店
master slave 構成を取っている Redis で、master が落ちた場合に slave を昇格させてフェイルオーバーしたいという要件がありまして、Keepalived と組み合わせて構成してみました。Redis の運用経験がないのでご意見などいただければありがたいです。 Scientific Linux 6.2 keepalived-1.2.2-3 redis-2.4.10 前提 Redis のレプリケーションではマルチマスター構成を取ることができない Redis の slave は起動時に master に接続し、全データを取得してコピーを取る その後は順次 master で更新されたデータをコピーする redis-cli で slaveof コマンドを実行することで、動的に master, slave を切り替えることが可能 このような作りになっているため、2ホスト間で
第1回 インメモリデータストア Redisの概要 | gihyo.jp
はじめに 株式会社ドワンゴで「ニコニコ生放送」の開発を担当している、小野と申します。本特集では、いわゆる「NoSQL」の一種であるRedisの概要と基本操作、そしてWebアプリケーションでの応用例までを、ニコニコ生放送での事例を交えながら紹介していきます。 Redisとは？ Redisは、Salvatore Sanfilippo氏によって2009年に公開されたインメモリベースのキー・バリュー・ストアです。2010年3月にはVMWareが同氏を雇入れ、同社の支援のもと、コントリビューターのPieter Noordhuis氏と共にフルタイムで開発が進められています。 本記事執筆時点での最新stableはバージョン2.0となり、新しいデータ型の追加やトランザクションのサポート、VM（仮想メモリ）の実装などが追加されました。 また、メモリ効率の向上やスループットの改善が図られたバージョン2.2が間
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redis-Commander
GitHub - gilles/redis-munin: redis munin scripts
https://raw.githubusercontent.com/antirez/redis/2.6/00-RELEASENOTES
redis/00-RELEASENOTES at 2.6 · redis/redis