Redisでランキング機能を実装してみる - (ﾟ∀ﾟ)o彡 sasata299's blog
2013年04月24日13:26 NoSQL Ruby Redisでランキング機能を実装してみる Redis を触ってると楽しくてニヤニヤしてしまう今日この頃です、こんにちは。 読み書きのパフォーマンス的には memcached とよく似てる感じかなーと思いますが、データが消えない（永続化）、さまざまなデータ型を持っていて用途によって使い分けられる、データ操作がアトミック、など、Redis には魅力的な特徴があります。 今回は Redis を使ってちょっとしたランキング機能を実装してみる話でも書いてみます。 Redisの環境準備 まずは Redis をインストールします。Mac だったら homebrew を使うと良いでしょう。 $ brew update $ brew install redis Redis の起動自体は非常に簡単で、このコマンドを実行するだけです。 redis-serv
redisのmaster-slave構成で考えるべきことの話 - diary
結論 Redisは2.6を使おう master-slave構成を取る場合はclient-output-buffer-limitをちゃんと意識するべき 概要 redisはエッジトリガ型のnon-blocking I/Oを用いてシングルスレッドでソケットの読み書きをぶん回す構造で書かれています。 よってclientやslaveへ対してのreplyを行う際も、ソケット自体の送信バッファが溢れた際(EAGAINが帰った際)には一度イベントループに処理を戻し、またソケットが書き込み可能になってイベントループが自分を呼んでくれた時に続きをwriteします。 まあnon-blocking I/Oなんだから当たり前なんですが、送信処理を再入可能にするためにredisはアプリケーションレベルで出力バッファを持っています。 これは送信が終わり次第適宜解放されるものの、write自体が間に合わなくなると詰まって
Redis Sentinelを運用してみたお話 | GMOメディア エンジニアブログ
こんにちは、宇津井です。 弊社ではゲソてんというゲームプラットフォームを運営しております。ゲソてんではサービスリリース当初から主にキャッシュ的な役割でRedisを導入していました。つい先日の事ですが訳あってRedis 2.6からサポートされたRedis Sentinelを採用しました。今回は、採用に至った経緯をご紹介します。 簡単なシステム構成 パフォーマンスは良いし、Memcachedには無い便利な機能を提供するRedisですが約一年間運用していくつかの問題が出てきました。 Redisサーバーが突然高負荷に陥るするとWebサーバーも高負荷に陥るRedisのReplicationは張ってるけどアプリケーション側でRedis Slaveへフェイルオーバーしない（MySQLを直接参照する）Redis落ちると恐らくMySQLサーバーが耐えられない（落ちた事無いけど）という事で対策を行ってきました
Redisでオートコンプリート(5) 転置インデックス
Redisを使ったいろいろな autocomplete のアルゴリズムをメモ。 前方一致 zrange 範囲指定 @antirez trie inverted index これまでの実装例は、検索語が一語に限られている。 RubyGem の soulmate は転置インデックスを用いて、複数語の autocomplete に対応している。 今は実装が変わっているかもしれないけれども、転置インデックスを使った2011年11月当時の実装が次のブログにまとめられているので、これをベースにメモ http://patshaughnessy.net/2011/11/29/two-ways-of-using-redis-to-build-a-nosql-autocomplete-search-index T[0] = “it is what it is” T[1] = “what is it” T[2]
WebSocket アプリの負荷分散 : DSAS開発者の部屋
最近 SPDY と WebSocket がアツいですね。 再来週の SPDY & WS 勉強会 も、定員100名に対して 参加者が 247 名とかなりアツいことになっています。 その予習というわけでもないですが、最近 WebSocket を実サービスへの 導入方法を考えながら遊んでいたので、 WebSocket の負荷分散方法について 考えていることを書いておこうと思います。 ステートフルな WebSocket アプリケーション HTTP サービスは基本的にステートレスな実装になっており、リクエストが来るたびに DBサーバーや memcached などのバックエンドから情報を取得して返していました。 この構成では Web アプリ自体は完全にステートレス化することができているので、 負荷分散機はラウンドロビン等のアプリケーションを無視した負荷分散をすることができました。 しかし、 WebSo
Redis の SortedSets 同点問題について - blog.nekokak.org
WEB+DBのRedis特集をひろせまさあきさんと共同で執筆しました。 WEB+DB PRESS Vol.73posted with amazlet at 13.03.05設樂 洋爾 白土 慧 奥野 幹也 佐藤 鉄平 後藤 秀宣 mala 中島 聡 堤 智代 森田 創 A-Listers はまちや2 大和田 純 松田 明 後藤 大輔 ひろせ まさあき 小林 篤 近藤 宇智朗 まかまか般若波羅蜜 Mr. O 技術評論社 売り上げランキング: 335 Amazon.co.jpで詳細を見る 買ってください。 このRedis特集の第五章では、Redisを使ったリアルタイムランキングについて取り上げたのですが、 記事中にある同点問題について、執筆時から状況が変わりましたのでupdateします。 記事中では、RedisのSortedSetsはスキップリストというアルゴリズムを使っている特性上、 同じス
どんなデータもリアルタイムなグラフにできるフレームワーク「FnordMetric」:phpspot開発日誌
FnordMetric | Framework for building beautiful real-time dashboards どんなデータもリアルタイムなグラフにできるフレームワーク「FnordMetric」。 どんなデータも次のような美しいUIを持つリアルタイムなグラフにできます。 サイトの会員数、ユニークアクセス数、データ投稿件数等、リアルタイムにデータを見たいような場合に使えそう。 muninなどでもグラフ化できますが、ここまでのUIの美しさとリアルタイム性は備えていないので、リアルタイムに欲しい情報はこれでダッシュボードにして監視すると便利でかっこ良さげ。 Ruby+Redisで書かれていますが、データの表示にはHTML5/JavaScriptのAPIが使えるようです 関連エントリ 世界地図でデータをビジュアライズする際に使えるJSライブラリ「DataMaps」 リアルタ
redisのバックアップは慎重に | Nekoya press
皆様におかれましては、WEB+DB PRESSの最新号のRedis特集は既にご覧頂いたかと存じます。 弊社では1年ほど前から広告配信に関する様々な部分でRedisを使っています。まだ2.4系なので、2.6の新機能とか新鮮でした。 本番環境でRedisを運用する上で、強く訴えたい注意点は「RDBが壊れることがある」ということです。 「RDBがあるからインスタンスが落ちても平気だぜ」とか思ってると、RDBが壊れてリストア失敗→データ消失ということになりかねません。ファイルにdumpされるからと安心していると痛い目に遭うかも知れません。 （2013/02/27追記）今のところ壊れたのはハード障害が怪しい場面のみです。「RDB壊れるとかRedis使えねー」とかそういう話ではまったくありません。誤解無きよう。壊れる時はRedisじゃなくても壊れます。自分のユースケースではTokyo Cabinet/
Redisでログの書き込みがblockを引き起こす - 酒日記 はてな支店
「RedisかわいいよRedis」(by typester)……というほど自分は Redis 期でもないのですが、最近 Redis を使ったサービスの面倒を見ていて時々レスポンスが悪化する現象に出会ったので調べました。 前提 使用しているのは Redis 2.4.16 です。 redis.conf に "save [t] [n]" を定義すると、最後に save をしてから [t]秒間に [n]個以上の key が更新された場合に background で save (=bgsave) が実行されます。 save 60 10000これだと、60秒間に 10,000 keys です。 bgsave では redisは自分自身のプロセスを fork() し、子プロセス側は自分のメモリに乗っている内容をファイルにすべて書き出します。 この仕組みによって、1プロセス 1スレッドで動作している re
lua-nginx-module の紹介 ならびに Nginx+Lua+Redisによる動的なリバースプロキシの実装案 - hibomaの日記
Nginxは非常に強力なhttpdですが、独自のモジュールを実装しようとするとこれまた非常に敷居が高い印象です。 追記 この記事よりも前に http://openresty.org/#DynamicRoutingBasedOnRedis でほとんど同じ内容のエントリが書かれていました。こちらも参照ください モジュールの開発はむずかしい まず開発用のドキュメントはほとんどありません。必然 既存のモジュールをお手本としますが、コメントも少ないのでソースだけが頼りです。 {ファイル,ネットワーク} I/O を伴う処理では、Nginxのノンブロッキング/イベントドリブンのアーキテクチャにのっとってコールバックを駆使したCで実装する必要があり、LLで育ったゆとり脳では太刀打ちできませんでした lua-nginx-module が代わりになるかも なんらかのNginxモジュールを開発しなければならない
Redis布教活動報告 ISUCON 編 - unknownplace.org
最近 Test::RedisServer とかもろもろつくっててばれてるかもしれませんが、だいぶ Redis 期にありまして、最近の趣味は？っていう問いにはだいたいRedisのソースを読むことですってなくらいなのですが、 memcached とかシンプルな KVS と比べるとだいぶ機能が豊富なので使い方を迷ったりとかそういう事例もあり、周りにもう少し使える人を増やさなければ僕の書いたコードが属人化しててつらい感じになるなーっていうわけで、 布教活動をおこなっておりまして、その一環として ISUCON2 に参加してきましたのでその報告です。 livedoor Techブログ : #isucon2 リアルタイムフォトレポート 更新終了 前回の優勝チームに混ぜてもらった感じでだいぶついてる感じもしますが、見事連覇を果たせ、懇親会でも redis redis と連呼してきたのでだいぶ興味持った方も
MySQLについてLTしたのこと。 - NullPointer's
ある日いきなり社内勉強会でライトニングトークしてねｗｗと指命されたので、MySQLの話してきました。以前サイバーエージェントのエンジニアブログに掲載された「redis、それは危険なほどのスピード」という記事で比較対象になったMySQLに関して考察した内容です。 内容を4行でまとめると、 はてブのツッコミ通りHashインデックス意味ないです rangeスキャンの範囲が広すぎるとB-Treeインデックスはむしろ遅い 2倍速いはread件数の差。アルゴリズムとデータ構造はDBだって重要 パーティション刈り込みでRedisレベルにMySQLを高速化 という内容になります。 俺のSQLがこんなに遅いわけがない 資料では触れていませんが、テーブルの大部分を取得するrangeスキャンであっても、B-Treeインデックスが有効になるケースがあります。例えばテストに用いたテーブルに対して以下のクエリを投げる
RedisをKeepalivedでフェイルオーバーする構成案 - 酒日記 はてな支店
master slave 構成を取っている Redis で、master が落ちた場合に slave を昇格させてフェイルオーバーしたいという要件がありまして、Keepalived と組み合わせて構成してみました。Redis の運用経験がないのでご意見などいただければありがたいです。 Scientific Linux 6.2 keepalived-1.2.2-3 redis-2.4.10 前提 Redis のレプリケーションではマルチマスター構成を取ることができない Redis の slave は起動時に master に接続し、全データを取得してコピーを取る その後は順次 master で更新されたデータをコピーする redis-cli で slaveof コマンドを実行することで、動的に master, slave を切り替えることが可能 このような作りになっているため、2ホスト間で
Redisを使っているプロジェクトで使いたいリアルタイムモニター·RedisLive MOONGIFT
RedisLiveはRedisの運用状態をリアルタイムにモニタリングできるソフトウェアです。 データを蓄積しておく場所としてRedisを採用するケースが増えてきました。そして利用しているとなればその状態が知りたいと考えるでしょう。そこで使ってみたいのがRedisのリアルタイムモニタリングシステムであるRedisLiveです。 メイン画面です。 データはリアルタイムに更新されていきます。 機能ごとに集計単位を変更できます。 RedisLiveで取れるのはメモリ消費量、コマンドの実行回数、コマンドの種類ごとの集計、アクセスの多いキーとなっています。サーバは設定ファイルを使って複数指定できるようになっています。 RedisLiveはPython製、MIT Licenseのオープンソース・ソフトウェアです。 MOONGIFTはこう見る RedisをはじめとするNoSQLシステムをメインとして使う選
Redis の Pub/Sub を使って Node.js + WebSocket のスケールアウトを実現する方法
Node におけるスケールアーキテクチャ考察(Scale 編)というエントリーを読んで、RedisはPub/Sub型通信をサポートしているという事を知りました。エントリーでも言及されているように、Pub/Subを使えば Node.js + WebSocket サーバをスケールする際に、中継サーバの役割を果たす事が出来るはずです。 そんな訳で実際に Node.js と Redis を使って Pub/Sub の実験を行なってみました。ユーザが別々のNode.jsサーバに接続していてもWebSocketを通してメッセージのやり取りを出来るようにします。 イメージとしてはこんな感じです。 下準備# Ubuntuの場合は apt-get で1発でインストールする事が出来ます。 $ sudo apt-get install redis npmでredisモジュールをインストールします。 $ npm i
Redisの可能性を拡大する。Redis用Apacheモジュール·mod_redis MOONGIFT
mod_redisはRedisにHTTPでアクセスできるようにするApacheモジュールです。 Redisはセッション管理をはじめKVSとして便利に使われていますが、プロトコルが独特であるためにサーバとの通信くらいにしか使われていません。そこでJavaScriptからでもRedisを使いやすくするmod_redisを使ってみましょう。 インストールしました。mod_redisは名前の通りApacheモジュールとしてインストールします。 Redisを起動します。 HTTPからアクセスします。/redisがRedisへのアクセスになっています（設定で指定）。 別途Redisへデータを追加します（mod_redis経由でもできます）。 するとデータがきちんと読み取れました。 設定例です。 mod_redisではRedisAliasという指定によってURLやメソッドごとにRedisへのデータ追加、
『redis、それは危険なほどのスピード』
どうも、プラットフォームDivでエンジニアをやっている Wataru です。 最近３人目の子供が産まれて、産後自宅勤務をさせてくれた弊社はとてもいい会社だと思います。出産予定のあるエンジニアのかたは是非弊社に転職を。 さて、今回はRedisの紹介をさせて頂きたいと思います。 Redisってすごくマイナーなわけではないのですが、めちゃくちゃ便利なのにあまり注目されていないなーという印象があるので、これを機会に是非使ってみてもらえると嬉しいです。 Redisって何？Redisとは「remote dictionary server」から名前が付けられたオープンソースのkey-valueデータストアです。 MemcacheDB等のKVSとの最大の違いは、格納するバリューがデータ構造というところです。 つまり、リスト・セット・ハッシュなどのデータ構造で格納できるのでバリューに対してアトミックな操作が
Redisのステータスをリアルタイムモニタリング·Redmon MOONGIFT
RedmonはRubyで作られたRedis管理アプリケーションです。 最近ではRedisを使ったオープンソース・ソフトウェアも増えてきました。そこで自分でもRedisを使ってみようと考えている人は試してほしいのがRedmonです。リアルタイムモニタリング機能付きのRedis管理ツールです。 ライブモニタリングの画面です。 リアルタイムに更新されていきます。 コマンドラインインタフェースです。 キーの一覧を出力しました。 get/set/delもできます。 Redmonを使えばRedis自体のステータスやメモリ状況など、必要な情報が一目で分かるようになります。データの管理をする、というのとはちょっと違うかも知れませんが便利なアドミンツールです。 RedmonはRuby製のオープンソース・ソフトウェアです。 MOONGIFTはこう見る Redisをはじめ、MongoDBやCouchDBなどいわ
JS + Redisの組み合わせに。RedisにWebインタフェースをつける·webdis MOONGIFT
webdisはRedisにHTTPアクセスインタフェースをつけ、JSON/JSONPによるデータ取得を可能にする。 webdisはC製/Redis用のオープンソース・ソフトウェア。2010年には大いに盛り上がったNoSQL。数々のソフトウェアが開発され、実践で利用され始めている。その一つがRedisだ。キーをメモリに保存することで拘束性を維持しつつ、データはディスクに書き込まれる仕組みをとっている。 アクセス例 そんなRedisでは各種言語向けにクライアントライブラリを提供している。これらを使うことでRedisへの接続は容易にはなるが、Webからそのまま使うためにはJavaScriptの方が都合が良かったりする。そこで試したいのがwebdisだ。 webdisはRedisにWebインタフェースをラッピングするライブラリだ。Redisには直接アクセスせず、webdisへアクセスすることでJS
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
