メモ: Redisをジョブキューとして使う - ごろねこ日記
Redisについて Redisはいわゆるオンメモリで動作して永続化もしてくれる高速なキーバリューストアですが、ノティフィケーションのような機能ももってます。 実はジョブキューのようなものは無いかなと最初はRabbitMQを調べていたのですが、そういやRedisにそういう使い方できそうなコマンドがあったような。と思ってみてみたらありました。 コマンド 該当のコマンドはPUBLISHとSUBSCRIBEです。 SUBSCRIBEは現在のコネクションで特定のキーワードの通知が来るのを待機開始するコマンド PUBLISHは通知を送信するコマンド です。 具体的には SUBSCRIBE fooとするとキーワードfooで通知を待ち受け、 PUBLISH foo hogeとするとhogeというメッセージとともにSUBSCRIBEしているコネクションにメッセージを送ります。 実際にコマンドラインからやって
RedisのSorted Setで時系列のデータを扱う - メモ置き場
redisでtwitterのタイムラインのように時系列でデータを保存することを考えてみる。 新しく追加されたデータを先に取得できるようにする必要がある。 ページングするのに、最後に返したデータのポジションは取得できず、データそのものが渡されると仮定。 つまりデータからindexが取得可能である必要がある。 listを使うと頭から走査しないと取得できないので、sorted mapでscoreにシステム時刻を入れることを試してみる。 pythonで操作した。 まず順番に5つのデータを入れてみる # coding=utf-8 import redis import time client = redis.Redis() KEY = "loglog" VALUES = ["one", "two", "three", "four", "five"] # 初期化 client.delete(KEY)
ストリーム処理を支えるキューイングシステムの選び方
This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery
計算量のはなし（Redisを使うなら必読！O(logN)など）
The document is a presentation on Jupyter and BigQuery given at PyCon JP 2017. It discusses using Jupyter notebooks with BigQuery for tasks like data migration, building ETL pipelines, and creating visualizations. It emphasizes building products using a "build-measure-learn" workflow with tools like Jupyter, BigQuery, and Jenkins.
Redis 本番障害から学んだコードレビューの勘所
Redis不適切利用による問題は本番運用が始まってから顕在化することが多く、時限爆弾みたいな存在です。事前に防ぐにはコードレビュー段階で叩くしかありません。 Redisはスクリプト言語と相性が良く、適切に利用するとRDBと比較し驚くほど高速なプログラムを組むことができます。昨年尊敬する先輩にコードレビューで斧100本くらい(レビューコメント)投げられて血まみれになりつつ学んだことを、まとめて書いてます。概要は『消えても良いデータならRedis』 Redisのメモリが溢れたら... （この話は事実ではなくファンタジーです。） 深夜電話で叩き起こされました。どうやらアクセス障害みたいです。 何人かで実機確認したら、まったくゲームが遊べない。データ不整合怖いのでメンテIN。 ほどなくしてRedisが溢れメモリ不足で新規書き込みが出来なくなっていると判明。サーバのメモリ容量は64GByteでこれ以
moco(beta)'s backup: KVS性能比較 - memcached / Couchbase / MongoDB / Redis
手軽なKVSとして使えるNoSQL系データベースは沢山あるわけなのですが、単体サーバのset/getの性能に注目して性能比較を行いました。memcachedをベースラインとして、どの程度その性能に追いつくかを調べるのが主目的です。（揮発性のキャッシュでよければmemcached + Consistent Hashing 最強なのですが、永続化できるとうれしい場合があります。。。） [2014.03.21 追記] ベンチマーク系のエントリって、少ないもんだから適当に書いても検索上位にきてしまうらしい、こわい。反省している… [追記ここまで] 計測対象プロダクト memcached v1.4Couchbase v2.0 MongoDB v2.2 (*1)Redis v2.6(*1) MongoDB はRDB並にクエリが書けるくらい機能豊富で、本来こういう比較でもってくるのは不公平なのですが.
Docker と Redis と Spring - garbagetown
TL; DR 職場のウインドーズでも spring-boot したい spring-security したい spring-session したい ウインドーズに redis を入れる気はないので docker で入れる docker-machine 便利 Docker Toolbox 下記 URL を参考に Docker Toolbox をインストールする。インストーラをダウンロードしてデフォルトのまま Enter を連打すればいい。 Installation on Windows Docker 公式ドキュメントのメンテナンスが追い付いていないようで、書いてある通りにやってもうまくいかない、と言うかそもそも書いてある通りに実行できないので、勘と経験と度胸で進める。 まずは docker ホストを作る。ウインドーズはネイティブで docker ホストを実行できないので、Docker Too
moco(beta)'s backup: Redis でロックを実装する (1)
「Redis入門」6.2節「分散ロック」について Redis のトランザクション (Python版) で、WATCH / UNWATCH コマンドを使った簡易な楽観ロックを使いましたが、6.2節では（悲観）ロックの実装方法が紹介されていて、実用的＆面白かったので試してみました。 Redis 自体は（悲観）ロックの機構をもっていないので、排他制御をしたい場合は自前で構築することになります。キーが存在しない場合にかぎり値をセットできる SETNX コマンドを使って、予約したいリソースに応じたキー（全クライアントで共通の約束事）に一意な識別子をセットすることで、セマフォ（Mutex のほうが正確な表現かな？）を実現できます。キーが存在していなかったらユニークな（ロックしたのが自分だと後でわかるようにするため、必ず一意になるようにする）識別子をバリューにセットしてロック獲得成功、キーがすでにあった
Redis::DistMutex - 時限付き分散ロックで効率良くサイトクロールをしよう | 株式会社VASILY(ヴァシリー)
はじめまして。バックエンドエンジニアの吉田です。 2013年5月末の入社以降、大量のEC2インスタンスのVPC移行を担当した後、今はiQONの商品DBを支えるクローラーの改善に取り組んでいます。今回はその改善の1つとして開発したRedis::DistMutexという分散ロック機構のruby実装を紹介をしようと思います。 Redis::DistMutex 開発の経緯や細かい設計の話は後述す...はじめまして。バックエンドエンジニアの吉田です。 2013年5月末の入社以降、大量のEC2インスタンスのVPC移行を担当した後、今はiQONの商品DBを支えるクローラーの改善に取り組んでいます。今回はその改善の1つとして開発したRedis::DistMutexという分散ロック機構のruby実装を紹介をしようと思います。 Redisベースの分散ロック機構 rubyのライブラリにあるMutex互換
moco(beta)'s backup: Redis のレプリケーション (1)
「Redis入門」4章つづき。レプリケーションについて。 Redis は、マスタースレーブ型のレプリケーション機能を提供しています。 1台のマスターは複数台のスレーブをもつことができます。非同期／ノンブロッキングなので、マスター側・クライアント側ともに、レプリケーション中もクライアントからのリクエストを受け続けます（非同期という性質上、ごく僅かですがレプリケーション時のデータロスの可能性はあります）。 また、スレーブは別のスレーブのマスターになることができるので、マスタースレーブの構成を多段にすることで、マスターの負荷を抑えつつ読み出しをスケールアウトすることが可能です。 仕組みについていくつかメモ ※ v2.8 時点 詳細は公式ドキュメントの Replication の項目を参照してください。 スレーブから接続要求（SYNCコマンド）がきたら、マスターは現在のスナップショット(RDB)を
moco(beta)'s backup: Redis Sentinel を動かしてみる (1)
Redis Sentinel は、Redis インスタンスを複数立ち上げて、マスター・スレーブ構成をとる際の、HA周りを支援する仕組みです。2014/5 現在 “beta stage, active development” ですが、プロダクション環境での利用も可能 (already usable) のようです。 Redis Sentinel は具体的に、以下の機能を提供します。 インスタンスのモニタリング（死活監視）Sentinel API による障害通知（※プッシュ通知ではないので要ポーリング）自動フェイルオーバー（マスターのDOWN検知とスレーブのマスター昇格）サービスディスカバリ（≒ 現在のマスターのアドレスはどれか）設定項目など、詳しいことは後回しにして、とりあえずモニタリングと自動フェイルオーバーを試してみたメモ。 【参考】 すでに試している・使っている方がたくさんいますが、日
Redis クイックスタート | TECHSCORE BLOG | TECHSCORE BLOG
こんにちは、鈴木です。 最近、 KVS (Key Value Store) の一つである Redis を使い始めました。 KVS では memcached が有名ですが、それと比較してデータ型が豊富である点や、データの永続化をサポートしている点が Redis の特徴です。 Redis のインストール 現時点で Redis の最新版は 2.6.x ですが、手元の環境でパッケージからインストールしたところ 2.4 系統が入ってしまいました。 最新版を使ってみたかったので、ソースからインストールしました。 まず公式サイトからソースコードをダウンロードし、展開します。 cd /usr/local/src sudo wget http://redis.googlecode.com/files/redis-2.6.12.tar.gz sudo tar xvfo redis-2.6.12.tar.gz
moco(beta)'s backup: [Tips] Python から Redis を使う (1) ~ STRING を操作する ~
==== まえおき ==== 少しきちんとRedisを使えるようになろうと思い、「Redis入門」(「Redis in Action」の日本語訳)を読んでいます。サンプルコードは Python で書かれていますが、何かしらの言語でプログラミング経験があれば、とくにPythonの知識はなくても追えると思います。 1, 2章はRedisの紹介、3, 4章が少し深い説明、5, 6, 7, 8章が（かなり実用的な）応用例、9, 10章がチューニングやスケーリングといった運用の話題、11章がLuaスクリプティングの話題、という構成になっています。 第3章 “Redisのコマンド” を足がかりに、redis-py (公式で推奨されているPythonクライアント) から Redisのコマンドを叩いてみたメモを残しておきます。 なお、redis-py のREADMEにあるとおり、StrictRedis ク
クイックスタート — redis 2.0.3 documentation
クイックスタート¶ このクイックスタートを読めば5分でRedisの使い始め方がわかります。さらにRedisを知りたい方はRedisのドキュメントの見出しを確認してください。
Redisでのbulk処理 - wyukawa's diary
Redisと仲良くなりたいです！って隣の人に言ったら、「障害に遭遇すると良いよ。それも深刻なやつにね。軽いやつだと軽い関係にしかなれないから」って言われたwyukawaです。こんばんは。 軽い関係じゃなくてもうちょっと踏み込んだ関係になりたいと思ってますが、まずは友達からお願いします > Redisさん Redisでbulk処理やりたいってことありますよね。listにあるデータを1つづつlpopするんじゃなくてまとめてがつっとlpopしたいなんて状況です。 今回はrubyからアクセスする例ですので下記を使います。 https://github.com/redis/redis-rb 例えば10万件のデータを1つづつlpopするような以下のコードを試したところ僕の環境(Mac 10.7.5, rbenv+ruby 1.9.3p286, redis-rb 3.0.2, Redis 2.6.2)で
僕のなんとなく思う実践的コードリーディング - 愛と勇気と缶ビール
コードリーディング、というのは他人のコードを読むことだが、一般的にはよいこととされている。なんとすれば、他人のコードを読むことによって自分のそれとは異なる考え方を学ぶことが出来るからである。 が、純粋な勉強目的のコードリーディングというのは（普通の人にとっては）あまり長続きしないものである。コードを読むこと自体が目的になっていて、「全てを理解する」のが最終地点になってしまっているからだ。コードが膨大であればあるほど余さず理解するのには時間がかかりすぎるし、得てして「よし！◯◯のコードをとりあえず読もう！」というモチベーションによって読まれる◯◯のコードは膨大かつ壮大である。漠然としたモチベーションの対象は、常に他者の視線を身にまとっているから。 まあそんなわけで、意味のあるコードリーディングとは そのコードを読んで「何を理解したいか」「何に活かしたいか」が明確である = 比較的はっきりした
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RQ: Documentation Overview
Redis-Sentinelのclient-reconfig-scriptでVIPをつける
Search results for mocobeta-backup
いぬごやねっと
