Go と Ruby と Amazon SQS と ElastiCache で分散して動かせるクローラを書いてみた - Qiita
Go と Ruby と Amazon SQS と ElastiCache で Ranunculus というクローラを書いてみました。 正確には書きかけなのですが、もう日曜日が終わってしまうので、とりあえずまとめておくことにします。 Ruby Gem https://rubygems.org/gems/ranunculus その Gem のコード https://github.com/k-kawa/ranunculus-ruby Go のコード https://github.com/k-kawa/ranunculus なんで作ろうと思ったのか 理由は 3 つあります。 1 つめは、Ruby で使えるよいクローラが見つからなかったからです。 Python には Scrapy という、クローラのためのいたれりつくせりなライブラリがあります。 ところが、Ruby にはそういういい感じのライブラリが
[AWS]マルチAZなElastiCache Redisの永続性についてメモ
Redis のデータを永続化させるには RDB : point in time スナップショット AOF : write ahead logging(WAL) の2種類の方法がある。 AWS ElastiCache Redis で Multi-AZ かつ自動フェイルオーバーなレプリケーショングループを組んでいる Redis での動きをメモ。 このようなレプリケーショングループの作り方は次のURLを参照 http://docs.aws.amazon.com/AmazonElastiCache/latest/UserGuide/AutoFailover.html Redis の RDB と AOF について RDB について RDB は point-in-time にダンプしたファイル。 通常の Redis であれば SAVE または BGSAVE(バックグランドで非同期に処理)コマンドで作成
![[AWS]マルチAZなElastiCache Redisの永続性についてメモ](https://cdn-ak-scissors.b.st-hatena.com/image/square/f89364494334a0ad0647d351c5de4203e9c9c4bf/height=288;version=1;width=512/https%3A%2F%2Fsiguniang.files.wordpress.com%2F2015%2F02%2Fmodify-replication-group.png)
AWS データベースサービスの自動バックアップ設定まとめ | DevelopersIO
データベースといえば、一般的に避けては通れないのがバックアップ運用です。 AWSで提供されているサービスで「データベースサービス」にカテゴライズされるもののうち、RDS、Redshift、ElastiCache(※Redisのみ)については自動バックアップ(自動スナップショット)の機能が提供されています。この機能を使えば基本的にはバックアップ運用をAWSにお任せできるのですが、バックアップサイクル等の設定についてはサービス毎に差異があります。 運用をAWSにお任せできるとはいえ、その仕様を把握しておかないといざリカバリをしようとした際に意図したリカバリポイントまで復元ができない、などという事態が発生する可能性があります。 ということで、今回は各データベースサービスの自動バックアップの設定について、バックアップサイクル、バックアップ開始時刻、バックアップ保持期間の3つの観点でまとめてみました
ElastiCacheをCloudWatch+fluentd+Zabbixで監視する | feedforce Engineers' blog
ご無沙汰しております。増田でございます。 先日2日にはゼノブレイドが発売され、今月23日にはブレイブリーセカンドが発売されます。 そんな忙しい中、みなさんいかがお過ごしですか。 KyotoTycoonからElastiCacheへの移行 今まで弊社のソーシャルPLUSでは、RailsのセッションストアとキャッシュサーバにKyotoTycoonを使っていました。 しかし、KyotoTycoonはRails4でmemcachedを使うために必要なdalliから使えません。バイナリプロトコルをフルサポートしていないためだと思います。 そのため今週月曜日にAWS ElastiCacheに移行しました。 KyotoTycoonは他にも以下のようなツラミがありました。 開発が止まっている KyotoTycoonが稼働するEC2インスタンスを自前で用意し、運用する必要がある レプリカと合わせて2台構成 サ
Webアプリケーション負荷試験実践入門
2015年2月24日 ヒカ☆ラボ発表資料 Webアプリケーション負荷試験実践入門 ■スライドの目的 負荷試験の重要性を認識して頂く 意味のある負荷試験を最短距離で行うための“段取り”を持ち帰って頂く 内容的には、主にAWS上のLAMP構成のシステムに対する負荷試験ですが、負荷試験ツールに依存しない全般的に通用する話を扱っています。Read less
mcrouterでElastiCache(memcached)を分散レプリケーションする | DevelopersIO
はじめに 先日9月15日、Facebookが開発した「mcrouter」がバージョン1.0として公開されました。mcrouterはmemcachedプロトコルをルーティングするソフトウェアで、クライアントとmemcachedサーバの間に立ってクエリをルーティングする仕組みになっています。このmcrouterを使うことで分散キャッシュシステムが構築出来ることになります。Facebookでは実際にインフラで導入しているそうです。 ElastiCache(memcached)では、Auto Discoveryを使ってノードをクラスタリングすることは出来ますが、キャッシュデータのレプリケーションは出来ません。しかしこのmcrouterのReplicated poolsを使うことで、ノード間でキャッシュデータを同期させることが出来ます。 そこでmcrouterを使って、分散配置したElastiCac
COOKPAD Review of New Features in ElastiCache for Redis - クックパッド開発者ブログ
Japanese Version: ElastiCache for Redisの新機能をためしてみた - クックパッド開発者ブログ Hello! Hoshino(@con_mame) here, with the infrastructure team at COOKPAD. We use AWS to run our services. Currently we are using Memcached and Redis for various kinds of caching. With an increased diversity of applications and access rate, however, the number of instances for these caching servers has also grown, increasing our admin
Zabbixサーバーの負荷を圧倒的に下げた話 - サーバーワークスエンジニアブログ
初めまして今年入社した長谷川です。 新入社員として最初の仕事である、Zabbixサーバの負荷を下げた話を書きたいと思います。 実はこのプロジェクトは、まだ新人研修を行っている入社１ヶ月目の時に、Rubyが得意？という理由でアサインされ、１週間で構築と実装しました。以上自慢です。 構築したシステムは、CloudWatch経由でしか監視ができないRDSやSQSなどのサービスのメトリクス（監視データ）を大量にZabbix取り込む場合の解決方法の一つだと思います。今後同じ問題に直面した方々の参考になれば幸いです。 従来のシステムの状況 従来のシステムは、Zabbixサーバがインストールされている1台のEC2インスタンスが、CloudWatchから値を取得しているだけのシンプルな構成でした。 ZabbixサーバーはCloudWatchから各サービスのメトリクスを取得するRubyスクリプトを実行し、そ
ElastiCache for Redis snapshot - Speaker Deck
4OBQ4IPUͰอ࣋͞ΕΔใσʔλͷ༰ͱ4OBQ4IPUऔಘΛߦͬͨOPEF λΠϓͰ͋Γɺ4FDVSJUZ� (SPVQ3FQMJDBUJPO� (SPVQҾ͖ܧ͕Εͳ͍ Կ͔ো͕ൃੜͯ͠ɺ4OBQ4IPU͔Β෮ؼͤ͞Δ߹Ұ୴ผ໊Ͱ�ͭ .BTUFS� OPEFΛ࡞͠ɺ3FQMJDBUJPO� (SPVQͳͲΛ࡞ɺ4FDVSJUZ� (SPVQ ͷద༻Λߦͳ͏ ͞Βʹɺ&OEQPJOU� 63-͕৽͍͠ͷʹͳΔͷͰɺΞϓϦέʔγϣϯͷઃ ఆͳͲΛม͑Δඞཁ͕͋Δ ͜ͷลΓɺطଘͷ&OEQPJOUʹ4XBQͯ͘͠ΕΔػೳ͕͋Δͱߋʹศརͩ ͱࢥ͍ͬͯ·͢ɻ ͜Εͷճආํ๏ͱͯ͠ɺ3PVUF��ͳͲ%/4ʹ$/".&Ͱผ໊Λ͚͓ͯ ͖ɺ&OEQPJOUΛઃఆ͢Δͱ%/4ϨίʔυͷมߋͰҰԠରԠग़དྷ·͢ ͕ɺεϚʔτͰͳ͍Ͱ͢ɻɻ
ElastiCache for Redisの新機能をためしてみた - クックパッド開発者ブログ
インフラストラクチャー部 星野(@con_mame)です。 クックパッドでは、AWSを活用してサービスを行っています。 現在クックパッドでは、各種キャッシュにMemcachedやRedisを使用しています。 しかし、用途の多様化やアクセス数の増加などでこれらのサーバのインスタンス数が増加し管理コストが増加してきています。 特にRedisサーバのインスタンス数が増加しており、AWSのサービスの中でもキャッシュのサービスを提供しているElastiCache for Redisへの置換えを検討しています。 ElastiCache for Redisは、一部管理系のコマンドがrenameされており使用出来ませんが、通常のRedisと同じ物で、現在Version 2.6.13と2.8.6が使用出来ます。 SlaveにあたるものはReplication Groupという形で指定でき、Replicati
PHPアプリケーションのセッション管理にAWS ElastiCacheを使う | DevelopersIO
こんにちは。望月です。 AWS上でシステムを構築する上で、「AWSのお作法に従う」のは印象以上に重要です。お作法に関しては色々とあるのですが、 *1その中でも一番大きいのは「サーバーは故障するものという前提で設計する」ことにあると思います。例えば、以下の様な点です。 WebサーバやAPサーバなどはロードバランサを介して冗長化し、単一障害点ではなくす 保管する必要のあるデータは全てS3に保管するか、EBSスナップショットを取得する等のバックアップを実施する DBはRDSをできるだけ利用することで、Multi-AZによる障害時自動フェイルオーバーによるサービス継続を実施する 上記１番目の「Web/APサーバの冗長化」ですが、オンプレミスからの移行の際にはこれへの対応が結構大変だったりします。例えば、アプリケーションからローカルのファイルを読み書きするような処理が入っている場合、そのファイルを両
elasticsearch クラスタを EC2 上に構築する - ようへいの日々精進XP
はじめに elasticsearch クラスタを EC2 上に構築してみてクラスタ構築の手順について整理する 既に稼働しているクラスタにノードを追加する手順についても整理する 参考 ElasticSearch入門 Cluster機能を使う – AWSで始めるElasticSearch(2) elasticsearch on ec2 クラスタ構築の手順 ノード間でクラスタ名をあわせる elasticsearch は基本的にノード間でクラスタ名を同じ名前にしておくと勝手にクラスタ構成を組んでくれる。 cluster.name: mycluster-test どうやって仲間を見つけるか？ クラスタ内の仲間を見つける場合、elasticsearch.yml に以下のように書かれておりデフォルトでは Multicast を使って仲間を見つける。 Discovery infrastructure en
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redis on EC2
conma.me