AWSでジョブWorkerを構成するベストプラクティス 〜 Beanstalk worker tierの巻 | DevelopersIO
よく訓練されたアップル信者、都元です。先日、AWSでジョブWorkerを構成するベストプラクティス 〜 SQSの巻として、SQSを使ったスケーラブルなジョブWorkerアーキテクチャをご紹介しました。人間相手のHTTPリクエストの間に完了させるには長すぎるジョブを実行したい場合は、とりあえずSQSに投げて非同期に処理させよう、という仕組みです。 投げる側は、Javaであればこんな感じですね。キュー毎にURLがあるのでそれを指定して適当なメッセージ（本来はJSONなんかが良いんだと思います）を投げ込みます。 sqs.sendMessage(new SendMessageRequest(QUEUE_URL, "foobar")); Worker側としては、こんな感じでメッセージを受信しては処理して削除、というのを繰り返せばよいです。 while (true) { ReceiveMessageR
AWSでジョブWorkerを構成するベストプラクティス 〜 SQSの巻 | DevelopersIO
よく訓練されたアップル信者、都元です。AWSでシステム構築をする場合は、Design for failureという考えに基いて、複数AZにまたがる形の冗長構成を組むのがベストプラクティスです。さらに、このように分散させた各インスタンスには、出来る限りマスターを作らない、つまりSPOFとなるインスタンスを避ける構成であるのが理想です。 という話題については以前AWSにおける可用性の考え方というエントリーでも書きました。 可用性 (availability) と拡張性 (scalability) 本題はジョブWorkerですが、WebサーバやDBサーバの可用性と拡張性を先におさらいしておきましょう。 Webサーバ この考えで構築する最も基本的な構成が、Webシステムにおける ELB + Webサーバ の構成です。この構成マルチAZと呼び、片方のAZが丸ごとダウンしたとしても、サービス自体はダウ
サーバ構築・デプロイが簡単に！Elastic beanstalk
11. 準備 (winユーザ） ・AWS Elastic Beanstalk Full Access 権を持つIAMユーザを 作成し、セキュリティクレデンシャルをダウンロード ・下記を作業PCにインストール - git - ruby - AWS Elastic Beanstalk Command Line Tool → zip解凍後、ebコマンドのパスを環境変数に設定 12. 準備 (winユーザ） ・AWSDevTools-OneTimeSetup.batを実行 ・ソースコードのディレクトリに移動して、git init を実行 ・AWSDevTools-RepositorySetup.batをソースコードの ディレクトリにコピー ・AWSDevTools-RepositorySetup.bat を実行する。 → システムごとに実行すること。
[AWSマイスターシリーズ] AWS Elastic Beanstalk -Python編-
1. AWSマイスターシリーズ Reloaded AWS Elastic Beanstalk Python編 アマゾンデータサービスジャパン株式会社 2012.12.17 © 2012 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified or distributed in whole or in part without the express consent of Amazon.com, Inc. 2. Agenda Elastic Beanstalkとは? • Elastic Beanstalkの概要 • 最近のアップデート、追加された機能をご紹介 仕組み • 技術的な仕組みを解説 Python環境について • Python利用に特化した環境関連など 開発ワークフロー
![[AWSマイスターシリーズ] AWS Elastic Beanstalk -Python編-](https://cdn-ak-scissors.b.st-hatena.com/image/square/8a4e72eb831e5711e6d2f9bc022990074c7348a2/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20121217aws-meister-reloaded-awselasticbeanstalk-pythonpublic-121224234209-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
ElasticBeanstalkのログ保存方法
こんにちは、cloudpackの 今岡 です。 AWS Elastic Beanstalk(以降EB) 標準で入っているロギング機構についてまとめておきます。公式ドキュメントにも記載が少ないので、難儀しました。注意点とて、EBのバージョン次第で詳細な数字が変わっています。(例えば10MBのローテーションは、以前は30MBでした。ファイル名も変わってます)よって、ある程度わかってらっしゃる人向けのネタになってますので、その点よろしく。 ログの種類 EBには4種類のログがあります。 bundle-log マネジメントコンソール(以降MC)のebの画面から取得できるログです。ユーザーが取りたいときに 能動的に取る ログとなります。Fullを指定した場合はこちら。 tail-log マネジメントコンソール(以降MC)のebの画面から取得できるログです。こちらも能動的取るログですが、bundlelo
クローラーとAWSが出会ったら？第3回Webスクレイピング勉強会@東京 - プログラマでありたい
2014/10/26に開催された第3回Webスクレイピング勉強会@東京に参加して、発表してきました。今回は、スクレイピングと少し離れてAWSを使ってクローリングするという話です。クローラー／スクレイピングとAWSは相性が良いというのは、昔から思っていたのでテーマとして扱うことは早めに決めていました。しかし、話の構成を、具体的なテクニックの話にするか、概念的な話にするか、少し悩みました。なるべき多くの人に伝わるように、概念的な話をしたつもりです。具体的な部分についてはRubyによるクローラー開発技法を読んで頂ければと思いますw 発表資料 Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス from Takuro Sasaki Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス 資料の構成としては、クローリングする際の悩み
IAMユーザーがS3で特定のバケットのみにアクセスするポリシー
IAMで新規ユーザ作成。Access KeyとSecret Access Keyを保存 S3でバケットを作成（バケット名をBUCKET-NAMEとする） ユーザーポリシーの設定で { "Statement": [ { "Action": [ "s3:ListAllMyBuckets" ], "Effect": "Allow", "Resource": "arn:aws:s3:::*" }, { "Action": "s3:*", "Effect": "Allow", "Resource": ["arn:aws:s3:::BUCKET-NAME", "arn:aws:s3:::BUCKET-NAME/*"] } ] } BUCKET-NAMEバケットにはフルアクセスを与えるのに加える。 CloudBerry Explorerなどのクライアントソフトでは、ログイン後、バケットの一覧表示が必要な
Kuromojiで日本語全文検索 – AWSで始めるElasticSearch(1) | DevelopersIO
はじめに 初めまして、ブロガーとして出張してきました@smokeymonkeyです。 今回、AWS上にElasticSearchを導入し、試行錯誤した結果をまとめてみました。シリーズものとして何度か続けていきたいと思いますので、どうぞ宜しくお願い致します。 ElasticSearchとは Apache v2ライセンスで公開されているオープンソースソフトウェアであり、全文検索エンジンであるLuceneを使用した、全文検索システムです。特徴として RESTfulなAPIが使える InputもOutputもJSON スキーマフリーなので面倒な定義無しにデータを登録可能 等があります。 Kuromojiとは Kuromojiはatilika社製のJavaで書かれた日本語形態素解析ソフトウェアで、Apache v2ライセンスで公開されているオープンソースソフトウェアです。形態素解析としてはChaSe
AWS News Blog
Announcing Amazon Managed Service for Apache Flink Renamed from Amazon Kinesis Data Analytics Today we are announcing the rename of Amazon Kinesis Data Analytics to Amazon Managed Service for Apache Flink, a fully managed and serverless service for you to build and run real-time streaming applications using Apache Flink. We continue to deliver the same experience in your Flink applications without
NewrelicでAWS環境のメトリクスをカジュアルに共有してみる | RCO Ad-Tech Lab Blog
はじめまして、エンジニアのくさまです。 主にインフラを担当しております。 僕の自己紹介はさておき、僕たちRCOアドテク部ではほぼ全てのシステムが AWS(Amazon Web Services)環境にて稼働しています。 また、僕たちはアプリエンジニアやインフラエンジニア、ITプランナー、 はたまたデータサイエンスなメンバーも同じグループに所属しており、 お互いに協力してオンライン広告サービスの開発や運用をしている体制(のはず)です。 で各メンバーの間で、システムの統計情報を同じ視点で共有し、 今サービスで何が起こっているのかを素早く俯瞰するために利用している New Relicについての記事を投稿させて頂きます。 New Relicにて出来ることは、 End User Monitoring Application Monitoring Database Monitoring Infrast
Fluentd、Amazon RedshiftとTableauを用いたカジュアルなデータ可視化 | SmartNews開発者ブログ
ゴクロ改め、スマートニュース株式会社の大平です。 巷間では「bigdata」の活用が叫ばれて久しいですが、弊社はまだまだ小さい規模のスタートアップのため少なくともデータサイズとしてhugeなdataの活用が行える環境ではありません。 であればデータの活用に対する要求が低いか、というとそうでも無く、サービスサイドでも自然言語処理や機械学習を中心としたデータ解析処理がサービスの生命線となっていますし、サービスの裏側でも戦略を立てる上で効果測定や諸々のデータの分析は非常に重要な位置を占めています。 本記事では主にサービスの裏側で求められるデータ解析において、いかにカジュアルにデータを解析するか、の一例として、掲題のような組み合わせによるデータ可視化の事例を簡単にですがご紹介したいと思います。 データ解析基盤を作る側の視点からすると、システムとして求められる要件は以下のようなものだと理解していま
Amazon EC2のデータ転送量と課金まとめ
はじめに クラウドサービスの代名詞でもあるAWS(Amazon Web Services)が待望の東京リージョンを開設してしばらく経ちました。我々Scutum(スキュータム)はSaaS型のWAF(Web Application Firewall)サービスであるため、AWSのEC2のようなIaaS型のインフラ上に積極的に展開をおこなっています。本エントリではその際にポイントとなる、EC2でのデータ転送量への課金について調べてみました。 (クリックで拡大します) このエントリの内容はオフィシャルのウェブページやインターネット上の情報を元にしたものであり、実情と異なっている可能性もあるのでご注意ください。また、価格は東京リージョンのものとなっています。 AWSの複雑な課金体系 AWSの特徴のひとつとして、課金の仕組みが非常に複雑であることが挙げられます。これは高いオンデマンド性を実現するために仕
料理を楽しくする画像配信システム
The document describes TOFU (Tofu on the Fly), a system for dynamically generating and caching image thumbnails on Amazon S3. It works by installing an Apache module that generates thumbnails using ImageMagick when images are requested, then caches them on S3 for future requests. This avoids hitting application servers for every image and provides scalability. The document discusses the TOFU archi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
設定ファイルでAWS Elastic Beanstalkをカスタマイズする
agilecatcloud.com