Amazon SQS を使ったアプリケーションを本番で運用する際に考慮すべき基本的な 5 つのこと
Amazon SQS は可用性やスケーラビリティの高いメッセジキューサービスであり、AWS の代表的なサービスの 1 つと言えるでしょう。ところが、本番の運用に耐えられるアプリケーションにしようと思うと考えることが意外に多いものです。本エントリーでは簡単なサンプルアプリケーションをベースに、本番で運用するために考慮すべき点・注意点について見ていきます。題材として扱うのが SQS なだけで、SQS 以外を使ったアプリケーションにも応用できる内容もあるでしょう。 なお、SQS には Standard queue と FIFO queue がありますが、Standard queue を使う前提とします。 アジェンダは次のとおりです。 サンプルアプリケーション 1. ログ 2. At-least-once delivery と visibility timeout 3. デプロイ 4. 異常系 5
スマートニュースの世界進出を支えるログ解析基盤 #jawsdays #tech
スマートニュースは昨年の 10/1 に米国版をローンチするにあたり、ログ解析基盤のリニューアルを行いました。日本に加えて米国やその他の国が入ってくることにより、単なるユーザ数の増加に加え、OS x 国 x タイムゾーン x 多種多様なメトリクスのような集計軸が増えることで、ログの前処理、集計、可視化に様…
クローラーとAWSが出会ったら？第3回Webスクレイピング勉強会@東京 - プログラマでありたい
2014/10/26に開催された第3回Webスクレイピング勉強会@東京に参加して、発表してきました。今回は、スクレイピングと少し離れてAWSを使ってクローリングするという話です。クローラー／スクレイピングとAWSは相性が良いというのは、昔から思っていたのでテーマとして扱うことは早めに決めていました。しかし、話の構成を、具体的なテクニックの話にするか、概念的な話にするか、少し悩みました。なるべき多くの人に伝わるように、概念的な話をしたつもりです。具体的な部分についてはRubyによるクローラー開発技法を読んで頂ければと思いますw 発表資料 Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス from Takuro Sasaki Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス 資料の構成としては、クローリングする際の悩み
OSXからAmazon Glacierに写真を自動バックアップ
OSXからAmazon Glacierに写真を自動バックアップ 今まで惰性でiPhoto使って写真管理をしてきたが，そろそろ本格的な編集/加工をしたいなと思い，Lightroomに移行した（いずれVSCO Filmを使いたい）．その際，バックアップも外付けHDDからAmazon Glacierに移行した． Amazon Glacierは，Amazonの提供するクラウドストレージで，1GBあたり1円/月で使える．S3と比べて値段は1/10だが，データをダウンロードするには解凍する時間が必要になる．データを頻繁に取り出さないバックアップなどの用途に向いている．また，AWS Command Line Interfaceでファイル同期ができるので，スクリプトを少し書いて自動バックアップの設定も簡単にできる． launchctlを使ってLightroomにぶっ込んだ写真を自動でGlacierにバック
WebサービスStartUP向け AWSスケーラブルな構成例
6. よく聞く”もったいない”トラブル ! サービスが、テレビ番組に取り上げられたが、 急激な負荷で放送中にサーバが落落ちてしまい、 数千⼈人の新規⾒見見込ユーザを逃してしまった… ! サービスが、有名ポータルサイトに掲載され た/SNSでコンテンツがバズったが、アクセ ス集中によるレスポンス低下で、既存ユーザ にも影響が… ! せっかくユーザが増えてきたのに、 DB移⾏行行時のトラブルで⼀一部データをロスト してしまった… 7. CTO/エンジニアの⼼心配 ! 急なメディア掲載とかやめて欲しい… ! アプリエンジニアなのに、ITインフラの管理理 とか無理理/⾯面倒… ! ピークに合わせて、サーバ増設したいけど、 どれくらい増やしていいかわからない…
[AWSマイスターシリーズ] リザーブドインスタンス&スポットインスタンス
1. © 2014 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified or distributed in whole or in part without the express consent of Amazon.com, Inc. AWSマイスターシリーズ リザーブドインスタンス＆ スポットインスタンス編 2013.10.23(2014.4.14改訂) 髙山 博史 安川 健太 2. © 2014 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified or distributed in whole or in part without the expr
![[AWSマイスターシリーズ] リザーブドインスタンス&スポットインスタンス](https://cdn-ak-scissors.b.st-hatena.com/image/square/930e8a3b07afce8ef91947a6fd1f9c2eab21a009/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20131023aws-meister-regenerate-rispotpublic-131025012146-phpapp01-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Netflixはどのように映画をジャンル分けしているか - 不可視点
映像コンテンツのストリーミングといえばNetflix、現在4400万人のユーザー（有料会員）がいる成熟したサービスですが、現在もすごいペースで成長しています。 Netflix、第4四半期決算で大幅増益--加入者数は400万人増 - CNET Japan 利用できる地域は限られますが、日本でもレコメンデーションのコンテストNetflix prizeの開催や、AWSをいち早く活用した企業として知られています。 Netflixは先に紹介したNetfix Prizeでレコメンデーションの性能向上に懸賞金をかけたほど、レコメンデーションがサービスの重要な位置を占めています。 視聴された映画の2/3はレコメンデーション経由らしいです。 Todd Yellin(Vice President of Product Innovation at Netflix)は、「映画をピッタリの人にピッタリのタイミングで
2014年のウェブシステムアーキテクチャ - stanaka's blog
(Monitoring Casual Talk in Kyotoで発表してきたので、ブログエントリにまとめ直しました) 2013年はインフラ周りの技術的な進化が大きく、いくつかのエポックメイキングな概念と実装が産まれました。個人的には特に以下の2つが大きいと思っています。 AWSの本格普及期 DockerとImmutable Infrastructure これらを踏まえて、2014年のウェブシステムの進化の方向性を考えてみます。また、それによるモニタリングへの影響もあわせて考えます。だいぶ長くなってしまったので、急ぐ人は最後に結論をまとめましたので、そちらからどうぞ! 2013年という時代背景 AWSが本格普及期を迎えているのは、言わずもがなのことで、Re:Inventでの246件という膨大のセッション数などにその勢いが表われています。 また、DockerはLXC (LinuX Conta
AWS re:Invent2013【保存版】全セッションを網羅！非公式まとめ | DevelopersIO
11/12〜15に行われたAWS re:Invent 2013に、残念ながら参加できなかった方向けに170を超えるBreakout Sessionsの資料をまとめてみました *1。セッションごとの日本語タイトル(超訳)、公式Webページ、スライド、動画と関連するブログ記事を1ページにまとめています。量が多いので、ページ内検索などでキーワード検索をかけていただくのがオススメです。SlideShare / Youtubeとも徐々に公開されているので、順次追加していきます！ 2013/11/26 16:15 全セッションを掲載しました！ セッション一覧の目次 セッションは分野毎にカテゴライズされており、難易度別に4段階に分けられています。難易度の詳細を知りたい方は、re:Inventのページをご確認ください。 アーキテクチャ(ARC) アプリケーションサービス(SVC) ビッグデータ＋HPC(B
S3とFluentdを用いた効率的なログ管理 | SmartNews開発者ブログ
ゴクロの大平です。 私にとって一番大事で替えの効かないミュージシャンはさだまさしさんですが、私にとってクラウドコンピューティングのサービスの中で一番大事で替えが効かないサービスはS3です。 多種多様なAPIを用いて柔軟にファイルの操作が出来る事や、”99.999999999％”と謳われている高い耐障害性、S3にあるデータをElastic MapReduceやRedshiftなどを用いて手軽にデータ解析を行える基盤が提供されていることなど、あまりに便利すぎてS3の代替となるサービスを探しだすのが難しい状態です。 もちろん多くのAWSユーザーが同じようにS3の便利さを享受していると思いますし、インターネット上でも多くのブログ等でその魅力が語られています。その中で本記事は既に存在する記事と似たような内容を書いてしまうかもしれませんが、弊社なりのS3の使い方についてご紹介したいと思います。 なお
Hadoop vs MPPデータベース
Kazuki Ohta @kzk_mover MPP DBとして古参のSybaseIQは15年以上存在しており、値段感も手頃な奴もある。対してHadoopを使ってる人は理由があるし、安くて手軽なMPPデータベースが出てきたから安易にHadoopからそちらに移るのはシステムのPros/Consを正しく理解していなかったケース。 Kazuki Ohta @kzk_mover Twitter/Evernote/Netflixを見ていると、生の非構造化データをとにかくHadoopに貯め、MRで構造化したデータキューブをMPPDBに入れ低レイテンシで解析するのが勝ちパターン。大企業では全データソースのスキーマをIT部門が管理するのは困難もしくは不可能。
AWS Redshift: How Amazon Changed The Game –
Standard data warehouse table setup. About a dozen numeric columns per table. The largest table (impressions) is 100x larger than the next biggest table (clicks), and 5000x larger than the smallest table (conversions). All tables sorted by date and by user id (SORTKEY), distributed by user id (DISTKEY). Two types of queries. (pardon the pseudo-SQL, see Appendix for full queries) SELECT keys, aggre
クラウドだけどプライベートさえあれば関係ないよねっ - サーバーワークスエンジニアブログ
アマゾンさんが入っているビルのエレベータがあのダンボール風って本当ですか？ わたし、気になります！ 具体的には遊びに行かせて下さい！ このダンボールでお馴染みのアマゾンさん、利用したことがないという方はほとんどいらっしゃらないと思います。 このアマゾンさんがクラウドサービスもやっていることは御存知ですか？（御存知ない方が意外にいらっしゃいます） 「クラウドをやっていることは分かった。でも、サーバを立てたら公開されちゃうんだろ？」 いえいえ。アマゾンさんのクラウド（AWS）は、「私しか使えないクラウド」、プライベートなクラウドを作ることができるんです。 「データセンタを借りて、サーバを買って、プライベート・クラウドを作るぞ」と息巻く前に、下記の『続きを読む』をクリックして続きをお読み頂ければと思います。 ５分程度で読めます。AWSでもプライベート・クラウドができるとお分かりいただけると思いま
Amazonクラウドを襲った嵐が、EC2、EBS、ELB、RDSの障害に発展した理由（後編）
米国で6月29日の夜に発生したAmazonクラウドのトラブルは、InstagramやFlipboard、Netflixなど有名なサービスにも影響を与えました。国内のサービスでもいくつか影響を受けたところがあったようです。 Amazonクラウドがこの障害について詳しく報告した「Summary of the AWS Service Event in the US East Region」のポイントを追っていきましょう。 （本記事は「Amazonクラウドを襲った嵐が、EC2、EBS、ELB、RDSの障害に発展した理由（前編）」の続きです） Amazon ELBが受けた影響と対策 今回の障害でもっとも影響が大きかったのが、ロードバランシング機能を提供するELBです。報告書では、ELBの障害の影響は複数のアベイラビリティゾーンにわたり、その原因が未知のバグにあったことが記述されています。以下、報告書
Amazonクラウドを襲った嵐が、EC2、EBS、ELB、RDSの障害に発展した理由（前編）
米国で6月29日の夜に発生したAmazonクラウドのトラブルは、InstagramやFlipboard、Netflixなど有名なサービスにも影響を与えました。国内のサービスでもいくつか影響を受けたところがあったようです。 今回のトラブルの発端は電源障害でした。嵐によって一時的に電源に障害が発生し、UPSに切り替わったもののUPSが電力を使い果たした結果、一部のデータセンターが稼働を停止しました。 この電源障害による直接の影響は全体の数％だったものの、これが引き金となって仮想マシンの「EC2」、ストレージの「EBS」、ロードバランシングの「ELB」、データベースサービスの「RDS」などにおいてソフトウェアや運用まわりでの問題が相次いで発生。一部で複数のアベイラビリティゾーンに影響する障害へと発展しました。 今回は複数のアベイラビリティゾーンに影響があり、その上6月中旬にも電源まわりのトラブル
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://jp.techcrunch.com/2015/09/30/soracom-launches-mvno-service-for-iot/
AWSでのビッグデータ分析
Wantedly on AWS #ctonight
AWSからのメール送信