AWSでジョブWorkerを構成するベストプラクティス 〜 Brianの巻 | DevelopersIO
よく訓練されたアップル信者、都元です。ここまで「AWSでジョブWorkerを構成するベストプラクティス」と題して2本の記事を書いてまいりました。SQSの巻では、バックグラウンドジョブの実行にはSQSを使ってスケーラビリティを確保しようという、下図中の中段の話をしました。続いてBeanstalk worker tierの巻では、Workerの実装方法として、図中の下段の話をしました。今回は、上段の話です。 ジョブスケジューリング ここまでの話では「ジョブは、ユーザからのWebサーバへのリクエストに伴って発生する」という暗黙の前提で進めてきました。具体的には動画のエンコーディングや、少々時間の掛かる集計処理等をイメージして頂いたと思います。 しかし、ジョブというのは「ユーザのリクエスト」に起因して発生するばかりではありません。ユーザからのリクエストに関わらず「定期的な繰り返し」という、スケジュ
NATインスタンスで通信元インスタンスによって接続元IPアドレスを切り替える | DevelopersIO
はじめに AWSで、外部からのアクセスを遮断、あるいは外部へのアクセスを制限することを目的に、外部への通信経路を持たないプライベートサブネットを作成するパターンがあります。この場合プライベートサブネットに配置したインスタンスは外部へ一切通信が出来ないため、ミドルウェアのアップデートや外部サービスとの通信などは、外部アクセスが可能なパブリックサブネットに配置したNATインスタンスを経由するように設計します。 しかし、場合によっては通信元のインスタンスによって、外部に接続する際の接続元のグローバルIPアドレスを切り替えたい場合があります。例えば外部サービスにて接続元グローバルIPアドレスにより振り分けを行っていて、接続元グローバルIPアドレスが全て同じだと正常動作しない場合などです。 この「NATインスタンスで、通信元インスタンスによって、接続元のグローバルIPアドレスを切り替えたい」というw
AWSでジョブWorkerを構成するベストプラクティス 〜 SQSの巻 | DevelopersIO
よく訓練されたアップル信者、都元です。AWSでシステム構築をする場合は、Design for failureという考えに基いて、複数AZにまたがる形の冗長構成を組むのがベストプラクティスです。さらに、このように分散させた各インスタンスには、出来る限りマスターを作らない、つまりSPOFとなるインスタンスを避ける構成であるのが理想です。 という話題については以前AWSにおける可用性の考え方というエントリーでも書きました。 可用性 (availability) と拡張性 (scalability) 本題はジョブWorkerですが、WebサーバやDBサーバの可用性と拡張性を先におさらいしておきましょう。 Webサーバ この考えで構築する最も基本的な構成が、Webシステムにおける ELB + Webサーバ の構成です。この構成マルチAZと呼び、片方のAZが丸ごとダウンしたとしても、サービス自体はダウ
AWS Elastic BeanstalkでDockerコンテナをデプロイしてみた | DevelopersIO
ども、大瀧です。 本日、AWS Elastic BeanstalkでDockerコンテナがサポートされました(AWS公式ブログの記事)。 超簡単&高速でDocker on EC2+ELBの構成が組めるとんでもない機能です！ ひとまず、試してみた様子をレポートします。 手順 AWS Management ConsoleでElastic Beanstalkの管理画面を表示します。既存のBeanstalk構成がなければ、新規アプリケーションの作成画面になるので、[Select a Platform]から「Docker」を選択し、[Launch Now]をクリックします。 早速Beanstalkのスタック構成として、ELB(ロードバランサ)とDockerインストール済みのEC2インスタンス1台が起動します。[Health]の表示が「Green」になるまで待ちましょう。 続いて、Dockerコンテナ
AWS上にLAMPのBlue-Green Deployment環境を構築する | DevelopersIO
よく訓練されたアップル信者、都元です。 先週土曜日にJAWS DAYS 2014でお話したCloudFormationセッションの一節で、Blue-Green Deploymentを実現するLAMP環境について触れました。この「Blue-Green Deployment」という言葉の出どころは、私の尊敬する人でもあるMartin Fowler氏の記事 BlueGreenDeployment（2010年） のようです。 Blue-Green Deploymentとは TODO…じゃなくてｗ（自分で傷口を抉る） 要するに、2つの独立したアプリ動作環境（要するにサーバ群）を用意して、それぞれをBlue, Greenと名づけます。そして、ここでは現在Blueがライブ（ユーザに提供中の本番環境）であるとします。 リリース時には、Green側に新バージョンのアプリをデプロイして動作確認を行います。問題
RDSのdb.m1系もdb.m3系に乗り換えたほうがおトクですよという話 - yoshidashingo
cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 db.m3系がローンチしてますので、2014/3/5時点の RDS for MySQL(Multi-AZ) のお値段 (Tokyo/オンデマンド) 比較をしてみます。 参照したのは以下の3つのページ Amazon RDS Features | Cloud Relational Database | Amazon Web Services 特徴 - Amazon RDS | AWS 料金 - Amazon RDS | AWS また、RDS for MySQL において PIOPS指定可能な範囲は 1000〜30000（db.cr1.8xlarge のみ 20000 まで実現※30000指定は可能） です。 micro,smallレンジ タイプ.サイズ vCPU ECU RAM IO性能 PIOPS最適化 時間
AWS News Blog
AWS Weekly Roundup – AWS AppSync, AWS CodePipeline, Events and More – August 21, 2023 In a few days, I will board a plane towards the south. My tour around Latin America starts. But I won’t be alone in this adventure, you can find some other News Blog authors, like Jeff or Seb, speaking at AWS Community Days and local events in Peru, Argentina, Chile, and Uruguay. If you see […] New – Amazon EC2 H
IAMによるAWS権限管理運用ベストプラクティス (2) | DevelopersIO
よく訓練されたアップル信者、都元です。前回（昨日）はAWSのクレデンシャルとプリンシパルを整理し、「開発運用スタッフ」が利用するクレデンシャルについてプラクティスを整理しました。今回はAWS上で稼働する「システム」が利用するクレデンシャルについてのプラクティスを整理しましょう。 システムが利用するクレデンシャル システムが利用するとはどういうことかといいますと、要するに「ユーザがアップロードしたファイルをS3に保存する」だとか「S3バケットに保存されたファイル一覧を取得して表示する」だとか、そういう操作をするシステムを作ることです。このようなシステムでは、APIキーを利用しますね。 AWSのAPIキーには、これもまた大きく分けて2種類があります。 long lived credentials （永続キー） short lived session credentials （一時キー） 皆さん
Amazon Redshiftで使えるPostgreSQL管理ツールを幾つか試してみた | DevelopersIO
新年あけましておめでとうございます！しんやです。今年もよろしくお願いしますと言う事で2014年1発目のエントリです。 本日1/6は仕事始め。社内での全体朝礼の後、社員皆で秋葉原の弊社から10分程歩き、神田明神へ参拝に行ってきました。 神田明神 - Wikipedia 神田明神｜東京都千代田区外神田2-16-2 当初、10分程ちょちょい〜と歩いて、15分程軽くお参りしてそのまま帰ってくるのかな〜、という位のノリだったのですが、付近まで来てみると...予想以上の、想像以上の人の列!! 列の最後尾は緩やかな坂の下まで続いておりました。そして鳥居の辺りからは一面びっしり人の波。 参拝後は逆サイドから回って鳥居入り口まで戻り、来た道を帰って行ったのですが、正直ここまでの混雑、正直神田明神を甘く見てました...神田明神パネぇ!! さて、ここから本題。Amazon Redshiftにアクセス出来る専用ツ
AWS EC2スポットインスタンスに固定IPを振り当ててみた | AMoAd オフィシャルブログ - Tech on top -
はじめまして。インフラエンジニアの山本です。 唐突ですが、みなさんAmazon Webはじめまして。インフラエンジニアの山本です。 唐突ですが、みなさんAmazon Web Servcie(以下AWS)でスポットインスタンスは利用されていますか？ 詳細についてはAWS公式ページをご覧頂きたいと思いますが、スポットインスタンスはEC2インスタンスをオークション制によって安価に購買できるサービスです。もちろん、時価が指定した最大入札価格を上回ってしまった場合には中断されてしまうデメリットもありますが、一時的にでも安価に大量なコンピューティングを提供してもらえる事こそクラウドサービスの最大のメリットだと考えています。 ところで、VPCの登場によりEC2インスタンスにプライベートIPアドレスを固定で割り振る事ができるようになりましたが、スポットインスタンスの生成時にIPアドレスを指定する項目が無い
route53をAWS CLIで切り替える～マネジメントコンソールも使えないこんな世の中じゃ～ | Engineer's Blog
12/23（月） 16時前にただならぬアラートが来だした。 影響ドメイン等からcloudfrontの可能性を疑い、twitterで検索すると、やはりそうらしい。 急いで家に帰り、キャッシュのパージ等を試してみるも、復旧しない。 nslookupをすると、結果が返ってきたり、返ってこなかったり、遅かったり。 どうやら、cloudfrontのドメインがroute53で引けなくなっているようだ。 上司に相談し、cloudfront経由のドメインをオリジンサーバへ向けることにした。 しかし、AWSのマネジメントコンソールもcloudfrontを使っているらしく、死んでいる。画面が真っ白だ。 自分の頭も一瞬真っ白になった。 すこしうろたえたが、AWS CLIで切り替えればいいかと思いついた。 ちょうど自分のサーバにインストールしてあるし。 備忘も兼ね、簡単な使い方を残しておく。 ゾーンIDの確認
#11 MySQL Master HA を AWS で動作させる場合のフェイルオーバー支援ツール MHA::AWS のご紹介 - KAYAC engineers' blog
こんにちは、@fujiwara です。 2013年を振り返ると、春の新卒研修での社内ISUCON、秋のISUCON予選と本選でずっとISUCONをやっていたような気がしていまして、さてそれ以外になにか……そういえばインフラ回りの仕事もしていましたね。 カヤックのサーバインフラ全体としては、Amazon Web Service(AWS) への移行が進んだ1年でした。いままで自社サーバでやっていたソーシャルゲームや、比較的アクセスが多いとある自社サービス(これは後ほど事例公開されるかも知れません) を、AWS上で構築したり移行したり、という仕事が多かったです。 AWSでサービスを構築する場合、MySQL については RDS を利用する EC2 インスタンス上に MySQL サーバを稼働させる というどちらかの手段を取ることになります。 RDSはフェイルオーバーやバックアップを自動でやってくれま
クラウドエンジニアに贈る、構築・運用が捗るAWSのBGM10選 - yoshidashingo
AWS re:Invent 恒例となった re:Play Party。今年はdeadmou5がDJを務めました。高額だったろう出演料を考慮すると、Intelってやっぱスゴいんだなと思わざるを得ません。 さて、日本のポップシーンにも完全に浸透したEDM。代表的なところでは、安室奈美恵が今年リリースしたアルバム「FEEL」は日本のシーンにおけるEDMの集大成と言って過言ではない内容だったと思います。 FEEL (ALBUM+Blu-ray) (特典ポスター無) アーティスト:安室奈美恵Dimension PointAmazon そこで今日は AWS エンジニアに贈る Techno,Breaks,House,Electronica ジャンルから、今すぐクラブでプレイしても恥ずかしくない、"AWSな"BGMを選んでみました。これらの曲をプレイリストにしておけば、来年 re:Play Party の
【AWS】VPC環境の作成ノウハウをまとめた社内向け資料を公開してみる | DevelopersIO
よく訓練されたアップル信者、都元です。今回のお題は久しぶりにVPCです。 この記事は、アップデート版が存在します。最新情報は【AWS】VPC環境構築ノウハウ社内資料 2014年4月版を参照してください。 VPCを利用する理由 弊社で構築するAWSのサーバ環境は、一部の例外を除いて全てVPCを利用しています。 突然ですが、筆者はあまり大規模なシステムに携わった経験がありません。大規模なプロジェクトだと「数百数千台のサーバがラッキングされ、それが論理的なネットワークで区切られていて」「複数のデータセンターが冗長化された専用線で結ばれて」等、正直ちょっと想像つかない世界があるんだと思います。よくわかんないですが。 (c)John McStravick. (CC BY 2.0 Licensed) 逆に、小さなシステムであれば、月々数万円でレンタルサーバを借りて「1台のマシンの中にWebサーバとDB
Fluentd、Amazon RedshiftとTableauを用いたカジュアルなデータ可視化 | SmartNews開発者ブログ
ゴクロ改め、スマートニュース株式会社の大平です。 巷間では「bigdata」の活用が叫ばれて久しいですが、弊社はまだまだ小さい規模のスタートアップのため少なくともデータサイズとしてhugeなdataの活用が行える環境ではありません。 であればデータの活用に対する要求が低いか、というとそうでも無く、サービスサイドでも自然言語処理や機械学習を中心としたデータ解析処理がサービスの生命線となっていますし、サービスの裏側でも戦略を立てる上で効果測定や諸々のデータの分析は非常に重要な位置を占めています。 本記事では主にサービスの裏側で求められるデータ解析において、いかにカジュアルにデータを解析するか、の一例として、掲題のような組み合わせによるデータ可視化の事例を簡単にですがご紹介したいと思います。 データ解析基盤を作る側の視点からすると、システムとして求められる要件は以下のようなものだと理解していま
Amazon EC2 Eメール送信ベストプラクティス | DevelopersIO
ども、大瀧です。 EC2からEメールを送るという案件、たくさんありますよね。そして結構な確率でトラブるんですよね(涙目)。そんな苦い経験をベストプラクティスとしてまとめてみました。一応技術的なところは網羅したつもりですが、メールセキュリティの専門ではないので、不備や間違いがあればご指摘ください。 では、メール送信トラブルの元凶である、スパムメールとその対策からご紹介していきます。 スパムメールとの闘いダイジェスト Eメールの歴史は、スパムメールとの闘いの歴史と言えます。 不特定多数に送信されるスパムメール(未承諾の広告メール)は、メール受信者に不快な思いをさせるとともに、メールサーバーのメール流量を爆発的に増加させ、長らくメールサーバー管理者を泣かせてきました。 このスパムメールをなんとか撃退しようと、現在では主に以下のような対策が行われています。 1. 送信メールサーバー側のネットワーク
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
「リザーブドキングスライム」をやっつけて一撃レベルアップ！
大規模分散システム ”Amazon Web Services” の使い方
AWS特集 の記事一覧 | DevelopersIO
