タグ

2018年4月12日のブックマーク (7件)

  • AWS BatchとEmbulkによるシンプルなデータ転送バッチ

    AWS BatchとEmbulkによるシンプルなデータ転送バッチ
    samoa
    samoa 2018/04/12
  • API Gateway + LambdaでAWS BatchのJobを実行する | DevelopersIO

    こんにちは、菊池です。 API GatewayLambdaで構成するAPIから、AWS Batchのジョブを実行する環境を作成してみました。Lambdaには向いていない長時間の処理などを、非同期にBatchで実行することで、スケーラブルなジョブ実行環境にできないかと思いました。 API Gateway + LambdaからBatch Jobを実行する 構成イメージは以下のようになります。 APIに対しリクエストを行うと、Lambda関数はBatchに対しジョブの実行を要求し、すぐにレスポンスを返します。Batchはその後、APIのリクエストとは非同期でジョブを実行します。 ElasticBeanstalkのworker環境や、StepFunctionsに実装したActivity State Machineの呼び出しでも、非同期にEC2上のアプリケーションを実行することは可能です。しかし、

    API Gateway + LambdaでAWS BatchのJobを実行する | DevelopersIO
    samoa
    samoa 2018/04/12
  • AWS Batchを使って5分以上かかる処理を実行してみる | DevelopersIO

    どうも!西村祐二@大阪です。 Lambdaは現在(2017/8/17)実行時間が最長5分までという制限があります。 そこで、今回はAWS Batchを使って5分以上かかる処理を実行させてみたいと思います。 AWS Batchとは JobをAWS Batchになげると予め設定しておいたインスタンスを起動し、 ECRまたはDocker Hubからコンテナイメージを取得しタスクを実行してくれます。 また、実行しているタスクがない場合インスタンスを起動してから1時間以内に自動で削除してくれます。 やりたいこと ・CodeCommitに置いてる5分以上かかるスクリプトをコマンド1つで実行したい ・構成はなるべくシンプルにしたい 5分以上かかる処理 今回は例として1分毎にS3に空ファイルを作成する処理を実行してみたいと思います。 下記2つのファイルをCodeCommitの「test-commit」レポ

    AWS Batchを使って5分以上かかる処理を実行してみる | DevelopersIO
    samoa
    samoa 2018/04/12
  • AWSでTerraformに入門 | DevelopersIO

    OSやミドルウェアの機能検証を実施した場合など、オンデマンドで一時的な検証環境を構築できるのもクラウドサービスの醍醐味です。 検証対象のOSやミドルウェアは異なれど、検証に必要な環境はある程度共通であることが少なくなく、また費用節約のためにも検証が終わった後はきれいさっぱりとその環境を削除したいものです。 AWSでそんな使い捨ての環境を構築する場合の方法として、ファーストチョイスとなるのはAWS CloudFormationかと思います。検証環境をテンプレート化しておくことができ、またマネージメントコンソールやAWS CLIを使って簡単に環境の構築/削除ができる、使い捨て環境の構築にはぴったりのサービスです。あるいはAWS CLIやAWS SDKを使って自前の環境構築スクリプトを作成するのもよいかもしれません。 AWS公式のツールを使う以外では、Terraformが有力な選択肢の1つになる

    AWSでTerraformに入門 | DevelopersIO
  • AWS SESをちゃんと使うためにやるべきこと - Qiita

    AWS SESは安価で簡単にメールの送信/受信トリガーが実現できるサービスです。AWSを使っているサービスの場合、けっこう使うことになると思います。が、ハマりどころや注意すべき所があるため、サービスの特性を理解して使ったほうが良いと思い、まとめてみました。 やること SESの制限解除申請をする DKIMに対応する/逆にSPFは対応しなくてOK バウンスと苦情の対応をSNS/SQSなどを使い自動化する 25番ポートは使用せず、465/587を使用する 配信メトリクスを監視する SESの制限解除申請 新規AWSアカウントの場合、SESはサンドボックスモードになる サンドボックスモードだと、検証済みEmail/ドメイン宛にしか送信できない 24時間あたり200通までの送信制限 / 1秒あたり1メッセージの受信制限 サンドボックスモードを解除するには申請する 制限はリージョン毎に行われる 詳しくは

    AWS SESをちゃんと使うためにやるべきこと - Qiita
    samoa
    samoa 2018/04/12
  • 六本木「銀河高原ビール」で樽生ヴァイツェンの美味しさに感動…フードも充実で思わず長居したくなるお店だった - ぐるなび みんなのごはん

    みなさんは、小・中・高・大学生時代の友人と連絡を取っていますか? 筆者(私)はあまり取っていません。そもそも友人がほぼいないので、FacebookやInstagramに同窓会の写真がアップされているのを見て「そんなのあったんだ……誘われてないんだけど」と悲しくなることもしばしば。 でも、「全然友達がいない」わけじゃないもん……! 何人かはいるもん……! あぁ、数少ない友人と飲み会をしたい。久しぶりの再会を果たしたい! とはいっても、筆者みたいな自堕落・のんべぇ・女子力皆無な人間の友人なんて同じ種族、つまり非リアの陰キャしかいません(貴重な友人を「非リアの陰キャ」とか書くから友達がいないんだろって突っ込みは無視)。 私と同じ種族を飲みに誘うなら、オシャレカフェは方向性が違いすぎるし、かといって久しぶりの再会が私の定番・センベロ居酒屋というのも何となく気が引ける。困った。どうすればいいんだ。

    六本木「銀河高原ビール」で樽生ヴァイツェンの美味しさに感動…フードも充実で思わず長居したくなるお店だった - ぐるなび みんなのごはん
  • AWS のネットワーク設計入門

    © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 岡 京 2017/5/31 AWS のネットワーク設計入門 自己紹介 岡 京(おかもと ひろし) • 所属と職種 – アマゾン ウェブ サービス ジャパン株式会社 技術統括部 ストラテジックソリューション部 ソリューション アーキテクト • 経歴 – プリセールスエンジニア(ネットワーク)→ AWS • 好きなAWSサービス – Amazon VPC セッションの内容 • AWS上でシステムを構築するにあたり、ネットワーク面 ではどのような検討や設計が必要なのかをお伝えします • 機能の詳細や操作手順ではなく、考え方やデザインの説 明にフォーカスさせて頂きます •

    samoa
    samoa 2018/04/12