Amazon ECS ScheduledTaskで実現するスマートなDockerベースのバッチ実行環境 - コネヒト開発者ブログ
こんにちは。インフラエンジニアの永井(shnagai)です。 コネヒトでは、開発環境に続き、続々と本番サービスにもDockerを導入しています。 今回は、中々運用が大変なcronでスケジュール管理するような定期的なバッチ処理を、Amazon ECSのScheduledTaskを使ってDocker駆動な環境で構築した話です。 他の方法との比較やどのように実現しているのかについて紹介したいと思います。 今回対象とするバッチの種類 今回対象とするバッチ処理は、俗に言うスケジュール系のバッチ処理で、毎日00時00分や10分毎にサイクル起動等、事前に定義した時間に正確に動くことが期待されているものです。 ※ジョブキュー形式のバッチだと、AWS BatchやEBのWorkerもしくは、SQS + Cron on EC2で処理するほうがスマートかと思います。 実行方式の選定 上記要件のバッチを実現する基
[速報] Lambda開発向けのVS Code拡張機能が公式提供されました! #reinvent | DevelopersIO
おつかれさまです。サーバーレス開発部の新井です。 AWS re:Invent2018のKeynote２日目に AWS Toolkits for PyCharm, IntelliJ (Preview), and Visual Studio Code (Preview) が発表されました！ https://aws.amazon.com/jp/blogs/aws/new-aws-toolkits-for-pycharm-intellij-preview-and-visual-studio-code-preview/ ここで、 AWS Toolkit for popular IDEs をアナウンスします！主要な統合開発環境に、AWSの機能を容易に活用できるようにするものです。 #reInvent pic.twitter.com/INyfRFQoga — AWS / アマゾンウェブサービス (@aw
![[速報] Lambda開発向けのVS Code拡張機能が公式提供されました! #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/4f50b21cd2f858d704a6c7a1be569ea914890329/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Faws-toolkits_for_polular_ids_1200x630.jpg)
[Lambda] VPC Lambdaの起動タイムラグを測定してみた | DevelopersIO
はじめに 2016年2月にVPC内で利用可能となり、RDS、ElastiCache などにプライベートIP接続が可能となった AWS Lambdaですが、 VPC アクセスに用いられるENI(Elastic Network Interface)の作成、アタッチが発生するため、初回実行時に一定の遅延が生じる事が知られています。 この遅延、LambdaのCloudwatchメトリック 所要時間 (Duration)としては計上される事はない為、 イベントをトリガとして起動するLambdaでは、確認する事が困難でした。 今回、簡易な検証ですが、KinesisとLambdaを用いて、VPC Lambdaで生じるタイムラグを確認する機会がありましたので、紹介させて頂きます。 参考リンク AWS LambdaのVPCアクセスに関して少しだけ解説 検証方法 概要図 現在時刻(ミリ秒)を取得し、Kines
![[Lambda] VPC Lambdaの起動タイムラグを測定してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7161d2e1b565ee8dfc12e465ff4e95910761254/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F11%2FAmazonLambda.png)
I’m afraid you’re thinking about AWS Lambda cold starts all wrong | HackerNoon
Too Long; Didn't ReadWhen I discuss AWS Lambda cold starts with folks in the context of API Gateway, I often get responses along the line of: When I discuss AWS Lambda cold starts with folks in the context of API Gateway, I often get responses along the line of: Meh, it’s only the first request right? So what if one request is slow, the next million requests would be fast. Unfortunately that is an
Amazon CloudWatch Logs Insightsでログの高速な分析が可能になりました #reinvent | DevelopersIO
大栗です。 現在re:Inventに来ています。新サービスラッシュに大忙しなのですがCloudWatch Logsの分析機能が登場したのでレポートします。 Amazon CloudWatch Logs Insights Amazon CloudWatch LogsにはAWSのサービスのログが大量に出力できます。VPC Flow Logs、Route 53 log、CloudTrail、ECSログなど様々なログがあります。これらのログを分析するためにはデータをエクスポートして分析を行う必要がありました。今回のアップデートによりログの分析をCloudWatch Logs上で行えるようになりました。 CloudWatch Logs Insightsでは数秒で大量のログデータを読み込み、クエリを発行でき可視化も行えます。CloudWatch Dashboardにクエリを追加することも可能です。 ク
AWS EC2 システム時間を変更(過去)したら Status Check Failed (Instance) となりネットワーク不通に ~ 夜行性SEの技術ブログ
Google のウェブログ公開ツールを使って、テキスト、写真、動画を共有できます。
AWS SDK for Go で Amazon S3 Select を試してみた | DevelopersIO
Amazon S3 Select （以降S3 Select）はAmazon S3に保存したオブジェクト（CSVまたはJSONファイル）からSQLでデータを抽出できるサービスです。 サービスのリリース当時はS3 Selectに対応したAWS SDKはJavaとPythonのみでしたが、ここ数ヶ月間でその他SDKでの対応がアナウンスされています。 Introducing support for Amazon S3 Select in the AWS SDK for Ruby | AWS Developer Blog Introducing support for Amazon S3 Select in the AWS SDK for Go | AWS Developer Blog Introducing support for Amazon S3 Select in the AWS SDK f
S3クローンMinioを使って、自前MicroServices用データストレージを構築する
S3クローンMinioを使って、自前MicroServices用データストレージを構築する posted at 2016-03-07 03:40:27 +0900 by kinoppyd Minio Minioという、S3のクローンサービスがある。Goで書かれたAWSのS3のオープンソースクローンで、API互換のあるすごいプロダクトだ。Minioの起動時のヘルプに書かれている説明が非常にわかりやすいので、そのまま引用する。 Minio - Cloud Storage Server for Micro Services. S3は使いたいが、個人プロダクトだからそんな派手な利用をするわけではないし、そんなちまちましたことでS3の料金をシミュレーションしてわざわざ胃を傷めたくないので、何かしらいい感じのクローンが無いかと思って探していたところ、普通に[s3 互換][検索]でぐぐったら上の方にこの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
