AWS Lambda+Serverless FrameworkでDjangoを使う - @kotyのブログ
この記事は Django Advent Calendar 2017 - Qiita の17日目の記事です。 ここ数年サーバーレスアーキテクチャが盛り上がっているものの、Djangoと組み合わせた事例がググってもあまりないので書いてみました。ググっても出てこないということは需要が無いということかもしれませんが。。。みなさんFlaskといった軽量なwebフレームワークとDynamoって組み合わせで使ってるんですかね。 私はLambda+Djangoという組み合わせで本番投入した経験はありません。本記事は、運用に使えそうか？という観点で検証しました。 本記事のサンプルコードは以下に置いてあります。各種バージョンはgithub内のrequirements.txtを参照してください。 GitHub - koty/dj-lambda-sample: A sample of Django app on
Fargateで、オートスケールする様子を観察してみる - Qiita
はじめに 本POSTは、Fargate Advent Calendarの12/21分の記事になります。 当社の状況 すでに、皆様もご存知だった通り。種類も、数も、質も、圧倒的な各種の魅力的なサービスが目白押しだったRe:Invent 2017でした。私の携わっているサービスでは、IaaSの上にアプリケーションをデプロイした形で展開しております。これはこれで、キャパシティプランニングの上で、対応する部分では問題がない、ということでこの構成を維持しておりますが、近年の流れは追わねばならぬ、ということでコンテナやサーバレスなどの導入の検討を進めております。（すでに開発環境はコンテナ化が完了していますが、productionへの投入は慎重になるべき、と考えています） 何を導入すべきか コンテナとサーバレス、どちらかだろうなあ・・・と思っていたのですが、とあるイベントにてコンテナのサービス投入に関す
AWS Fargateの機能制限とかできないこととか - Qiita
コンテナの定義 イメージ The Fargate launch type only supports images in Amazon ECR or public repositories in Docker Hub. ECRとDocker Hubのパブリックリポジトリのみサポート メモリ制限 If your containers will be part of a task using the Fargate launch type, this field is optional and the only requirement is that the total amount of memory reserved for all containers within a task be lower than the task memory value. コンテナレベルのメモリ制限はオプシ
Goadを使った負荷試験とパフォーマンス分析手法について - Qiita
この記事は『ドワンゴ AdventCalendar 2017』の14日目の記事です。 はじめに アプリケーション開発において、近年ではQA(Quality Assurance)という品質やパフォーマンスを保証することに対してエンジニアリングがどう対応していくかといったことに注目が集まりつつあります。 例えばGoogleでは既存の品質保証プロセスで存在していた手動プロセスを自動化するという試みが行われており[1]、MercariではQA-SETチームという職務横断型プロジェクトの発足といった取り組みがなされているようです[2]。 今回はこのようなQAの確認項目の一つである負荷試験とパフォーマンス分析についてお話できればと思います。 Goadの紹介 負荷試験(LoadTest)は、構築したシステムがパフォーマンス要件を満たしているかの確認、ボトルネックの発見、パフォーマンス最大化のために行われ
新しいマネージドコンテナサービスAWS Fargateの価格は高いか安いか？ECS/Fargateのコスト最適化を考えてみよう - Qiita
m5シリーズであれば価格は性能と線形なので、たとえばm5.24xlargeでも倍率は同じx2.11になるためとりあえず比較しやすい上記に絞りました。 最新世代のm5やr4と比べて、おおむね２倍強の価格です。 Fargate高くない！？ と思ったアナタ。ちょっと待ってください。 ECS Cluster AutoScaling構成との比較 多くの場合、ECSではそのメリットを享受するためにAutoScaling構成を取ります。たとえば、 MemoryReservation >= 60% で Scale-out MemoryReservation < 30% で Scale-in と設定するとしましょう1。この場合、実際に確保されるメモリ容量の割合は6割を超えません。 簡単のため、ECSでのリソース利用率はvCPU・メモリともに上記の中央値である45%程度であると仮定しましょう。 Fargate
🎅terraformで理解する、"Fargate"と従来型ECSとの違い🎅 ·
🎄 このエントリはAWS Fargate Advent Calendar 2017の8日目の記事です 🎄 従来型ECS(EC2/ECS)とFargateの違いについて、 .tfファイルの差分を見ることで理解を深めよう!! という試みです。 このエントリでは、以下のような流れで説明していきます。 step1. terraformでバーーンとインフラ一式(ECS含む)を立ち上げ step2. terraformでstep1の状態からバーーンとFargateに移行 step3. step1とstep2の.tfファイルのdiffを眺める!👀 🙊 この記事執筆時点での事情 まず、そもそもterraformはFargateをサポートしているのか？ という大事な話がありますが、 12/8時点で、masterではサポートしているようです!!🎉 ECS Fargate Support by apr
ECSのチュートリアル - コンテナ運用を現実のものにする - Qiita
皆さんこんにちは 以前にコンテナの何がいいのかを説明する資料を作りました。 「やっぱりコンテナ運用しか無いな」 「コンテナを使わざるを得ない」 「とりあえずdocker入れとけばいいや」 という声が聞こえてきそうです(幻聴) 一方で、コンテナで運用するとなると、新たなる監視体制が必要となります。 例えば、Dockerのコンテナが突然停止した場合、その状況を検知し、新しくコンテナを立ち上げる必要があります。 また、そもそもコンテナが乗っている環境をスケールする必要が出たりして、その場合は新しくスケールされた環境でもコンテナを立ち上げなければならないし、その設定をサーバに書かなければならないけど、そうなると結局コンテナが乗っているサーバがブラックボックス化したりするわけで、なんとかうまく回そうとすると、それなりに気を配ることが多くなってきます。 最近はlaradockを使用する開発者が増えてき
AWS FargateとLambdaでサーバーレスなクローラー運用 - orangain flavor
これはWebスクレイピング Advent Calendar 2017の7日目の記事です。こんな感じでAWS FargateとAWS Lambdaを使ってサーバーレス（EC2レス）なクローラーを作ります。 この記事はFargateでのクローリング処理にフォーカスしており、クロールしたHTMLをS3に保存するところまでを主に解説します。Lambdaの方はおまけ程度の扱いで、スクレイピングしたデータの扱い（データベースへの格納など）はスコープ外です。 長くなったので目次です。 背景 AWS Fargateの登場 クローラーの構成 やってみる 1. ScrapyのプロジェクトでSpiderを作る 2. Scrapy S3 Pipelineをインストールする 3. Scrapy S3 Pipelineをプロジェクトに追加する 4. ScrapyのプロジェクトをDockerizeする 5. Amazo
AWS FargateでNginxを動かしてみる - Qiita
本記事は個人の意見であり、所属する組織の見解とは関係ありません。 こちらはAWS Fargate Advent Calendar 2017の12/2分の記事です。 AWS Fargateを使うことで、コンテナを使ったアプリケーションにだけ集中して開発することができます。今日は、Amazon ECSのコンソールのFirst runチュートリアルを通して、簡単にNginxを立ち上げてみて、変更を加えてデプロイしてみましょう。 First runは以下のリンクから始められます。 https://console.aws.amazon.com/ecs/home?region=us-east-1#/firstRun 1セット作成してみる Step 1を見ると、Nginxのコンテナ定義はチュートリアルにあるのでそれを選ぶだけで簡単に作成できます。 Step 2では、サービスにApplication Lo
HTTP/2対応のElastic Beanstalk環境を構築する - Qiita
はじめに サービスの紹介 2017/10/16 にリリースした Snapmap（スナップマップ） は、 「いつ」「なにを」「どこで」「どうやって」撮影したのかが分かるというコンセプトのサービスです。 そんな Snapmap ですが、画像共有サービスなのでサイト全体は HTTP/2 で表示するようになっています。 その効果1もあり、サイトのパフォーマンスを計測するとこんな感じで結構速いです。 Elastic Beanstalkとは Snapmap は Elastic Beanstalk を使ってアプリケーションサーバーの環境を構築しています。 Elastic Beanstalk は AWS のサービスの一つで、デプロイ・サーバー監視・スケーリングの全てをまるっとやってくれます。 新規サービスで考慮しておくべきことの多くをショートカットできるのはとても魅力的で、インフラにコストを掛けたくなかっ
AWS re:Invent 2017で発表されたコンテナ関連サービス(EKS、Fargate)のまとめと自社サービスへの活用 – PSYENCE.MEDIA
AWS re:Invent 2017で発表されたコンテナ関連サービス(EKS、Fargate)のまとめと自社サービスへの活用 大島 雅人 2017.12.01 113 18323924 この記事は RECRUIT MARKETING PARTNERS Advent Calendar 2017 の投稿記事です。 こんにちは、開発支援Gでインフラ運用をしている大島です。アドベントカレンダー 2017 の記念すべき1日目は AWS re:Invent in ラスベガス からお届けします。 AWS re:InventはAmazon Web Service, Inc.が毎年開催している技術とマーケティングののカンファレンスで、今回は6回目の開催となります。新しいサービスや機能のアップデートが基調講演で発表されたり、1000以上のセッションが行われたりするなどお楽しみが盛り沢山な5日間のイベントです。
AWSの新サービス群に対する一行所感 - プログラマでありたい
今年もラスベガスで、AWSの最大のイベントre:Invent開催中です。初回のキーノートが終わった所ですが、怒涛のサービス発表で頭が混乱中です。整理のために、サービスに対する感想をつけてみます。間違っているかもしれないので、悪しからず。 AWS AppSync モバイル等での複数端末のデータ同期を見据えたソリューション。必要性はすごく解るが、それってCognito Syncでやりたかったことじゃないのかな？認証認可のサービスにデータ同期を加えた筋の悪さを解消に来たのか？ 2017/12/3 追記 中の人曰く、次のような役割分担とのこと AWSの新サービス群に対する一行所感 - プログラマでありたい ありがたし / Cognito Syncは「一つのIdentityに（≒一人の人間）が持つ」複数端末間での設定値等の同期のためのものだったので、前提と志向が違うのです > AppSync “それ
【速報】AWS re:Invent 2017 Keynote 1日目で発表された新サービスまとめ #reinvent | DevelopersIO
今からキャッチアップしたい人のために！ AWS re:Invent 2017のKeynote 1日目で発表された新サービスの速報記事をまとめました。ついでに、Keynote前日までに発表されている新サービスもまとめています。 Keynote Day 1での発表 AWS Elastic Container Service for Kubernetes(EKS) AWS Fargate Amazon Aurora Multi-Master Amazon Aurora Serverless Amazon DynamoDB Global Table Amazon DynamoDB Backup and Restore Amazon Neptune Amazon S3 Select Amazon Glacier Select Amazon SageMaker AWS DeepLens Amazon
AWS Lambdaを使ったサムネール作成でNode.jsとPythonを比較してみた - Qiita
AWS Lambdaを使ったサムネール作成処理においてNode.jsとPythonのどちらのフレームワークがよいかを調べてみた。 TL;DR サムネール作成するならNode.jsよりもPythonのほうが数段性能良さそう サンプルコードはこちら 実験シナリオ S3から写真をダウンロード ExifのOrientationの値を見て回転補正する 回転補正後のwidth, heightの値を取得する 50%にリサイズしS3にアップロードする 入力画像 3264 x 2448 ファイルサイズ: 約5.5M Orientation: Rotate 90 CW 出力画像 1224 x 1632 50%にリサイズ ExifのOrientationを見て回転補正 ファイルサイズ： 約730-750KB（圧縮quality=95） Lambdaファンクションスペック メモリ256M 実験結果 AWSのコンソ
Amazon SQSを使う前に知っておきたい基本的なこと - Qiita
はじめに Amazon SQS + Amazon Lambdaを利用して実装を行ったのですが、恥ずかしながらSQSの基本的な仕組みをきちんと理解せずに実装をすすめたため、途中でハマったり、当初の設計を変更するハメになりました。 僕と同じような状況に陥る人が今後出ないように、勘違いしていたところや、気をつけるべき点を説明します。 ドキュメントを読む 公式のドキュメントはこちら 全て取得できることを保証しない / 重複取得もありえる 超基本的なこと、その1です。 SQS APIからメッセージを取得する際は、最大で10件まで同時に取得可能ですが、 ( 詳しくはこちら ) 例えば、キューにA,B,Cというメッセージが3件だけある状態で、SQS APIから10件メッセージの取得を行った場合に、Aのメッセージのみを10件取得する、というケースも普通にありえるのです。 複数のサーバーにメッセージを保存
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - stevearc/flywheel: Object mapper for Amazon's DynamoDB
GitHub - Miserlou/Zappa: Serverless Python
Welcome to PynamoDB’s documentation! — PynamoDB 6.0.0 documentation
GitHub - yfilali/graphql-pynamodb: Graphene PynamoDB Integration
Wantedly（ウォンテッドリー）はたらくを面白くするビジネスSNS
