全AWSエンジニアに捧ぐ、CloudWatch 設計・運用 虎の巻 / CloudWatch design and operation bible全AWSエンジニアに捧ぐ、CloudWatch 設計・運用 虎の巻 / CloudWatch design and operation bible
WebAPIを構築する際にAPI Gateway+Lambdaを選択するべきか？
はじめに このツイートに結構反響があったので、雑になるがとにかく自分の考えをダンプする。もともと書いていた記事はうっかりやらかしてデータロストした、泣きたい。 話をわかりやすくするために、ALB+ECS（Fargate）を使ってWebAPIと対比して説明しているが現実はもっと複雑である。 引用リツイートをもらえた部分などについてもアンサーっぽいことも書いていく。 AWS利用費と人件費の話 AWS上にWebAPIを構築する際に、AWS利用費の削減をモチベーションとしてApiGW+Lambda構成が、採用されることがある。確かにAWS利用費は下がるがApiGW+Lambda構成を設計〜運用するためにはAWSに関する知識の中でもとくに専門的な知識が必要になる。こういった人材を雇用または外部へ発注し続けることは人件費に跳ね返ってくる。 ApiGW+LambdaがWebAPIのための構成として唯一無
SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム（後編） - コネヒト開発者ブログ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 今回は前回のエントリーに続いてその後編になります． tech.connehito.com はじめに 後編は前編でも紹介した通り以下の内容になります． 後編：SageMakerのリソースを用いてモデルのデプロイ（サービングシステムの構築）をStep Functionsのフローに組み込んだ話 モデル学習後の一連の流れで，推論を行うためにモデルのデプロイやエンドポイントの作成をStep Functionsで実装した内容になります． 今回紹介するのは下図の青枠箇所の内容になります． 検閲システムのアーキテクチャー概略図 目次 はじめに Step Functionsを使ってサービングシステムを構築する方法 学習済みモデルを含んだ推論コンテナの設定（モデルの作成） エンドポイントの構成を設定 エンドポイントの作成とデプロイ 機械
DynamoDB の設計について考えてみる。 - Qiita
Amazon DynamoDB の特性 フルマネージド型の NoSQL データベースサービス 3つの Availability Zone に保存されるので信頼性が高い 性能要件に応じて、テーブルごとにスループットキャパシティを定義するキャパシティの Auto Scaling、オンデマンドキャパシティといった設定も可能 ストレージの容量制限がない DynamoDB のテーブル DynamoDB におけるテーブルはRDBMSにおけるテーブルと概念が異なります。 テーブルを作成する際に、Primary Key を指定する必要があります。 Primary Key はテーブルの各項目を一意に識別するために使います。Primary Key は、Partition Key および Sort Key で構成されます。(Sort KeyがなくPartition Keyのみの場合もあります) Item は R
AWS Organizations における組織単位のベストプラクティス | Amazon Web Services
Amazon Web Services ブログ AWS Organizations における組織単位のベストプラクティス AWS のお客様は、新しいビジネスのイノベーションを生み出す際に、迅速かつ安全に行動できることを求めています。マルチアカウントフレームワークは、お客様に合ったAWS 環境を計画するのに役立つガイダンスを提供します。このフレームワークは、変化するビジネスニーズに合わせて環境の拡張と適応能力を維持しながら、セキュリティのニーズを満たすように設計されています。適切に設計されたマルチアカウントの AWS 環境の基礎は AWS Organizations です。これは、複数のアカウントを一元的に管理および管理できる AWS サービスです。 この記事では、AWS環境の構築を検討する際に役立つAWS のベストプラクティスに基づいたアーキテクチャについて詳細に説明します。推奨される組織
AWS Well-Architected フレームワーク - AWS Well-Architected フレームワーク
要約 このホワイトペーパーでは、AWS Well-Architected フレームワークについて説明します。本書は、お客様が AWS 環境の設計、提供、メンテナンスを行う際にベストプラクティスを適用できるようにするためのガイダンスを提供します。ここでは Well-Architected フレームワークの柱とされる 6 つの概念領域における一般的な設計の原則と、特定のベストプラクティスおよびガイダンスを紹介します。 はじめに 定義 アーキテクチャ 一般的な設計の原則 フレームワークの 6 本の柱 運用上の優秀性 セキュリティ 信頼性 パフォーマンス効率 コスト最適化 持続可能性 レビュープロセス まとめ 寄稿者 注記 お客様は、この文書に記載されている情報を独自に評価する責任を負うものとします。本書は、(a) 情報提供のみを目的とし、(b) AWS の現行製品と慣行について説明しており、これ
1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
社内勉強会で AWSエンジニアのためのActive Directory入門 という発表をしました | DevelopersIO
しばたです。 本日弊社の社内勉強会で「AWSエンジニアのためのActive Directory入門」というタイトルでActive Directory(AD)の基本と、AWSにおけるAD関連サービスやADの構成例について発表しました。 その際に使用したスライドをSpeaker Deckに公開しましたので、皆さんもぜひご覧ください。 発表内容について アジェンダにあるとおり、勉強会では Active Directoryとは AWS と Active Directory AWS環境での Active Directory構成例 についてお話しました。 時間の都合により最後の部分は話せませんでした。 AD自体のはなしやAWSでのDirectoryサービス関連については私の説明以外にも多くのサイトやDevelopers.IOに解説記事があるのでここでは多くを語らなくても良いかなと思ってます。 Dire
AWSのアカウントセキュリティ本を書いて気がついた、これからのセキュリティ対策 - プログラマでありたい
昨日の完成したぞエントリーに続き、『AWSの薄い本 アカウントセキュリティのベーシック』関連のエントリーです。 私は今まで、あまりセキュリティって好きな分野では無かったです。もちろん必要性は解っていて、その対策等をいろいろ考えてはいたのですが、どこか自分の仕事じゃないなぁと思っていた部分があります。今回、AWSのアカウントセキュリティ本を書いて、ようやく腑に落ちました。それをまとめたのが、次のツィートです。 AWSのアカウントセキュリティ本書き終わって、今までセキュリティとか、その周辺の事項が好きじゃなかった。その理由が、ようやく確信に近いものを得た。あの領域の多くが、人間ではなくてコンピュータにやらした方が向いている。今まで解ってなかった— Takuro SASAKI＠技術書典-1日目 (@dkfj) 2020年3月23日 24時間365日での自動攻撃。では、防御は？ 攻撃者が24時間3
AWS スポットインスタンスを用いたサービスの平均故障間隔(MTBF)を定量的に評価する | BLOG - DeNA Engineering
はじめに こんにちは、IT基盤部の天野です。AWSやGCPを用いたゲームインフラを担当しています。 DeNAが運用している大型ゲームでは、ステートレスなサーバにスポットインスタンスを使用しています。 スポットインスタンスはAWSに中断(=shutdown)されることがある代わりに、コストを大幅に抑えることができるインスタンスです。 AWSのイベントで見かける資料では、定常的な負荷はリザーブドインスタンスや Savings Plans を利用し、さらに負荷が増える部分で万が一落とされても問題ない範囲をスポットインスタンスで運用することが推奨されていたりします。 しかし、DeNA では web、memcached、worker等のサーバにおいて、ほとんどのリソースをスポットインスタンスで運用し、それでいてサービスは絶対に落ちない自信を持っています。 実際に DeNA でスポットインスタンスを本
プライベートネットワーク経由でAWS S3にアクセスする7つのアーキテクチャの紹介 | DevelopersIO
[速報！] オンプレミスからプライベートネットワークでのアクセスが可能に！PrivateLink に Amazon S3 が追加されました アップデートによって、Private Link for S3がインターフェイス型をサポートされたことによって、この記事のアーキテクチャは陳腐化しました。大変喜ばしいです!! S3にアクセスする際は極力S3のAPIを使い、追加でAWS Transfer for SFTPのコストを払ってでもSFTPしか使えない場合はAWS Transfer for SFTPを使いましょう。 はじめに おはようございます､加藤です｡AWS S3を利用したいが､セキュリティポリシーや送信元のハードウェア・ソフトウェアの都合でパブリックネットワークを使用できない・使用すると脆弱な場合にはプライベートネットワーク経由でS3にアクセスする必要があります｡ 今回は､この要件を実現する
AWSにおける形式手法 - masateruk’s blog
AWSにおける形式手法の記事（https://lamport.azurewebsites.net/tla/formal-methods-amazon.pdf）を読んだ。特に重要だと思われる示唆を3つあげると以下の通り。 産業界では長年形式手法は多大な工数をかけて比較的容易なコードの断片を検証するというイメージがあったが、これはまったくの誤り。現実の問題に適用可能である アマゾンでは10の現実のシステムに適用して、すべてで効果が得られた。難解なバグの発見したり、正当性を犠牲にすることなく確信を持って最適化を施せた 7つのチームでTLA+を使用。エンジニアは2−3週間で学習することができる 以下は、読んでいる途中で書きだした要点。 AWSでは2011年以降形式仕様とモデル検査を使用している 複雑な分散システムを検証するにあたって、従来の手法 ― 設計レビュー、コードレビュー、静的解析、ストレス
Serverless Microservice Patterns for AWS - Jeremy Daly
Serverless Microservice Patterns for AWS Serverless microservices allow us to do some pretty amazing things. This post outlines 19 common patterns that are being used in production on AWS. UPDATE: I've started the Serverless Reference Architectures Project that provides additional context and interactive architectures for some of theses patterns along with code examples to deploy them to AWS. Chec
DynamoDBデータモデリング虎の巻：第壱巻 〜前提知識編〜 - misc.tech.notes
動機など 最近、Serverlessの文脈からDynamoDBのテーブル設計の相談を受けることが多くなってきていて、Podcastでも話したけどけっこう図とかが無いと説明しづらい領域なので、まとまった資料がほしいなということでまとめてみる。 cloudinfra.audio どう考えても長編大作エントリ不可避なので気力が続けば第二巻以降に続きます…！（フィードバックが多いと頑張れるかも…！） 本巻の対象と前提知識 本巻はDynamoDBのデータモデリングにスコープを絞っています。DynamoDBおよびデータベースの一般用語などについての説明は省きます。 前提知識としては以下のようなものになるかと思います。 DynamoDBのサービスとしての概要や用語( WCU , RCU , GSI , LSI など)を知っている Hash TableやB-Tree(B+Tree)といったデータ構造がどん
何故S3（オブジェクトストレージ）を使わなければいけないのか - komagataのブログ
怖話を作っていてインフラを含めた設計で迷っている箇所がいくつか溜まってきたのですが、もしいい方法があったら教えて欲しいという点をブログに書いていきたいと思います。 前提 エンジニアは僕一人だけなので極力手間を減らしたい怖話は広告モデルなのでアクセス辺りの収益が低い。なるべく安く（できれば無料に）したいデザイナーやインターンの人も開発するので複雑にしたくない（例えば怖話をローカルで開発する環境を作るのにredisとかfluentdとかいろんなサーバープロセスを立てないと画面が確認できないとか） 画像の置き場所に困る怖話はアクセス負荷的にappサーバーの2台目が必要かな？ぐらいの状態にあります。 appサーバーが複数台になると画像などのアップロードされるファイルの置き場を共通にする必要が出る。 一度はappサーバー2台でS3 + CloudFrontにしましたが、転送料が高いからappサーバー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSにおけるアプリチームとインフラチームのコワーク設計 / Co-working Design about App and Infra on AWS
The Amazon Builders' Library
Security-JAWS IAMの設計を言語化する
サーバサイドの技術スタック・アーキテクチャ総ざらい - SmartNews Tech Night in Fukuoka Vol.1
『FINAL FANTASY XV POCKET EDITION』を支える AWS サーバーレス技術