ElastiCacheのRedisのSETが詰まった時おれたちは - Qiita
あらすじ AWS上にWEBサービスを構築しておりました所、徐々に全体的なレスポンスが悪化していっておりました。よくあることです。計測してみた所、サマリ結果をキャッシュしていたElastiCacheのRedisがネックになっていた事が発覚しました。 更に詳細に計測してみると、どうやらRedisに対するSETになんか8秒ほどかかっている模様、おっと、何かがおかしい。 現場は騒然とし始めます。一刻も早くこのボトルネックを潰さないと大変なことになる、こうして我々の残業はスタートを切りました。 こうした試行錯誤の顛末が、誰かの役に立てばと思ってこの記事を残します。 結論先取 ElastiCacheの弱いインスタンスはネットワーク帯域が狭い ElastiCacheのデフォルトのインスタンスが r3.large なのには意味がある キャッシュをしたけりゃ現金を払え GETしか絞れないSLOWLOG、そし
S3イベント通知 vs EventBridge 処理漏れ率を比べてみた2 | DevelopersIO
先日、以下エントリを書きました。 S3バケットにファイルがアップロードされたのを検知し、それをトリガーに別の処理を走らせる方法として、S3イベント通知機能とEventBridge(CloudWatch Events)と2つの方法があり、それぞれの処理漏れ率を比べてみたエントリです。 処理漏れ率は、1万個のファイルをアップロードして比べたところ、どちらも0%でした。そこで今回はさらにファイル数を増やして 100万個のファイル で検証してみました。 検証方法 前回と同じです。同一S3バケットに対して2つの処理系統を用意します。 S3バケット → S3イベント通知 → SNSトピック S3バケット → CloudTrailオブジェクトレベル認証 → EventBridge → （上記処理で使っているのとは別の）SNSトピック このS3バケットに対して、オブジェクトを100万個作成します。 SNS
【第1回】AmazonS3へダイレクトアクセスするアプリケーション実装(4) — mynavi-doc-draft 1.0.0.SNAPSHOT ドキュメント
【第1回】AmazonS3へダイレクトアクセスするアプリケーション実装(4)¶ これまで32回にわたり、 AWSで作るクラウドネイティブアプリケーションの基本 で、 AWS ECSやALB、RDS、DynamoDB、ElastiCache、SQS、AWS Lambda、APIGateway等を使って、SpringBootをベースとしたアプリケーションを実装する方法を紹介してきました。 本連載では、以下のようなAWSサービスを使って、より発展的なアプリケーションの実装方法を紹介していきます。 Amazon S3へのダイレクトアクセス Amazon DynamoDBにおける高度なデータモデル、より実践的なアプリケーション実装 Amazon Keyspaces(for Apache Cassandra)を使ったアプリケーション実装 Amazon ECS Fargateを使ったアプリケーション実装
AWS Backup によるバックアップ取得の全体像をやっぱり絵に描いて理解してみた | DevelopersIO
各サービスを AWS Backup によるバックアップ対象とするかどうかを、オプトインの画面から選択することができます。 2020 年 5 月のアップデートにより有効になった機能です。 AWS Backup ではバックアップ対象のリソースをタグベースで指定することが基本となりますので、複数のサービスにまたがって同一のタグが付与されている場合には、このオプトインを活用して取得対象をコントロールすることが可能になります。 また、新規で AWS Backup の対象となったサービスについては、明示的に有効化しない限り無効のままとなっている可能性があります。ご注意ください。 バックアップボールト バックアップボールトは「バックアップを整理するためのコンテナ」であると説明されています。EC2 のバックアップである AMI 、RDS のバックアップであるスナップショットなどをまとめて管理するための器の
AWS システム構築 非機能要件ヒアリングシートを公開してみた | DevelopersIO
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きなネクストモード株式会社の吉井 亮です。 日本国内においても多くのシステムがクラウド上で稼働していることと思います。 俊敏性、拡張性、従量課金、IaS、セキュリティなどクラウドのメリットを享受しやすい所謂 SoE で多くの実績があるように感じます。 ここ1~2年は、社内基幹システム・情報システム、SoR 系のシステムのクラウド移行が本格化してきたというのが肌感覚であります。 クラウドでのシステムインフラ構築は従来のようにゼロから非機能要件定義を行っていくものではなく、ベストプラクティスをまず実装して少しずつ微調整を行っていくものと考えています。とはいえ、システムごとの要件は予め明らかにしておくことがインフラ構築においても重要になります。 クラウド上では出来ること出来ないこと
AWSによるクラウド入門
真野 智之 (Tomoyuki Mano) <tomoyukimano@gmail.com> version 1.0, 2020-06-19
「はじめてのAWS設計でやりがちな失敗パターンまとめ」について発表しました #devio2020 | DevelopersIO
西澤です。クラスメソッドに入社してからおよそ5年間クラウドの推進やAWS技術に関する支援をさせていただいております。この経験を何か形にしたいと思い、少し遅れてしまったのですが、Developers.IOイベントに乗じてまとめさせていただきました。 発表資料 資料はこちらにアップロードしております。 夜間に録音したので覇気が無い感じになってしまいましたが、動画はこちらです。 まとめ 「AWS設計でやりがちな失敗パターン」というタイトルで考え始めたのですが、もっともお伝えしたい点は、AWSを利用されるお客さまのマインドセットを変え、クラウドを活用できる組織に変わって欲しい、というところに集約できるかなと思います。技術的な問題以上に、考え方を変えられないこと、組織を変えられないことが、クラウド活用を阻害するアンチパターンになっていると思いました。 どこかの誰かのお役に経てば嬉しいです。
AWSでサーバレスな定期バッチ環境を作るには結局どれ使えばいいの？（Lambda vs Fargate vs Batch） - Qiita
それでは、一つずつ説明していきます。 環境構築の容易さ Lambdaはコードをアップロードさえすれば、実行環境が構築でき、その導入障壁の低さが魅力と言えます。 FargateとBatchはコンテナベースのコンピューティングサービスであり、事前にバッチアプリケーションを含んだDockerイメージを用意しておく必要があります。 実行環境の拡張性 Lambdaは標準で使用できるランタイム（プログラム言語とバージョン）に限りがあります。ただ主要言語はほぼサポートされており、カスタムランタイムも作成できるため、さほど不自由さを感じないのではないでしょうか。 また、そのままだと標準ライブラリしか使えないため、 Serverless Framework や AWS SAM を使用して、ローカルの実行環境をパッケージ化してデプロイする運用が一般的かと思います。ただ、OS依存のネイティブライブラリの導入には
バッチ処理をAWS Batchを利用して本番運用してみた | CyberAgent Developers Blog
こんにちは。OPENREC事業部で基盤系のエンジニアをしている石田です。 今回はOPENREC.tvに導入されているバッチ処理の基盤をご紹介したいと思います。 この記事では以下のことに関して話そうと思います。 OPENREC.tvでのバッチ処理内容 従来のバッチ処理基盤の課題 新バッチ処理導入のモチベーション 新バッチのインフラ構成 実際に稼働してみて 本番稼働をして明らかになった課題 まとめ OPENREC.tvでのバッチ処理 OPENREC.tvでは、主に以下の処理をバッチとして実行しています。 視聴時間の計測結果の集計 ランキングの集計 検索用のデータの作成 おすすめ動画の作成 従来のバッチ処理基盤の課題 初期のバッチ処理は、1台のEC2で稼働していました。それゆえ、以下の問題を抱えておりました。 インスタンス1台で稼働していることからスケーラビリティが皆無 SPOFなので万一ハード
API Gateway バックエンドのLambdaにおけるジレンマをLayerで解決する | DevelopersIO
渡辺です。 Developers.IO Cafeのブログドキュメントシリーズ第3弾は、Lambdaの構成に関するトピックです。 Lambdaは小さな独立した処理（プログラム）を実行するには適したサービスです。 一方、多くの関連する処理を行うAPI Gatewayのバックエンドとして利用する場合、必ずしも適したサービスとは言えません。 例えば、一般的なウェブアプリケーションフレームワークでREST APIを構築したとしましょう。 フレームワークは、単一アプリケーションとしてサーバ上で実行されます。 リクエストは、フレームワークでルーティングを解決され、対応する処理（アクション）がキックされます。 前段にELB等のロードバランサが入ることもありますが、雑に言えばこういう仕組みです。 このよう場合、 共通処理を切り出し、各処理から呼び出す構成にする のが一般的です。 そうしなければ、各処理のコー
AWSにIoT機器をWi-Fiで直接つなげられる、クラウド通信評価キットを販売開始
ルネサス エレクトロニクスは2019年8月20日、32ビットマイコン「RX65N」を搭載し、アマゾンウェブサービス（AWS）のクラウドにWi-Fi接続できるクラウド通信評価キット「Renesas RX65N Cloud Kit」を発表した。Wi-Fiモジュールや3種類のセンサーを搭載し、センサー機能付きIoT（モノのインターネット）機器のプロトタイプ開発や評価などの利用を見込む。現在販売中で、参考価格は1個50米ドル（約5300円、税別）。 RX65Nは、Amazon FreeRTOS用AWSデバイスの認定を取得しており、Amazon FreeRTOSを活用したリモートOTA（Over-The-Air）によるファームウェアのアップデートが可能。また、トラステッドセキュアIP、フラッシュメモリのプロテクト機能を利用した強固なセキュリティも特徴だ。 同キットは、RX65Nを使用したターゲットボ
設計サンプルで学ぶ、AWS構築の原則 - Webアプリ アーキテクチャのベストプラクティスを理解する - エンジニアHub｜若手Webエンジニアのキャリアを考える！
設計サンプルで学ぶ、AWS構築の原則 - Webアプリ アーキテクチャのベストプラクティスを理解する AWS入門者に向け、同サービスのエキスパートである、クラスメソッドの八幡豊さんが、Webアプリケーション開発のためのAWS構築の基本を解説します。広範な領域をフォローするAWSですが、広範ゆえに、なにをどのように選ぶべきか……。こんなお悩みを持つ方はぜひご一読を。 クラウドコンピューティングサービス・Amazon Web Services（以下、AWS）は、数多くの高機能なクラウドサービスを簡単に利用できることから、多くの企業が導入しています。AWSの知識を身につけることは、いまやエンジニアにとっての必修科目です。 そのサービス範囲は広範にわたることから、「なにを」「どうやって」使うかのかが重要な知識になってきます。AWSの各サービスのポテンシャルを引き出すためには、それぞれの長所・短所を
AWS再入門2018 AWS Well-Architected Framework編 | DevelopersIO
【AWS White Belt Online Seminar】AWSご利用開始時に最低限おさえておきたい10のこと で紹介されていたことを架空の人物「太郎くん」とともに整理してみました。 こんにちは。池田です。先日、自動ドアを通過中に扉が閉まってきて激突した拍子に、メガネのレンズが傷だらけになってしまっていたのですが、昨日やっと新しいメガネが手元に届きました。視界がクリアなのって素敵なことですね。 AWS再入門2018 プロマネや営業のためのAWS Monthly Calculator入門編に登場してもらったところ、ごく一部で微妙な人気をいただいている架空の人物「太郎くん」。せっかくなので今回も登場してもらおうと思います。 はじめに 先週見積もりを作成したお客様から「AWSへの移行を進めたいので、いくつか教えて欲しいことがある」と呼び出された太郎くん、見積もりに含めなかった各種オプション料
AWS、何から勉強したらいい？に対する俺の答え - Qiita
このツイートがわりと好評だったので解説。 「AWS、何から勉強したらいい？」に対する俺が考えた回答がこれ。 pic.twitter.com/ouuP3P27Bu — 伊藤 祐策(パソコンの大先生) (@ito_yusaku) 2018年4月17日 これは誰向け？ メンテナー以上の領域を目指す人向け。 オペレータ ... システムの運用、監視、障害調査＆対応をする人 メンテナー ... システムの拡張、改善をする人 アーキテクト ... システムを１から設計、構築する人 解説 各科目の選定基準 必修科目 ... AWSを本番運用するにあたって絶対に避けては通れないサービス。 重要科目 ... 間違った設計をすると、あとから取り返しがつかないサービス。 選択科目 ... 学習量を削るために仕方なく必修から外したが、Webサービスを構築するにあたりほぼ必須となるサービス。 必修科目で押さえておく
[AWSマイスターシリーズ] Amazon ElastiCache
1. re:G ene AWS マイスターシリーズ rate Amazon ElastiCache 2013.10.30 アマゾンデータサービスジャパン株式会社 ソリューションアーキテクト 松尾 康博 ソリューションアーキテクト 蒋 逸峰 © 2013 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified or distributed in whole or in part without the express consent of Amazon.com, Inc. 2. アジェンダ ! ! ! ! ! ! メモリキャッシュとは Amazon ElastiCacheの概要 ElastiCache for Memcached ElastiCache fo
![[AWSマイスターシリーズ] Amazon ElastiCache](https://cdn-ak-scissors.b.st-hatena.com/image/square/094c95a689b87b1c771a694b4a7d316a340e9c5d/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20131030aws-meister-regenerate-elasticache-131101003447-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
マイクロWebアプリケーション - Developers.IO 2016
マイクロサービスとしてバックエンドをHTTPで疎結合に繋ぐアーキテクチャに注目が集まっています。 そのようにバックエンドで実装した機能を直接ユーザに届けるコンポーネントである「Webアプリケーション」も、コントロールしやすい小さな単位でマイクロコンポーネントとして実装していく、そんな試みをご紹介します。Read less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
インフラ自動化の落とし穴と宣言的アーキテクチャ
AWSをこれから始める学生への圧倒的なインプット
クラウドでPCI DSS環境を構築・運用するポイント
AWS Black Belt Tech シリーズ 2015 - AWS CodeCommit & AWS CodePipeline & AWS CodeDeploy
