AWSのログ管理についてはいくつか考えるポイントがあると思います。 どのログを保存するか。 CloudWatch Logs（以下CW Logsと記載）とS3のどちらに保存するか、もしくは両方に保存するか などなど。 システムの特性によるところも多いかと思いますが、自分の中でのログ管理のベースラインが定まりつつあるので、頭の整理がてらまとめます。 自分の中での大まかな方針としては以下です。 S3に保存できるものは基本S3に保存する。 以下の場合は、CW Logsに保存する。必要に応じてS3に転送する。 アラームを出したい場合 さっとCW Logs Insightでログを確認したい場合 CW Logs に出さざるを得ない場合 全体像としては以下になります。 なおあくまで個人的な経験に基づくものなので、実際にはシステムの特性を踏まえて方針の決定が必要かと思います。 またこれは必要、これは不要など

AWS Instance Scheduler は、Amazon Elastic Compute Cloud (Amazon EC2 オンデマンドインスタンス) および Amazon Relational Database Service (Amazon RDS) インスタンスのスタートと停止のスケジュールを設定することにより、AWS リソースコストを管理するのに役立つソリューションです。 また、定義済みのスケジュールに基づいてリソースをスタートおよび停止させることで、運用コストの削減にも役立ちます。例えば、企業は、AWS Instance Scheduler を使用して、定義済みのスケジュールに基づいてインスタンスを自動的にスタートおよび停止することができます。EC2/RDS/Aurora Clusters が必要とされる時間帯 (例: 月曜日から金曜日の午前 9 時から午後 5 時) が

こんにちは、エウレカ SRE チームの原田です。 今年 (2021年) エウレカでは、公開鍵認証で接続するEC2の踏み台サーバを廃止し、代わりに各サーバへの接続をIAMで認証できるSSM Session Managerへのリプレースを行いました。本記事ではそのモチベーションや、実装のポイントを紹介していきたいと思います。 旧来の踏み台サーバ 旧来の踏み台サーバエウレカで長く運用されていた踏み台サーバ (Gateway) は以下のようなものでした。 各開発者は、自分の秘密鍵を使って踏み台サーバへSSHを行う ( 踏み台サーバ上には各開発者の個別ユーザーおよび公開鍵が登録されている )踏み台上では、接続が許可されているSSH対象のサーバの秘密鍵がユーザー毎に配置されており、その鍵で各サーバにSSHするMySQL / Elasticsearch / Redis など、Private Subnet

お問い合わせを頂くことの多い、AWS WAF のレートベースのルールの設定方法を手順を追って紹介します。 困っていた内容 自社サービスの特定の URL に対して、数日間で数百の IP アドレスから大量の不正アクセスを受けています。 攻撃元 IP アドレスを自動的にブラックリストに追加させる方法がありましたら教えてください。 どう対応すればいいの？ AWS WAF の レートベースのルール を設定してください。 より細かい制御を行いたい場合は、AWS WAF セキュリティオートメーションの導入をご検討ください。 AWS WAF のレートベースルールとは AWS WAF のレートベースのルールを設定すると、AWS WAF が発信元 IP アドレスのリクエスト数をカウントし、設定したしきい値を超えるリクエスト数が確認された際に対象の IP を自動でブロックできます。 現在は 5 分間あたり 10

Amazon Web Services ブログ AWS Copilot CLI を使用した永続性を持つ AWS App Runner サービスの継続的ワークフローの実現 この記事は Enabling continuous workflows for AWS App Runner service with persistency using AWS Copilot CLI を翻訳したものです。 AWS は最近、AWS App Runner と呼ばれる新しいサービスを開始しました。これは、コンテナ化されたステートレスな Web アプリケーションを AWS でビルドして実行する最も簡単な方法です。App Runner は、ビルドパイプライン、ロードバランサー、スケールインとスケールアウト、そしてもちろんその基盤となるインフラストラクチャなど、コンテナを実行するために必要なすべてのリソースをプロビ

AWSでカオスエンジニアリング！ AWS Fault Injection Simulatorが利用可能になりました 2021/03/15より、AWS Fault Injection Simulator(FIS)の利用が可能になりました。 アジア太平洋（大阪）と中国の2つのリージョンを除くすべての商用AWSリージョンで利用できます。 AWS Fault Injection Simulatorとは、 AWSでフォールトインジェクション実験を実行するためのフルマネージドサービスです。 フォールトインジェクション実験はカオスエンジニアリングで使用されます。 フォールト(障害)を意図的に発生させることでシステムに何が起こるのかを確認する、障害にどのように反応するかを学ぶ事によりシステムの回復力、信頼性、パフォーマンスをあげていくことが目的です。 FISを使うと モニタリングの死角、パフォーマンスのボ

こんにちは。クリスマスイヴイヴですね！みなさんいかがお過ごしでしょうか。 マクアケという会社でSREしてます。Naganeです。 という事でこの記事はMakuake Advent Calendar 2020 23日目の記事になります。 突然ですが皆さん。負荷テストしてますか！ 苦労した末に作り上げたサービスを世の中に出し、これからさぁやっていくぞ！となっている中 アクセス集中でサイトダウン。悲しいですよね。 そうならないためにも、公開前に実際にある程度アクセス集中状態を擬似的に作り出し 実際に提供したい体験が得られるか確認するというのはとても大切な事です。 実際に負荷テストをしようとすると大変な所 しっかりとした負荷テストを実施しようとした時に意外と大変なのが環境の準備です。 負荷をかける先が接続制限されていたり 作成した実行環境が思ったより負荷が出ずカーネルパラメータのチューニングを強い

コンバンハ、千葉（幸）です。 皆さんは、 PassRole と AssumeRole についてきちんと理解ができていますか？どちらも IAM ロールに関するものですね。 私はカラダ（ボディ）の調子がいい時は思い出せるのですが、雨が降っている日や、ちょっと疲れて気を抜いた時にはすぐ分からなくなってしまいます。 ということで、イメージとして脳に刻み付けることによって忘れられなくしてやろうと思いました。 そこで出来上がったのが以下です。 間違えました。以下です。 あ、でもやっぱり忘れづらいのはこちらかもしれませんね。 どうですか？もう忘れられなくなりましたね？ 先にまとめ IAM ロールには以下ポリシーを設定できる アイデンティティベースポリシー Permissions boundary 信頼ポリシー AWS リソースに IAM ロールを引き渡す際には PassRole の権限が必要 PassR

シナリオを用いた負荷テストツールとしてJMeterやGatlingなどがございますが、AWSでも負荷テストのソリューションが用意されております。 こちらのソリューションは、Fargateで1秒あたり選択した数のトランザクションを生成する数千規模の接続ユーザーを簡単にシミュレートできます。 本エントリでは、AWSの負荷テストソリューションを使った負荷テストを紹介します。 構成要素 公式の構成図を拝借しています。 フロントエンドでは、バックエンドの負荷テストエンジンを実行するAPIと、テストシナリオの作成やモニタリングに使用するウェブコンソールが提供されています。 なお、使用するテストシナリオにはJMeterのシナリオを指定できるため、既にJMeterを使っている場合は簡単に大規模な負荷テストを行うこともできます。 バックエンドでは、負荷を生成するためのDockerイメージを作成します。イメー

「AWS環境のセキュリティが不安だ…」そんな方にはセキュリティチェック！AWSでは定量的にチェックすることができる機能があります。いくつかあるので長短などを説明しつつ私が思う最強のセキュリティチェックを伝授します！ こんにちは、臼田です。 みなさん、AWS環境のセキュリティチェックしてますか？(挨拶 全国のAWSのセキュリティについて悩んでいるみなさまのために、今回は僕の考える最強のAWS環境セキュリティチェックについて情報をまとめ・伝授します。 初心者向けに、比較的AWSの経験が浅くても始めやすいように、かつ上級者が応用するために活用できる情報もぜんぶまとめていきます。 この記事は2020年の決定版となるでしょう！(それ　いいすぎ。 ながーくなってしまったので最初は適宜飛ばして読むといいかもしれません。 AWS環境のセキュリティチェックの意義 AWS環境でセキュリティチェックをすることは

ECMAScript、Web標準の型はどう管理されているか / How ECMAScript and Web standards types are maintained

注:UML初心者に向けた記事です 最終的にこんな感じに… 注: AWS提供の画像を利用しますがAWSのサービスは使用しません。さらにAWSのアイコンプロジェクトが更新止まっており、Azureなども参照しています。 環境設定とねらい Visual Studio Code だけでUMLを練習する環境を作ります。Mac, Windows, Linuxで動きます。 用意するもの Visual Studio Code PlantUML 拡張 Java（ふつうは入ってます） GraphViz（msiインストーラあり） 上記の手順についてわからない人はVisual Studio Code で UML を描こう！が完璧なので、まずは設定を済ませてきてください。 まずは書いてみよう Visual Studio Codeで新規ファイルを作って、まずは myfirst.pu というテキストファイルで保存します。

コンバンハ、千葉（幸）です。 いくつか制約付きで、EBSボリュームを複数のEC2インスタンスにアタッチ（マルチアタッチ）できるようになりました！ 制限・考慮事項 I/Oフェンシングプロトコルに対応していないため、アプリケーション側で同時書き込みの排他制御を担保する必要がある ボリュームタイプは プロビジョンドIOPS(io1) である必要がある マルチアタッチするEC2インスタンスはEBSボリュームと同一アベイラビリティゾーンである必要がある マルチアタッチするEC2インスタンスはNitroベースのインスタンスである必要がある Amazon EC2 インスタンスタイプ - Amazon Elastic Compute Cloud マルチアタッチできるのは最大16台まで 現状マルチアタッチできるのはus-east-1、us-east-2、us-west-2、eu-west-1、ap-nort

こんにちわ、株式会社はてなのシステムプラットフォーム部で SRE をやっている id:nabeop です。この記事ははてなエンジニア Advent Calendar 2018 の14日目の記事です。昨日は id:Pasta-K でした。 今日は hatena.ne.jp ドメインのゾーンを AWS Route 53 に移設するにあたって、AWS 初心者がどんなことを考えながら移設したかという話です。DNS ゾーンの移設の手順などについては既に様々な情報があるので、そちらを参照してください。 そもそもの始まり 僕は2018年3月に はてな に中途入社しました。入社して1ヶ月くらいたった4月のある日、「ねぇ、hatena.ne.jp というゾーンを AWS Route 53 に移設してみない?」とタスクが降ってきました。時期としては中途入社後、業務のキャッチアップをしつつ、今まで触ったことがな

AWS STSのAssumeRoleを利用して一時的セキュリティ認証情報を取得してS3にアップロードしてみたので内容をメモしておきます。 なお、IAMロール徹底理解 〜 AssumeRoleの正体 ｜ Developers.IOがロールを理解するためにとても参考になります。 一時的セキュリティ認証情報について 一時的なセキュリティ認証情報は利用期限があるAWSを利用するための一時的な認証情報である。 一時的であるのでたとえ外部に漏れたとしても時間がたてば使えなくなる。 アプリに埋め込みされた認証情報が漏れる場合に比べて安全になる。 ロールの継承とフェデレーショントークンの取得について 今回行ったのはロールの継承だが、以下のようなフェデレーショントークンの取得でも一時的セキュリティ認証情報は取得できる。 AWS - 一時的セキュリティ認証情報を使って、特定のS3バケットにアップロードする -

AWSボリュームに暗号化は必要なのか？ 当初、実際にAWSのデータセンターの実サーバーに物理的に侵入された場合や、AWSの管理システムへのハッキングした時くらいにデータを守れるという認識だったのでそれが正しいのかどうかAWSサポートに問い合わせをしてみた. AWSサポート問い合わせ結果(原文は載せれないので要約) 1. お客様のセキュリティあるいはコンプライアンス要件を満たせるようにご用意している機能 多くのユーザーはこのコンプライアンス基準へ準拠のためだけに、ストレージ暗号化の機能を利用しているのが現実らしい 2. AWSのデータセンターに対して物理的な侵害が発生した場合に、保護する事が可能になる これは想定していた当然のメリットである. 3. EBS と EC2 インスタンスとはネットワークを経由で通信するが、暗号化ボリュームを使用している場合この通信経路上も暗号化される これは少しび

旬の生魚おじさん、都元です。弊社は本日を最終営業日として、これから冬季休業となります。 今年も一年、どうもありがとうございました。というわけで恒例の書き納め三本締め、その1。 だいぶ昔に「AWSにおける静的コンテンツ配信パターンカタログ（アンチパターン含む）」というエントリーでご紹介しましたが、Amazon S3 には静的ウェブサイトホスティングという機能があります。 静的 (つまり、状況に応じて異なるコンテンツを返さない、常に同じコンテンツを返す) ウェブサイトは、特に EC2 などのサーバーを立ち上げずに、S3 の機能を使って実現できます。古くからある機能です。 この機能は、さらに Amazon Route 53 によって ALIAS レコードを設定することにより、独自ドメインによるホスティングも可能です。これも古くからある機能です。 このあたりの詳細は AWS ドキュメントのチュート

20190514 AWS Black Belt Online Seminar Amazon API Gateway 1. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Webinar https://amzn.to/JPWebinar https://amzn.to/JPArchive Solutions Architect Amazon API Gateway [AWS Black Belt Online Seminar] 2. © 2019, Amazon Web Services, Inc. or its Affiliates. A

1 はじめに CX事業本部の平内（SIN)です。 Amazon Transcribeは、自動音声認識（ASR）サービスであり、音声からテキストへの変換を行うことが出来ます。 この、Amazon Transcribeが、いくつかの言語とともに日本語にも対応したと言うことです。 Amazon Transcribe Now Supports Speech-to-text in 7 Additional Languages これまで、日本語の文字起こしは、AWSで出来なかったため、他のサービスを色々組み合わせていましたが、これからは、AWSだけで完結できそうです。 と言うことで、早速、ちょっと試してみました。 2 Pollyでサンプル作成 Amazon Pollyで変換元となる音声データを作成して見ました。 文章はデフォルトのままです。MP3ダウンロードでファイルを取得します。 Amazon Tr

[速報] コードレビューの自動化！パフォーマンスやコストの最適化まで出来ちゃう Amazon CodeGuru が発表されました！#reinvent こんにちは、大阪オフィスの丸毛（@marumo1981）です！ ただいま開催されている、re:Invent 2019のキーノートにて、コードレビューの自動化サービス「Amazon CodeGuru」が発表されました。 Amazon CodeGuru とは？ CodeGuru は機械学習に最適なパフォーマンスと、ベストプラクティスに沿ったコードをユーザに提供するための自動化されたコードレビューサービスです。以下の2つの機能を提供します。 CodeGuru Reviewer CodeGuru Profiler CodeGuru Reviewer コードレビューの自動化 - ソースコードのプルリクエストを自動的に分析して重要な問題を見つけ、プルリク