リアルタイム分析に複数のメトリクスを使った計算ができる CloudWatch Metric Math が使えるようになりました。計算メトリクスをコンソール上で可視化したり、メトリクスをCloudWatch のダッシュボードに追加したり、新たに公開された GetMetricData API を使って取得したりすることもできます。Metric Math を使えば、既存の CloudWatch メトリクスから簡単に洞察を導きだしたり、操作の健全性やインフラのパフォーマンスをより深く理解できるようになります。 CloudWatch Metric Math があれば、既存のメトリクスからスクリプトを使ったりツールを追加したりすることなく計算することが可能です。たとえば、 Amazon DynamoDB の消費 IOPS を計算してCloudWatch コンソール上で provisioned IOPS

AWSのシステム構成情報を集めて構成図を自動生成してくれる「CloudMapper」、オープンソースで公開 CloudMapperを用いることで、AWS上のシステムについて以下のような状況をすぐに把握することができると説明されています。 どのリソースがインターネットに公開されているか？ どのリソース同士がつながっているのか？ アベイラビリティゾーンが落ちたときでも十分堅牢なアーキテクチャか？ このアカウントはいくつのリージョンを利用しているか？ どれだけ大きないシステムを運用しているか？ CloudMapperを開発しているDUOは、セキュリティサービスを提供する企業。同社は自身もAWSユーザーで、さまざまなオープンソースのツールを試してみたものの満足できるようなものがなかったため、自社でCloudMapperを開発したとのこと。 CloudMapperの仕組みは、まずAWSコマンドライン

オペミスでElastic IPアドレス(EIP)を解放できないように、IAMポリシーでElastic IP(EIP)の解放を許可しないという記事を以前書いたけど、復旧するコマンドがあったので、まとめておく。 Elastic IPアドレスの復旧ルール 以下のルールに沿えば、Elastic IPアドレスを解放した場合でも、復旧できる可能性がある。 もともと EC2-VPC で使用するために割り当てられていたか、EC2-Classic から EC2-VPC に移動された Elastic IPアドレスだけを復旧できる。 他のAWSアカウントに割り当てられている場合は復旧できない。 Elastic IPアドレスの割当上限（AWSアカウント作成時のデフォルトでは5個）を超過する場合は、復旧できない。 ユーザーガイド(日本語版)では、以下のように記述されているが誤訳。 もともと EC2-VPC で使用す

Netflixは、わざと本番障害を起こしてすぐ復旧させることを繰り返し、本当の障害発生に備える、という驚くべき手法「カオスエンジニアリング」を実践している。 その効果は実証されている。Netflixが全面的に採用しているAmazon Web Services（AWS）で、2017年2月に中核施設の一つ、米バージニア北部リージョン（広域データセンター群）にて大規模障害が起きたとき、別のリージョンに速やかに切り替えたという。 Netflixの先進的な取り組みを紹介するこの特集の最後に、カオスエンジニアリングを取り上げる。

Amazon Elastic Container Service for Kubernetes (EKS)とAWS FargateAWSDockerkubernetesFargateeks 本記事は個人の意見であり、所属する組織の見解とは関係ありません。 AWS re:Invent 2017のKeynoteにおいて、Amazon EKSが発表されました。 Amazon Elastic Container Service for Kubernetes (Amazon EKS) は、Kubernetes クラスターのインストールと運用を自分で行うことなく、Kubernetes を AWS で簡単に実行できるようにするマネージドサービスです。 https://aws.amazon.com/jp/eks/ この記事では、同じくre:Inventで行われたCON215: Intro to Amazo

この記事は、はてなエンジニア Advent Calendar 2017の4日目の記事です。 昨日は、id:Songmu さんによる「go-memcached-toolを書いていた | おそらくはそれさえも平凡な日々」でした。 前置き 数年前からPodcast的サービスに関心があり、はてなでも何かできないかなと個人的に可能性を探っています。 スマホで社員インタビューやひとり語りなどを録音して、社内向けに作ったPodcastサービスで配信したりもしてみました。 （フロントエンドランチの初期の頃は、このサービスを使って、公開前に確認したりしていました） その流れで、Text to Speech や Speech to Text のAPIにも注目している昨今です。 今回は、AWSが提供するText to SpeechのAPI、Amazon Pollyを触ってみました。 Amazon Pollyとは

AWS News Blog Amazon ElastiCache Update – Online Resizing for Redis Clusters Update (May 2019) – Since this post was published, we have increased the maximum number of nodes per cluster from 15 to 250 (read Amazon ElastiCache for Redis Now Supports Up To 250 Nodes Per Cluster to learn more). We also updated this post to indicate that online resizing works with Redic engine version 3.2.10 and newer

アマゾン ウェブ サービス ジャパン（AWSJ）が7月5日、AWS上でのデータベース（DB）技術をテーマとしたイベント「AWS Solution Days 2017 ～AWS DB Day～」を開催した。基調講演では4名のゲストが登壇し、Amazon Aurora/RDS、PostgreSQL、MySQL/MariaDB、Oracle DB、SQL Server、Kinesis FirehoseなどのAWS上での性能検証結果やDB移行、活用事例などを技術的側面から紹介した。 基調講演レポート前半ではまず、SRA OSS, Inc.の石井達夫氏による「Amazon Aurora with PostgreSQL Compatibility」のパフォーマンス検証結果報告、インサイトテクノロジーの小幡一郎氏によるOSSのカラム型DBエンジン「MariaDB ColumnStore」紹介をお届けする

AWS News Blog New – Host-Based Routing Support for AWS Application Load Balancers Last year I told you about the new AWS Application Load Balancer (an important part of Elastic Load Balancing) and showed you how to set it up to route incoming HTTP and HTTPS traffic based on the path element of the URL in the request. This path-based routing allows you to route requests to, for example, /api to one

こんにちは、藤本です。 待ちに待ったアップデートです。EBS のボリュームサイズ、ボリュームタイプを変更できるようになりました。 Amazon EBS Update – New Elastic Volumes Change Everything 概要 今まで運用中に EBS のボリュームが足りなくなった場合、 一度スナップショットを作成して、 新規ボリューム作成して（この時にボリュームサイズ増加）、 ディスクを差し替える必要がありました。 これにより、インスタンスを停止する必要が発生したり、出来るだけダウンタイムを短くしたくてノーリブートでスナップショットを取ると整合性が担保されない、スナップショット取得から切り替えまでのデータの欠損が発生するなど、多くの問題がありました。 それが今回のアップデートにより、インスタンスの停止する必要がなく、データの欠損が発生することなく、ボリュームサイズを

AWS Security Blog New! Attach an AWS IAM Role to an Existing Amazon EC2 Instance by Using the AWS CLI AWS Identity and Access Management (IAM) roles enable your applications running on Amazon EC2 to use temporary security credentials that AWS creates, distributes, and rotates automatically. Using temporary credentials is an IAM best practice because you do not need to maintain long-term keys on yo

前回に続いてまたAuroraです、Aurora。高い可用性なのはわかっていますが、じゃあ具体的にどのくらいやねん、となると良い情報がなかったので調べることにしました。 Auroraの公式情報は、一定以上の知識を前提とした内容になっていて、良いバランスで心地よい感じなのですが、まだ読んでて楽しいコンテンツが欠けている印象です。一般情報も、出ました、使ってみました、とかしか無くて寂しいので、ブルーオーシャンを泳いでいくとしましょう。 AuroraのEndpoint 公式読めばいい所なので軽く復習ですが、現在のAuroraのEndpointは３種類あります。 Cluster Endpoint … 常にWriterを指すFQDN。参照更新の両用 Reader Endpoint … ランダムでReaderを返すFQDN。参照用 (Instance) Endpoint … インスタンス毎に割り当てられ

Using spot instances for application servers

この記事は KLab Advent Calendar 2016 の 15 日目の記事です。 こんにちは。大野です。 KLab では最近、ローカルの DNS キャッシュサーバとして Unbound を使うようになりました。 今までは dnscache を利用していたのですが、キャッシュ削除のためにプロセスを再起動しなければならなかったり、特定のレコードのみを削除することができないといった課題や一部の問合せをキャッシュサーバ内部で解決したいといった要求があり Unbound を導入するに至りました。 Unbound を運用していく中でつまずいた点もありましたので、今回この記事で紹介します。 とある案件で AWS を利用した構成の運用を任されていたのですが、アプリケーションのエラーログには以下のような記録が残っており、何らかの理由で RDS で運用している DB サーバの名前解決に失敗し接続でき

2. もてき たかひろ • 株式会社CyberZ • ビッグデータエンジニア • 以前はオープンソースのリアルタイムkernelと か開発 リアルタイムkernelコンテキストスイッチングの実装 モノリシック/マイクロ/ハイブリッドkernelアーキの設計/実装 • 得意な技術:エンジニアのための超自炊 https://www.facebook.com/takahiro.moteki.31