大栗です。 CloudFormationはAWSインフラのオーケストレーションを担っており、Infrastructure as Codeで構成のバージョン管理ができる素晴らしいサービスです。しかし大きな難点がありました。それはCloudFormation外の変更を認識しないことで、テンプレートの変更時に意図しない環境になることでした。今回のアップデートでCloudFormation外の変更（ドリフト）も検出可能になり、その様な問題発生を抑止できるようになりましたのでレポートします。 New – CloudFormation Drift Detection AWS CloudFormation Now Supports Drift Detection Announcement: Introducing AWS CloudFormation Drift Detection! Detect ch

大栗です。 Amazon Auroraのエンドポイントにはクラスタエンドポイント、リーダーエンドポイント、インスタンスエンドポイントの3種類がありましたが、組み合わせを変更できるカスタムエンドポイントが利用可能になったのでレポートします。 Announcement: Amazon Aurora Simplifies Workload Management with Custom Endpoints Using Custom Endpoints カスタムエンドポイント 概要 Auroraは同じインスタンスでもフェイルオーバーなどでロールが変化するため、ロールごとにアクセスするためのエンドポイントがありました。 クラスターエンドポイント: ロールがWriterのインスタンスへアクセスするエンドポイント 読み込みエンドポイント: ロールがReaderのインスタンスへアクセスするエンドポイント イ

はじめに 自分が使っているAWS環境のセキュリティに問題がないかと心配になることはないでしょうか？私はよくあります。そこでCIS Amazon Web Service Foundations Benchmark というAWSのセキュリティのガイドラインに沿って使っているAWSアカウントのセキュリティの状況をチェックしてみました。チェック項目は全部で52あります。内容を一通り確認したところ知らなかったAWSのセキュリティの機能やノウハウを知ることができ、見ただけでもとても勉強になりました。簡単にチェックする方法も併せて紹介しますのでぜひ使っているAWS環境でチェックしてみてください。 1 IAM 1.1 rootアカウントを利用しない rootアカウントは強力な権限を持つため、rootアカウントを利用せずIAMユーザーを利用してください。通常運用でrootアカウントが利用されていないか確認し

AWS構成図の作成に便利なAWSシンプルアイコンが、装いも新たに AWS Architecture Icons としてリリースされたので、新旧比較を行ってみました。 はじめに AWSチームのすずきです。 AWS構成図の作成に便利なAWSシンプルアイコンが、装いも新たに AWS Architecture Icons としてリリースされました。 従来のAWSシンプルアイコン(2017版)との違いを確認する機会がありましたので、紹介させていただきます。 公式ページ AWS Architecture Icons ダウンロードリンク PowerPoint 用 AWS アーキテクチャアイコン AWS-Architecture-Icons-Deck_20181009.pptx AWS_Simple_Icons_PPT_v17.1.19.zip 比較 AWS Architecture Icons のページ

「あぁ、この人たち、すっごい楽しそうにマニアックな話するなぁ」 このイベントに参加しながら、ハマコーずっとそんなことを考えてました。 Container Build Meetup #1 - connpass Docker Buildだけがテーマという、すげぇフォーカスを絞りまくった勉強会だったんですが、絞り方が絶妙だったのか、参加者の熱もアツく質疑応答も盛況だったので、そのレポートをお届けいたします。技術的にも、旬のDocker界隈の話がてんこ盛りで参考になりました。 container buildきたか…!! ( ﾟдﾟ)　ｶﾞﾀｯ /　　 ヾ ＿_L| /￣￣￣/＿ ＼/　　　/ 登壇者一覧 タイトル スピーカー Better Docker Image 登壇者はおりさの(@orisano)さん。 良いDockerイメージを作るには２つのアプローチがある。 どのように速くするか どのよう

「コンテナ導入ってどこからやったらいいんやろう…」 Amazon ECSがリリースされてから、早4年。Docker自体の進歩が目覚ましく、周辺のオーケストレーションツールや関連するOSSなども目を見張るような勢いで進化しています。以前は開発環境での利用が主流だったコンテナも、今では本番環境での採用事例も増えてきました。さらに、Fargateの東京リージョンリリースやEKSの一般公開など、話題には事欠きません。 アプリケーションのコンテナ化には様々なメリットがありますが、実際に本番環境に導入するには従来のアプリケーションの考え方とは違う部分もあり、簡単にはいきません。その辛さを乗り越えて「もっと多くの人にコンテナを活用してもらいたい」という想いを、このセッションに込めました。 AWSは利用しているがアプリケーションをコンテナ化するメリットがあまり感じられない人や、コンテナに関する情報量が多く

Vimから外部のシェルコマンドを実行して出力結果を得たり、バッファ内のテキストの変換を行う方法を紹介しています。 はじめに こんにちは、データインテグレーション部の平野です。 私はテキストエディタにVimを使用しています。 Vimは敷居が高いと言われますが、ある程度慣れてくると普通のエディタとは明らかに異なる、Vimらしい編集方法がだんだんと身についてくるものです。 今回はVimから外部のシェルコマンドを実行してテキスト編集する手段についてご紹介します。 なお、Vimには色々なプラグインが公開されておりますが、ここで紹介する方法はあくまでもVimのオリジナル機能ですので、その場ですぐ試すことができます。 （lsコマンド等にはPATHが通っているという前提です） カレントディレクトリのファイル一覧を取得したい Vimでテキストを編集していて、カレントディレクトリのファイル一覧を挿入したい、と

AWS Systems Manager Session Manager for Shell AccessでMacからLinux EC2インスタンスに端末でアクセスする ども、大瀧です。 本日AWS Systems Managerの新機能Session Manager for Shell Accessがリリースされ、SSHなしでEC2インスタンスにシェルアクセスできるようになりました。 SSH不要時代がくるか!?AWS Systems Manager セッションマネージャーがリリースされました! ｜ Developers.IO New – AWS Systems Manager Session Manager for Shell Access to EC2 Instances | AWS News Blog 上記ブログではブラウザからアクセスする様子が紹介されているので、本ブログではMacか

SSH不要時代がくるか!?AWS Systems Manager セッションマネージャーがリリースされました! AWS Systems Mangerに新機能 セッションマネージャーが追加されました! この機能はマネジメントコンソール上からEC2インスタンス内のbash・PowerShellを実行できる機能です｡操作ログをS3・CloudWatch Logsに保存することも可能です｡ はじめに おはようございます､加藤です｡す...すごい機能がリリースされました!AWS Systems Mangerの新機能でセッションマネージャーという機能です｡ 一言で言えば､｢EC2インスタンスにSSH・RDPで接続せずにブラウザ上からCLI操作ができる機能｣です｡ブラウザがSSHクライアントとして動作している訳でなく､制御はSSMによって実現されています｡ セキュリティグループのインバウンド設定や踏み台

Multi-AZ・Single-AZについて表現を改めてました。 RDSなどのデータ同期を含むMulti-AZオプションとは多少仕組みが違うためです。 こんばんは、三井田です Facebookを見てたら、速報を受信しました。 Amazon ElastiCache Flexible Node Placement 従来memcachedエンジンのElastiCacheクラスタは、ノードを全て同じゾーンに配置する仕様でした。 今回の機能拡張「Flexible Node Placement」で、ノードを複数ゾーンにまたがって分散配置できるようになりました。 早速 memcachedのノードを、Multi-AZに分散配置する手順を試してみました。 新規構築 ElastiCache (memcached)エンジンで新規構築する画面を紹介します。 Preference Zoneの選択肢が変わりました。

最近はAnsible + Packerの組み合わせでAMIを作ることが増えてきました。毎回Ansibleを書き換えるごとにpackerコマンドを実行するのは面倒なので、最近はJenkinsを利用してAMI作成を自動化するようにしています。今日はそのご紹介です。 Jenkins + Packer環境の構築 Jenkins + Packerの構築は既に@ryuzeeさんがブログで大変丁寧に解説されていますので、そちらの手順を実施するだけで十分でしょう。私も大いに参考にさせて頂きました。ありがとうございます。 Jenkins + PackerでAMIを継続的インテグレーションする Jenkinsの準備ができたら実行する準備をしましょう。まず、プロジェクトのディレクトリ構成は以下のようになっています。 drwxr-xr-x 8 mochizukimasao staff 272 3 19 14:44

GitHubやCodeCommitと並んでソースコード管理に利用されることの多いGitLab GitLab環境でCI/CDを回す手法について調査してみました。 この後編では前編では触れなかった各種の機能を使って、より実践的なCI/CDの環境を構築していきます。 はじめに サーバーレス開発部＠大阪の岩田です。 前回に引き続き、GitLab Runnerを使ったCI/CDについて見ていきます。 今回は前回の設定を発展させて、より実践的なCI/CD環境を構築していきます。 前回のエントリはこちらです↓ GitLab RunnerでCI/CDしてみる(前編) ゴール 今回は下記の要件を満たす環境の構築をゴールに設定しました 各プランチにプッシュされたタイミングで、自動でテストを実行する。テストは単体テストと結合テストの２種類を実行する 単体テストはmotoでDynamoDBの処理をモックし、結合テ

AWS が公開している「アーキテクチャに関するベストプラクティス」、Well-Architected (W-A) フレームワークには、運用（オペレーション）に関する記述も当然あります。 AWS Well-Architected – 安全で効率的なクラウド対応アプリケーション 「運用上の優秀性（Operational Excellence）」と銘打たれているそれは、フレームワークを支える5つの柱のうちのひとつであり、「ビジネス価値を提供するためのシステムの実行とモニタリング、および継続的にプロセスと手順を改善することに焦点を当て」たものと説明されています。AWS を利用している組織の運用担当者であれば、いちどは目を通しておきたいものです。 ・・・なのですが、 少々残念なことに、この「運用上の優秀性についてのホワイトペーパー」は、'18/06 時点で英語版しかありません。A4 25ページにわた

はじめに 先日、CloudWatchに面白い新機能が実装されました。 【新機能】APIレベルのイベント駆動処理を行うCloudWatch Eventsが発表されました！ ｜ Developers.IO CloudWatch EventsはEC2の状態遷移やスケジュール、API呼び出し、AWS管理コンソールへのサインイン、Auto ScalingのEC2の起動や削除の成功/失敗といった、イベントをトリガーに駆動する機能です。Lambdaもそうですが、こういったイベント駆動型のサービスが増えることで、各サービスを簡単に結合することが出来、ますますサーバレスなシステム構築が簡単になります。 さて、今回はAWS CloudWatch Eventsを使って、AWS管理コンソールへのサインインを検知しメールで通知する仕組みを作ってみました。 やってみた 事前準備 CloudWatch EventsでA

大栗です。 先程Amazon Auroraのスロークエリログ、一般ログ、エラーログをCloudWatch Logsへ出力可能になりました。内容についてレポートします。 Announcement: Amazon Aurora Publishes General, Slow Query and Error Logs to Amazon CloudWatch CloudWatch Logsへのログファイル出力 MySQL互換Auroraでは、以下のログを出力しています。 監査ログ エラーログ 一般ログ スロークエリログ この中で監査ログは先行してCloudWatch Logsへ出力可能になっていました。またMySQLやMariaDBでは上記ログをCloudWatch Logsへ出力可能になっていたため、Auroraでも待望されていた機能でした。 RDSのMySQL/MariaDBでログをClou

CloudWatchでは、ECSのクラスタインスタンス単位やサービス単位でのメトリクスはサポートされているのですが、タスク単位のメトリクスがサポートされていません。今回は、docker-dd-agentを用いて、Datadogでタスク単位のリソース状況をモニタリングできるようにしました。 構成としては、各クラスタインスタンスに docker-dd-agent タスクが1つ常駐し、そのタスクがクラスタインスタンスの内部の情報を収集し、Datadogに送信するという方式になります。 公式の手順は以下にあります。 Datadog-AWS ECS Integration 前提 前提として、ECSは構築済みで、DatadogとAWSのIntegrationがされている状態とします。 1.Task Difinitionを作成する まずはじめに、ECSに docker-dd-agent の Task D

森永です。 Ops JAWS#13で「IAMの運用 ベストプラクティス」というタイトルで登壇しました。 スライド まとめ IAMロールは最高 アクセスキーはつらい ログは必ずとる 上記を守るだけでだいぶ楽になります。権限の管理などは組織に合わせて適切なものを検討しましょう！

CodeBuild で Docker イメージ作成時にバージョン管理のためにコミットIDとの紐付けを行い、どの Docker イメージがどの時点のソースコードのものなのか判断できるようにしました。 ども、藤本です。最近、CodeBuild をよく触っているので、CodeBuild のブログ多めです。 概要 CodeBuild は CodeCommit、S3、GitHub、BitBucket にあるソースコードをコンパイルしたり、スタイルチェックしたり、ユニットテストしたりできるビルドサービスです。最近、使った用途では GitHub リポジトリにあるソースコードから Docker イメージを作成して、ECR のリポジトリにプッシュするように自動化しました。 この仕組み自体は CodeBuild の公式ドキュメントに記載されている通りに設定すればできます。 https://docs.aws.a

ども、藤本です。 現地時間 2017/12/12、CodePipeline のデプロイにて、ECS を選択できるようになり、ECS Service にデプロイできるようになりました。 AWS CodePipeline Adds Support for Amazon ECS and AWS Fargate 早速、試してみました。 概要 AWS CodePipeline は AWS や AWS 以外の SaaS を繋ぎ合わせて継続的デリバリを実現、モニタリングするサービスです。今まで CodePipeline が連携可能なデプロイサービスには CodeDeploy、Beanstalk、CloudFormation、OpsWorks の 4つがありました。ここに ECS が加わりました。ECS へのデプロイには、今までの EC2 上のコンテナにも可能ですし、先日の re:Invent 2017

詳細設定画面では、「パブリックアクセシビリティ」を「はい」に設定します。これにより、自動的にデータベースにElastic IPが付与され、LambdaローテーションファンクションにVPCをアタッチする必要が無くなります。その他のネットワーク設定は初期値で設定します。 これは、チュートリアル用の最低限の設定です。プライベートVPCを利用する場合（普通はこっちすね）は、データベースが格納されているサブネットからルーティングテーブルにNAT gatewayへのルーティング設定を行います。また、適切なセキュリティグループの設定も必要です。LambdaをVPC内の設置する場合の構成については、弊社菊池のこちらの記事（機密管理サービス AWS Secrets Manager で RDS のパスワードローテーションを試す ｜ Developers.IO）を参照ください。 その他の設定はデフォルト（ポート