この記事は新野淳一氏のブログ「Publickey」に掲載された「ずっと無料で使えるクラウドの「Free Tier」主要サービスまとめ。2020年版」（2020年5月13日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 クラウドの多くでは、1年程度の無料トライアルやクーポンなどに加えて、期間の制限なくずっと無料で使える、いわゆる「Free Tier」や「Always Free」と呼ばれる無料枠のサービスも提供されています。 こうした無料枠は開発環境やテスト環境としてクラウドを試すうえで非常に有効です。ここではクラウドのFree TierやAlways Freeとして提供されているおもなサービスをまとめました。 Amazon Web Services（AWS） 「AWS無料利用枠」のWebページを開き、左側にあるフィルター条件で「無期限無料」をチェックすることで、無期
AWS モダンアプリケーション開発
AWS モダンアプリケーション開発 AWS におけるクラウドネイティブ モダンアプリケーション開発と設計パターン 2019 年 10 月 注意 お客様は、この文書に記載されている情報を独自に評価する責任を負うものとします。 本書は、(a) 情報提供のみを目的としており、(b) AWS の現行製品とプラクティスを 表しますが、予告なしに変更されることがあり、(c) AWS およびその関連会社、サプ ライヤーまたはライセンサーからの契約義務や確約を意味するものではありません。 AWS の製品やサービスは、明示または暗示を問わず、いかなる保証、表明、条件を 伴うことなく「現状のまま」提供されます。お客様に対する AWS の責任は、AWS 契約により規定されます。本書は、AWS とお客様の間で行われるいかなる契約の一部 でもなく、そのような契約の内容を変更するものでもありません。 © 2019 A
技術ブログで公開する記事の品質を安定させ、効率的に執筆できるよう、 CI の導入に着手しました。 技術ブログを継続的に運営する中で、多くのメンバーが執筆に参加しています。 多様な視点の記事を公開できる一方で、技術ブログ全体として一定の品質を担保する必要があります。 人の目でレビューすることはもちろん必要ですが、中でも自動化可能な部分は機械に任せられるように環境整備を進めています。 この記事では、CIの環境や検証内容についてお伝えします。 CIの環境 記事の執筆にあたっては、過去の記事にもある通り一部Google Docsで執筆されている記事を除きGithubのリポジトリでバージョンを管理しています。 Github を利用しているということで CI の選択肢としては Github Actions が真っ先に候補となりますが、今回は AWS CodeBuildを採用しました。 AWS Code
Leaner 開発チームの黒曜(@kokuyouwind)です。 先日開催された AWS Startup Community Conference 2022 に登壇させていただきました。 AWS Startup Community に合わせた若干釣り気味のタイトルですが、内容としては Copilot CLI の使い方や利用の際のポイントをまとめたものでした。とはいえ新規アプリケーション構築に向いていることやマルチアカウント運用に癖があることから、スタートアップでよりハマる局面が多いだろうというのも本心です。 ちなみに CFP 提出時点の仮タイトルは「1 年間本番運用してきた AWS Copilot CLI の悲喜こもごも」で、もう少しエピソードベースでの Tips に比重を置いた内容を考えていました。 今回は大まかな発表内容や、発表で触れられなかった個別 Tips などをあわせて記事にまと
認証サービスCognito・Auth0・Firebaseを比べる 執筆にあたって - s-takayanagi’s blog
認証サービスCognito・Auth0・Firebaseを比べる関連エントリーです。 執筆のきっかけ テーマ選定 ボツになった候補 表紙 購入先 Boothでの購入はこちら 技術書典 応援祭での購入はこちら 執筆のきっかけ 会社の先輩が技術書典7でIAM本の頒布を行い、 私は現場で売り子をしていました。 技術書典7に出展します - プログラマでありたい 技術書典の雰囲気と先輩の本が続々売れていくことに衝撃を受けて次の技術書典で同人誌を作ろうと思いました。 その後、先輩の呼びかけでサークルメンバーが決まりました。 テーマ選定 一番悩んだのはテーマ選定です。 社内で同僚が外部の認証サービスを利用する場合にどのようなサービスが良いか聞かれることが多くありました。 毎回打ち合わせを行って説明していましたが、本にすれば役立つのではないかと感じました。 ボツになった候補 次のようなテーマがありました。
AWS IAM の管理を miam から Terraform に移行した話 - スタディサプリ Product Team Blog
こんにちは。 SRE の @suzuki-shunsuke です。 AWS IAM の管理を miam から Terraform に移行した話を紹介します。 なお、 AWS や miam に限らず「Terraform で管理されていない大量のリソースを Terraform で管理する」ことを検討している方には参考になる内容かと思います。 背景 本ブログでも何度か紹介したとおり、弊社では AWS のリソースを Terraform で管理しています。 しかし、実は IAM に関しては miam という別のツールで主に管理されていました。 miam は AWS IAM を管理することに特化したツールです。 miam には以下のような特徴があります。 Ruby の DSL によって柔軟にリソースの定義ができる miam によるリソース管理を強制できる DSL で定義されていないリソースは削除されて
How to build a CI/CD pipeline for container vulnerability scanning with Trivy and AWS Security Hub | Amazon Web Services
AWS Security Blog How to build a CI/CD pipeline for container vulnerability scanning with Trivy and AWS Security Hub In this post, I’ll show you how to build a continuous integration and continuous delivery (CI/CD) pipeline using AWS Developer Tools, as well as Aqua Security‘s open source container vulnerability scanner, Trivy. You’ll build two Docker images, one with vulnerabilities and one witho
こちらは改訂前の旧版のページです。改訂改題版『事業をエンジニアリングする技術者たち ― フルサイクル開発者がつくるCartaの現場』の商品ページをご覧ください ウェブシステム＝ソフトウェア技術＋ビジネス 株式会社VOYAGE GROUP 監修、和田卓人 編 224ページ A5判 ISBN：978-4-908686-09-2 2020年8月7日 第1版第1刷 発行 株式会社VOYAGE GROUPによる紹介ページ 正誤および補足情報 ともすれば、互いに相反する関心を追っているとさえ捉えられる「ビジネス」と「ソフトウェアエンジニアリング」。しかし現実のウェブシステムで事業を成り立たせるためには、両者を分け隔てることなく、技術力と洞察力と調整力をもって課題に取り組む必要があります。 本書は、和田卓人氏による株式会社VOYAGE GROUPのソフトウェア技術者11人へのインタビューに補足解説を添え
AWS Chatbot を利用して AWS 開発者用ツールの通知を Slack で受け取る方法 | Amazon Web Services
Amazon Web Services ブログ AWS Chatbot を利用して AWS 開発者用ツールの通知を Slack で受け取る方法 本投稿は Sr. Product Manager の Anushri Anwekar による AWS DevOps Blog への投稿を翻訳したものです。 開発者は多くの場合、Slack 上でコードについての議論を行います。AWS Chatbot を使用すると、リポジトリ、ビルドプロジェクト、デプロイアプリケーション、パイプラインといった開発者用ツールの通知を設定し、重要なイベントを自動的に Slack へ通知することができます。デプロイに失敗した時、ビルドが成功した時、プルリクエストが作成された時などに、開発者はもっとも気付きやすい形で通知を受け取ることができます。 2020年1月時点で通知がサポートされている AWS のサービスは以下の通りです
CI に Trivy を組み込んで脆弱性スキャンを行った結果を Slack に通知する - 継続は力なり
タダです. 業務の中で CodeBuild にてコンテナビルド後,Trivy によるコンテナイメージの脆弱性スキャンをして Slack に通知する仕組みを作る検証を行ったので,検証した内容をこの記事にまとめていきます. Trivy について CodeBuild への Trivy 組み込み CodeBuild の buildspec.yml の定義 Slack 通知のためにやったこと まとめ Trivy について コンテナ脆弱性スキャンツールとして有名で自分も知っていたものの使う機会がなかった中,脆弱性をチェックしていくことを定期的にやっていくべきだと言う理由から Trivy を使っていくことにしました.開発者は Teppei Fukuda さんで,このブログも見たことある方多いのではないでしょうか？ github.com Trivy の特徴はドキュメントにもあるように脆弱性データベースから
[レポート] AWS Well-Architected best practices for DevOps on AWS #DOP207 #reinvent | DevelopersIO
[レポート] AWS Well-Architected best practices for DevOps on AWS #DOP207 #reinvent こんにちは、つくぼし(tsukuboshi0755)です! re:Invent2022のセッション AWS Well-Architected best practices for DevOps on AWS を視聴したので、レポートしたいと思います。 セッションの概要 In this session, learn about all of the components required to align your DevOps practices to the pillars of the AWS Well-Architected Framework. Review organization adoption, development
![[レポート] AWS Well-Architected best practices for DevOps on AWS #DOP207 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e4cafbaaf61ae0e896e83da659ab2ddaa2d28c88/height=288;version=1;width=512/https%3A%2F%2Fd1tlzifd8jdoy4.cloudfront.net%2Fwp-content%2Fuploads%2F2022%2F11%2Feyecatch_reinvent2022_session-report.png)
[レポート] 1000万ユーザーのためのAWSクラウドアーキテクチャの進化#AWSSummitOnlineKorea | DevelopersIO
こんにちは！新卒エンジニアのハウンです? AWS Summit Online Koreaが開催されたことで、韓国語のセッションレポートを投稿しました！日本の方々ともセッションの内容を共有できたらなと思い、日本語のレポートも残しておきます。 今回の記事は模範事例の「1000万ユーザーのためのAWSクラウドアーキテクチャの進化」セッションについてまとめます。 ※ 本記事で使用されているアーキテクチャ図は登壇資料をもとに修正されたものです。 登壇者紹介 Jongmin Moon Solutions Architect AWS Korea AWSグローバルインフラストラクチャーとサービス AWSは全世界22箇所のリージョンを運営 各リージョンごとに2つ以上のアベイラビリティゾーンを持っているので、他のサービスより可用性が高い リージョンと216のPoP(205のエッジローケーション, 11のリージ
![[レポート] 1000万ユーザーのためのAWSクラウドアーキテクチャの進化#AWSSummitOnlineKorea | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e518b1f93dfdc31309838137b90da275a4352e91/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F05%2Faws-summit-online-korea.png)
Photo by Ash from Modern Afflatus on Unsplashはじめにこんにちは。Finatextでエンジニアをしている山﨑です。 弊社では、先日「Wealth Wing」という資産運用サービスをリリースしました。そのシステムのバックエンドは、Spring + Kotlinを用いてアプリケーションを構築しており、インフラストラクチャ層ではSpring Data JPAを用いています。 本稿では、以下のような、Spring Data JPAを組み込んだ場合に発生する課題に対する解決策を、弊社の実例を通して示します。 データベースマイグレーションはどうすべきかIn-Memory DB(H2DB)ではなく、MySQL等を使ってJUnitでテストしたいデータベースアクセスを「書き込み専用」「読み取り専用」で呼び分けをしたい最後に、本稿に関するサンプルも添付していますので
2020年8月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopers.IOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 もともと社内用のものなので、ゆるゆると眺めてください。なおいっぱいあります。最近はAWSのアップデート以外もいっぱい拾っています。 ちなみにAWSの最新情報をキャッチアップするだけなら週間AWSがおすすめですが、Dev
TL;DR 3行で。 シンプルで セキュアな Ruby on Rails on ECS by Terraform を作りました。 目次 はじめに 本構成のテーマ リポジトリ アーキテクチャ Terraform側のTips Rails側のTips さらなるカスタマイズ はじめに ここ数年、業務やプライベートで様々なパターンのRuby on Rails + AWS ECS構成を構築してきました。 例えば、構築したことがるパターンを要素ごとに列挙するとざっと以下のようになります。 フロント部分 ALBのみ CloudFront -> ALB assetsのみCloudFront ECS 起動タイプEC2 起動タイプFargate 2種の混在 デプロイパイプライン 全部GitHub Actions Capistrano + ecs-cli CodePipeline + CodeBuild Code
はじめまして。サーバーサイドエンジニアの kinakobo です。 唐突ですが、自動テストの実行にはどんなCIツールを使用していますか？ 色々と選択肢があると思いますが、自分は今までCircleCI、GitHub Actionsを使うことが多く、ANDPADに入社して初めてCodeBuildでテストを実行しました。 それまでCodeBuildを使ったのはDocker imageの構築くらいだったので、あまりテストの実行に向いている印象は持っていませんでした。 ですが調べてみると意外と機能が充実しており、中でもテストレポート機能は便利だと思ったので今回紹介したいと思います。 テストレポート機能とは AWS CodeBuild でのテストレポートの使用 - AWS CodeBuild テストレポート機能は、テストのレポートファイルをいい感じに整理して表示してくれる機能です。 CircleCIに
EC2で運用している分析基盤(Digdag + Embulk)をECS/Fargateに移行しました | ランサーズ（Lancers）エンジニアブログ
SREチームの安達(@adachin0817)です。最近ではランサーズ本家のインフラをコンテナに移行しまくっております。今回ランサーズとMENTAで運用しているEC2/分析基盤サーバー(Digdag + Embulk)をECS/Fargateに移行完了しました。では早速概要と苦労した点、今後の展望などを振り返っていきたいと思います。 分析基盤の紹介 > ランサーズの分析基盤(capybara)と運用について紹介 > MENTAをAWSに移行しました ちなみに私が入社して3年経つのですが、運用して変わったことは3年前よりデータの量が膨大になっていることと、現在、社内の分析チームにとって欠かせないシステムとなっております。その中でDigdagによるスケジューラーとEmbulkによるマルチソースバルクデータローダーである分析基盤専用のEC2サーバーがあり、毎日夜中にデータをBigQuryにシンク
TL;DR Lambda がコンテナをサポートしたらしいので試してみる 動かすDocker イメージはLambda のAPI に対応させる必要があるため、今まで使用していたイメージがそのまま動くわけではない New for AWS Lambda – Container Image Support | AWS News Blog 概要 re:Invent の発表でコンテナの実行ができるようになったので、ざっくり試してみるだけの記事 ためす 失敗例 単純なAlpine イメージだと動かないらしいので失敗してみる ECR へコンテナを上げる env コマンドを実行するだけのイメージを作成 $ export ACCOUNT_ID=$(aws sts get-caller-identity --query 'Account' --output text) $ cat <<EOL | docker b
円安に負けない！共通バックエンドAPIサーバーARM対応プロジェクト - Uzabase for Engineers
こんにちは。ソーシャル経済メディア「NewsPicks」のSREチームの飯野です。 SREでは2023年から円安に負けないコスト削減を継続して行なっていますが、最近は圧倒的な円安におされ気味です。 2024年1月-6月の間に141→161円の変動はちょっと厳しすぎますよね。 今回は2024年1月から3月にかけて行なったNewsPicksの共通バックエンドAPIサーバーのARM対応プロジェクトについて話したいと思います。 ARM対応はコスト削減を目的とした施策です。適用範囲の見誤りがあり、当初の想定ほど大きなコスト削減は実現できませんでしたが、活発に変更が行われるプロダクトに段階的に変更を加えてリリースすることができました。 ARM対応をするにあたり、何を考えてどの順番で着手したかという情報は、今後ARM対応を行う開発者に参考になりそうなので紹介します。 ARM対応計画 ARMのコンテナイメ
はじめにこんにちは、Finatextでエンジニアをしている石橋（@bashi0501）です。 Finatextではコードに近いところでの小さいサイズのtestや静的解析にCircleCI, GitHub Actionsを利用し、クラウド環境へのリリースパイプラインにはより大きいサイズのテストを実環境と同じネットワークで実行したい、デプロイに使うクレデンシャルをむやみに他のサービスに置きたくないという理由からAWS CodeBuild, AWS CodePipelineを使用しています。 これまではCodePipelineによるリリースパイプラインをマネジメントコンソールから丹精込めてお手製で作っていました。が、以前の田島の記事でもあったように50個近くのAWSアカウントがある中でこれまでの方針で継続・展開していくのは厳しくなってきました。 そこでパイプラインは一つのAWSアカウントに集約し
クラウドネイティブ技術を日本にも浸透させることを目的に開催された「CLOUDNATIVE DAYS Spring 2021 ONLINE」。ここでアイレット株式会社の古屋氏が登壇。「うんうん、それ（EC2+ASG）もまたCloudNativeだね」をテーマにCloudNativeについて紹介します。 みなさん、CloudNativeしていますか？ 古屋啓介氏（以下、古屋）：それでは「うんうん、それ（EC2+ASG）もまたCloudNativeだね」ということでお話しします。私は古屋と言います。アイレット株式会社のcloudpackに所属していて、ふだんはAWSやGoogle Cloudとイチャイチャするのが仕事です。 さてみなさん、CloudNativeしてますか？ CloudNativeとは。CLOUDNATIVE DAYSに参加したことがある方なら、何回か見ていると思いますが、これはC
年末で、ちょうどアドベントカレンダーの枠があったので今年一年の活動を振り返っていこうと思う。 この記事はコネヒト Advent Calendar 2019 21日目の記事です。 2019年は結構自分の働き方が変わった一年でもあったので、下記2点を中心に書いていく。 機械学習の世界に足を踏み入れた アウトプット中心の活動ログ 機械学習の世界に足を踏み入れた 組織の大きな変化もあり、今年から業務として機械学習に取り組んでいる。(元々興味はあったのでチャレンジするいい機会に恵まれたというのが正直なところ) ここでは、機械学習関連のものだけに絞って時系列でどんなことをやっていたのかを振り返ろうと思う。 1〜3月 当時のCTOの @tatsushim がPythonによるはじめての機械学習 という本を執筆しており、そのレビュワーとしてこの本を通じて機械学習を学び始めた。 この本は、機械学習の初学者が
こんにちは！AWS事業本部コンサルティング部のたかくに（@takakuni_）です。 今回は、Snyk IaCを使用してTerraformコードのセキュリティスキャンをしてみようと思います。 Snyk IaCとは Snyk IaCとは、Snyk社が作成したIaCのセキュリティスキャンツールです。 Terraform, CloudFormation, ARMに対応しており、幅広いIaCツールのセキュリティスキャンが行える利点があります。 事前にルールセットが用意されており、迅速にコードの評価を行うことができます。また、自身でカスタムルールも定義可能なため柔軟な評価基準を設けることができます。 やってみた Snyk IaCは、Snyk CLIまたはGUI（Web）でセキュリティスキャンを実行できます。 今回は、Snyk CLIを使用してTerraformのコードを解析したいと思います。使用する
施工管理サービスの非同期処理基盤をBlue/Greenデプロイ化しました[後編] - ANDPAD Tech Blog
こんにちは、アンドパッドSWEの あかりです。 最近子供が産まれて、よく抱っこ写真を撮るのですが、写真を振り返るといつも自分だけ同じ服装をしているのを少し恥ずかしく思ってきた今日この頃です。 ちなみに、息子は毎曜日服装が違うほど服を持っていて、家族一のおしゃれになっていますw 1. 概要 最近、アンドパッドで最も古くから稼働している施工管理サービスについて、その非同期処理基盤をBlue/Greenデプロイ化しました。このデプロイフローの変更は大きく2段階を踏んで実現しています。本記事では、その後半部分の「非同期処理基盤を実際にBlue/Greenデプロイ化した話」について説明します。前半部分に当たる、非同期処理基盤から定期実行ジョブの処理基盤を抽出・分離した話についてはこちらの記事をご参照ください。 2. 前提の説明 施工管理サービスの非同期処理基盤をBlue/Greenデプロイ化しました
![施工管理サービスの非同期処理基盤をBlue/Greenデプロイ化しました[後編] - ANDPAD Tech Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/8745fec23b70fa77e165c822bc1bb1c4f48e6a16/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fa%2Farm4%2F20230209%2F20230209121742.png)
State machines orchestrate the work of AWS services, like Lambda functions. When one function ends, it triggers another function to begin. Although Max Duration is significantly different, Express workflow allows more scalability. Moreover, Express workflow pricing is constructed with more details since users will have to pay for the number of executions, including the duration and memory used for
[アップデート] AWS CodeBuild の実行環境に AWS Lambda が選択出来るようになりました | DevelopersIO
いわさです。 数日前にちょっと話題になったアップデートですが、AWS CodeBuild が AWS Lambda をサポートしました。 どういうことかというと、CodeBuild は実行されると何らかのコンピューティングリソースを起動し、buildspec.yml という構成ファイルに記述された内容に従ってコマンドなどの実行を行う仕組みとなっています。 この実行環境はコンテナイメージであり、従来は EC2 上で実行されていました。 今回のアップデートでこの実行基盤に新たに AWS Lambda を選択出来るようになりました。 これによって、起動が早く柔軟にスケーリングするという Lambda の特性を活かして、起動に時間がかかったりビルドキューで待機が発生する問題を解決することが出来ます。 一方で、Lambda を使った場合にはいくつかの制限事項があります。いくつかというか結構あります。
![[アップデート] AWS CodeBuild の実行環境に AWS Lambda が選択出来るようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8f88b2f90b4bca3bfb19789054ed8f18eb737db8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-codebuild.png)
新規 — デプロイメントパイプラインのリファレンスアーキテクチャとリファレンス実装 | Amazon Web Services
Amazon Web Services ブログ 新規 — デプロイメントパイプラインのリファレンスアーキテクチャとリファレンス実装 1月30日、エンタープライズグレードのデプロイパイプラインのための新しいリファレンスアーキテクチャとリファレンス実装のセットをリリースいたします。デプロイパイプラインは、アプリケーションまたはインフラストラクチャの構築、テスト、および AWS 環境へのデプロイを自動化します。ワークロードをクラウドにデプロイする場合、デプロイパイプラインを持つことが俊敏性を高め、市場投入までの時間を短縮するための鍵となります。 カンファレンスやソーシャルメディアで皆さんと話すと、私たちのドキュメントやチュートリアルが新しいサービスや新しいコンセプトを始めるのに良いリソースであるとよく耳にします。ただし、使用量を拡大したい場合や、複雑なユースケースやエンタープライズグレードのユー
AWS CodeBuild customers can now use GitHub Actions during the building and testing of software packages. AWS CodeBuild is a fully managed continuous integration service that compiles source code, runs tests, and produces ready-to-deploy software packages. Customers’ CodeBuild projects are now able to leverage many of the pre-built actions available in GitHub’s marketplace. GitHub Actions are open
モダンなWebアプリのあるべき姿 The Twelve-Factor App (AWSやIaCであるTerraformと絡めた話)
モダンなWebアプリのあるべき姿 The Twelve-Factor App (AWSやIaCであるTerraformと絡めた話) 概要 先日、弊社の情報システム部門で開催されている勉強会にお呼ばれいたしまして、「モダンなWebアプリのあるべき姿 The Twelve-Factor Appとは?」という内容でお話しさせていただきましたので、その内容についてブログとして記載していきたいと思います。 内容なのですが、The Twelve-Factor AppのそれぞれのベストプラクティスとAWSを使った場合の適合方法、それぞれについての理解とモダンなwebアプリ開発など絡めたものになっております。 Twelve-factor Appって?? モダンなWebアプリケーションのあるべき姿として、12のベストプラクティスにまとめた方法論 Herokuプラットフォーム上で開発・運用・スケールした何百何
aws-nukeとGithubActionsを使ったら試験用AWSアカウントのクリーンアップが楽になった話 | DevelopersIO
「AWSアカウントのクリーンアップにaws-nuke + GithubActionsいいぞ」 aws-nukeとGithubActions組み合わせたAWSアカウントのクリーンアップの仕組みを作って、運用してみた話です。 会社や個人の検証用アカウントのクリーンアップに悩んでいる方の参考になると嬉しいです。 背景 クラスメソッドでは、選考プロセスに実技試験があるポジションもあります。 私の所属しているAWS事業本部 コンサルティング部では、実技試験でAWSアカウントを使用します。 AWSアカウントにリソースを色々立ててもらうのですが、放置するとコストが発生するため試験終了後はリソースは削除する必要があります。 今までは、実技試験後に削除スクリプト + 一部手動でクリーンアップを行なっていました。 削除スクリプトで対応していないリソースやCLIでしか消せないリソースがあるなど、クリーンアップ作
RailsアプリケーションのCIにDynamoDB Localを導入した話 - クックパッド開発者ブログ
こんにちは、事業開発部 サーバーサイドエンジニアの堀江(kentarohorie)です。 今回はRailsアプリケーションのCIにDynamoDB Localを導入した事例をご紹介します。 広告入稿システムとCI クックパッドでは自社製の広告入稿システム・配信サーバーを運用しています。また広告の一部はDynamoDBを利用したアーキテクチャで入稿・配信されています。詳細は以前の記事「広告配信サーバーにおける DynamoDB Accelerator (DAX) 活用事例の紹介」で紹介されています。この入稿・配信のうち、広告入稿システムのCIに対してDynamoDB Localの導入を行いました。 広告入稿システムのCIではブランチへのpush、またはmasterへの変更をトリガーにCIサーバー上でスクリプトが実行されていました。CIサーバーにはMySQLやPostgreSQLの環境が用意さ
CodePipeline で簡単 Terraform CI/CD パイプラインの実装 | DevelopersIO
今回は、CodeCommit への push をトリガーに CodeBuild で terraform apply する CodePipeline を作成してみたいと思います。ざっくり環境は以下のとおりです。 環境 Terraform Backend S3 DynamoDB CodeCommit CodeBuild CodePipeline Terraform Backend の作成 今回は CI/CD パイプラインを使って Terraform を管理しますので、tfstate ファイルは共有可能な場所に保存する必要があります。また、このパイプラインは複数人が利用することが想定されるため、git push のタイミングによっては、同時に terraform apply が動作し tfstate に競合が発生してしまう可能性があります。 これらの課題は Terraform の Backend
2019年11月後半アップデート＆AWS re:Invent 2019 サービス別トピック総まとめ #reinvent | DevelopersIO
今年2019年の『AWS re:Invent』も先日全ての日程を終了し、数多くの新機能新サービスが発表されました。その詳細については当ブログでもポータルサイトを展開し、 また、例年通り参加レポートや技術検証ブログ等を書きまくっております。 AWS re:Invent 2019 ｜ シリーズ ｜ Developers.IO ですが、今年は(今年も？)『AWS re:Invent 2019』本編開始前にも数多くの新機能、または幾つかの新サービスも発表されていました。その数がこれまた非常に多く、『本編開始前にこれだけ出てくるってことはこの後(re:Invent 2019は)どうなるんだ...？』と思った方も多かったのではないでしょうか。 本編開始前の内容についてはAWSJ公式ブログでまとめられたエントリが計5本あり、また本編に関しても計5日分の日毎まとめとして、AWSJ公式ブログでその内容がまと
AWS CodeBuildでRidgepoleをdry-runで動かしてMigration予定のDDLをGithubのPullRequestコメントに追記する - ANDPAD Tech Blog
ANDPAD バックエンド担当の原田(@tomtwinkle)です。 普段はGolangでモリモリコードを書いていますがDevOps関連の記事ばかり書いてます。 お察しの通りなんですが、今回もDevOps関連の記事だったりします。 やり方だけ知りたい人は Motivation の部分は読み飛ばして貰っても問題ないです。 Motivation AWS CodeBuild側の準備 GithubのPrivate Access Tokenを発行する AWS Systems ManagerのParameter StoreにDBとGithubへのアクセス情報を記述 CodeBuildを作成 Github Repository側の用意 Buildspecの記載 動作結果 謝辞 さいごに Motivation 私が担当しているANDPADボードではRDS(MySQL)を利用しています。 そして、DBのsc
[新機能]Security HubがAWS基礎セキュリティのベストプラクティスについてコンプライアンスチェックできるようになったので詳細を解説しつつチューニングの考察してみた | DevelopersIO
[新機能]Security HubがAWS基礎セキュリティのベストプラクティスについてコンプライアンスチェックできるようになったので詳細を解説しつつチューニングの考察してみた Security Hubで新しく追加されたコンプライアンスチェックであるAWS Foundational Security Best Practices v1.0.0について解説し、チューニング方法も紹介しています！ こんにちは、臼田です。 みなさん、自分たちのAWS環境のセキュリティチェックしていますか？(挨拶 今回はSecurity Hubの新しいセキュリティ基準(Standard)として追加されたAWS Foundational Security Best Practices v1.0.0について解説し、チューニング方法を考えていきます。 新機能の説明 新機能自体を説明する前に背景から行きます。 Securit
![[新機能]Security HubがAWS基礎セキュリティのベストプラクティスについてコンプライアンスチェックできるようになったので詳細を解説しつつチューニングの考察してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/dbe3f406587b5b6a944b210452de92d974859a3f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-security-hub.png)
REALFORCEのMacテンキーレス版、US配列(！)が2019/12/12より発売するとのことで、首を長くして待っているもこ@札幌オフィスです。 つい先月GitHub ActionsがGAし、GitHub単体でお手軽にCI/CDができるようになっています。 あまり触れられていない気がしますが、AWS公式からもGitHub Actionsをいい感じに使えるテンプレートが公開されていますので、今回はこのテンプレートを使ってFargate環境にデプロイして行こうと思います！ Amazon Elastic Container Service で複数の GitHub Actions が公開 テンプレートから作成していく 早速やっていきましょう。 リポジトリ > Actions からDeploy to Amazon ECSを選択します。 こんな感じでテンプレートが作られるので、右上からMaster
本番RDSスナップショットをそのままテスト用に使うわけにいかない。個人情報とか業務上の機密とか。マスクします。みなさんどうやってるんですかね。 全体像 こんな流れで作ります。 create RDS Instance Data masking RDS create snapshot RDS instance shutdown この記事では 2. のところを扱います。ほかは手作業。そのうちawscliとCodeBuildで自動化する。 マスク設定ファイルをつくるのに必要な情報を用意する information_schema.tables, columnsを漁る テーブルそのものの要否をふりわける 必要なテーブルについて、マスクすべきカラムを選別する カラムごとに、どんなデータパターンでマスクするか決める マスク設定ファイルをつくる マスクツールは dbtestdata を使います。dbtest
【個人的には神ツール】AwsOrganizationFormation（OSS）でAWS Organizationsをコードで管理する | DevelopersIO
【個人的には神ツール】AwsOrganizationFormation（OSS）でAWS Organizationsをコードで管理する 中山（順）です 「AWS Organizationsをコードで管理したい・・・」 そんなことを思ったことはありませんか？ 今日はAwsOrganizationFormationというOSSのご紹介です。 READMEには以下のように記載されています。 AWS Organization Formation is an Infrastructure as Code (IaC) tool for AWS Organizations. OlafConijn/AwsOrganizationFormation AWS Organizationをコードで管理するツールのようです。 これは俺得。 AwsOrganizationFormationの機能 主要な機能として、以
はじめに こんにちは。計測プラットフォーム開発本部SREブロックの西郷です。普段はZOZOSUITやZOZOMAT、ZOZOGLASSなどの計測技術に関わるシステムの開発、運用に携わっています。先日私達のチームでは、シングルクラスタ・マルチテナントを前提として構築したEKSクラスタにZOZOMATシステムを移行しました。本記事では移行ステップや作業時に工夫した点について紹介したいと思います。 目次 はじめに 目次 移行の概要とそのアプローチ 前提 要件 移行方針 各移行ステップとその詳細 STEP1:移行先CFnスタックへのAWSリソース作成、インポート STEP2:移行先へのデータマイグレーション S3 注意点 RDS 注意点 STEP3:移行先のクラスタにkubernetesリソースを追加 STEP4:EKSクラスタの切り替え external-dnsのdomain-filterをマル
モダンアプリ開発でケアレスミスが起きないようDatadogで自動ブラウザテストする - CARTA TECH BLOG
アジャイルやDevOpsなど迅速なシステムの改善～リリースが求められる開発で、懸念されることはデグレードを起こしてしまうことかと思います。 今回はそういったミスを軽減させるためのブラウザテストの自動化に関して書いていこうと思います。 自動テストのサービスとしてDatadogのSynthetic Testのブラウザテストを使用します。 ブラウザテストのテストシナリオとしては複雑な条件を使用しないことが大事です、テストデータが必要、単体試験で検知されるべきレベルのシナリオをここで作成することはメンテナンスの限界が発生して、余計に時間を掛けてしまうことになります。 今回は下記のシナリオをテストします。 ・画面遷移が問題なくできること ・画面に期待通りのテキストが表示されていること さらに今回は最終的に自動化したブラウザテストがCI/CDの一部として組み込まれ、 毎回のリリースでデグレが発生してい
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ずっと無料で使えるクラウド「Free Tier」主要サービスまとめ（主にIaaS・PaaS） 2020年版
技術ブログに CI を導入する - ドワンゴ教育サービス開発者ブログ
1年間本番運用してわかった、スタートアップこそAWS Copilot CLIを使うべきNつの理由
Engineers in VOYAGE ― 事業をエンジニアリングする技術者たち
Spring + JPAによるアプリケーション構築事例
シンプルでセキュアなRails on ECSのTerraformによる実装 - Qiita
CodeBuildでRSpecのテストレポートを表示する - ANDPAD Tech Blog
Lambda でコンテナを実行する - y-ohgi's blog
CI/CDパイプラインを構築するにあたってaws-cdkにcontributeした話
うんうん、AWSのEC2+ASGもCloudNativeだね 人が考える余地を減らすことこそ“CloudNative”だ
2019年を振り返る(機械学習の世界に足を踏み入れた) - shnagaiの日記
Snyk IaCでTerraformコードのセキュリティ解析をしてみた | DevelopersIO
AWS Step Functions: What Can They Be Used For? | Dashbird
AWS CodeBuild now supports GitHub Actions
GitHub ActionsからサクッとFargateにデプロイしてみた | DevelopersIO
RDSスナップショットを、テスト用にマスクする、CodeBuildとdbtestdataで - Qiita
ZOZOMATのマルチテナントEKSクラスタへの移行 - ZOZO TECH BLOG