TerraformでFargateのSidecarを実現しよう - Tech Blog - Recruit Lifestyle Engineer
こんにちは！リクルートライフスタイルの共通クラウド基盤でリードクラウドアーキテクトをしている須藤です。 この記事は AWS Advent Calendar 2018 の2日目の記事です！( リクルートライフスタイル Advent Calendar 2018 2日目の記事でもあります) リクルートライフスタイルの共通クラウド基盤では、サービスごとにアカウントを払い出して、サービス開発者がその環境を構築する、というスタイルです。クラウドアーキテクトチームはCCoE(Cloud Center of Excellence)であり、TerraformやFargateを使いたい、という開発者に対しては、ペアプログラミングやアーキテクチャレビューなど、規範的・助言的な活動を通して成長しあっていく、という活動をしています。 当然、re:Invent 2018で発表された トランジットゲートウェイ や AW
Amazon EC2 Container Service (ECS)を試してみた | DevelopersIO
2104/12/20更新 : Dockerの動作に一部不具合があり、ECS-Optimized Amazon LinuxのAMIが更新されました。「3. ECS-Optimized Amazon Linuxの起動」のAMI IDを変更しました。 ども、大瀧です。 AWSのイベント、re:Invent 2014で発表されたDockerコンテナを扱うサービスEC2 Container Service(ECS)のプレビュー申請が通ったので、ドキュメントのチュートリアルを試した様子をレポートします。 1. IAMロールの作成 まずは、Dockerコンテナを実行するEC2インスタンス(ECSインスタンス)からECS APIにアクセスするためのIAMロールを作成します。IAMの管理画面から[Roles] - [Create New Role]で作成ウィザードを表示し、ロール名に「ecs-ec2-rol
インフラエンジニアの菅原です。 最近、バイクに念願のグリップヒーターをつけました。 これでツーリング時の手の寒さが多少楽になりそうで喜んでいます。 とはいってもなかなか出かけられないのですが… 現在私はAWS Fargateを使ったサービスをECS上に構築を進めており、日々コンテナと戯れています。 基本的にストレージ以外のコンポーネントはほとんどECSで動いているのですが、VPCのネットワーク内でちょっとした作業（たとえばネットワークの疎通確認など）をしたい場合、都度新しいタスクを起動して作業しています。 また、DBにテストデータを入れたかったり、どうしてもDBを直接操作したいことがある場合、stoneを新しいタスクを起動した上で、そのタスクを踏み台としてaws ssm start-sessionでポートフォワーディングを行い、手元から直接DBにアクセスできるようにしたりしています。 しか
深夜の定期バッチの監視 Webサービスのオフピーク時に重たい処理を実行させるというのは一般的なプラクティスといえます。 特に深夜〜早朝は多くのサービスでバッチ処理を実行させているのではないでしょうか。 Webサービスだけではなく、当然バッチ処理も監視して失敗したらそれを発見し対処したいです。 しかし、失敗を発見しても即座にユーザ影響がないので対応は後でも良いという場合、素朴に監視ルールを作るとバッチが失敗した深夜・早朝にアラートが発報されることになります。 発報されたアラートを見て「これは今すぐに対応してなくても良いな」と判断するのであれば、それは狼少年アラートといえるのではないでしょうか。 悪貨が良貨を駆逐すると言われるように、狼少年アラートがはびこれば良貨のアラートもいずれ無視されるようになってしまうことは容易に想像できます。 Datadogの timeshift 関数でアラートの発報
はじめに こんにちは、DevOps導入支援担当の藤村です。今回の突撃！隣のDevOpsはスマートフォン向けゲーム開発で有名なアカツキさんにお邪魔して、DevOpsに関する考えや取り組みについて徹底的に聞いてきました！ アカツキ紹介 どのようなサービスをやっている アカツキは、「A Heart Driven World.」をビジョンに掲げ、モバイルゲーム事業とリアルな体験を届けるライブエクスペリエンス事業を展開している総合エンターテインメント企業。世界中の人の心にワクワクと感動を届け、幸せにしたいと本気で考え、日々新たなチャレンジを続ける会社です。中でも、スマートフォン向けゲーム事業で、いま一押しのゲームは八月のシンデレラナイン（ハチナイ）とのことです！ インタビューに答えていただいた方 今回のインタビューは、以下のエンジニアの方々にお答えいただきました。 湯前さん エンジニア組織のマネージ
電通イージス・ネットワークの調査によると、2018年には世界の総広告費に占めるデジタル広告費は、テレビ広告費を上回ると予想されている。サイバーエージェントでもアドテクノロジー分野のサービス開発に注力しているが、そのシステムに求められる要件は非常に厳しいものがある。それを満たすため、同社ではKubernetesを用いて、アドテクノロジー基盤システムを構築。一体どう実現したのか、アドテクスタジオ 青山真也氏が解説した。 アドテクの基盤システムにKubernetesを採用した3つの理由 サイバーエージェントでアドテクノロジー分野のサービス開発を行っている部署、アドテクスタジオ。そこに2016年新卒で入社して以来、インフラエンジニアとして活躍しているのが青山真也氏だ。「普段はOpenStackを使ったプライベートクラウドの構築・運用やKubernetesを使ったコンテナ基盤の構築およびクラウドネイ
酒日記 はてな支店
最初に3行でまとめ AWS CLIは便利です。しかし起動が遅いので、Goで実装された高速な(ただし機能は少ない)代替品を作りました。awslim といいます リリースバイナリは無駄に大きいので、必要な機能だけを組み込んだビルドを簡単にできるようにしてあります。ビルドして使うのがお勧めです どうぞご利用下さい github.com 以下はこれに至るまでの経緯とか、実装や使い方の話とかです。長いです。 作成の経緯 AWSの各種サービスにアクセスするための AWS CLI は、スクリプトやコマンドラインから処理を自動化するために大変便利なツールです。AWSでサーバーサイドの開発、運用している人であれば、ほぼ全員がお世話になっているんじゃないかと思います。 しかし、AWS CLI (コマンド名aws) には「起動が重い」という問題があるなとずっと思っていました。具体的には、aws --versio
インターン生の高橋です．iOS アプリや 社内 API などの開発を行なっています． GCP の新サービスである Cloud Run を利用したので，簡単にご紹介したいと思います． Cloud Run とは サーバレスとコンテナ化を統合した Google Cloud Platform の新サービス．現在ベータ版． 2019/4/9 に開催された Google Cloud Next カンファレンスで発表された． なぜ Cloud Run を使ったのか？ 1. サーバレス サーバ領域に意識を割くことなくサービスの中心となる開発を進められる．そして自動スケーリング，使用した分だけの課金で良い，という利点もある．ステートレスな関数の集まりとなるため，マイクロサービスと組み合わせることが多くなる． 2. Docker によるコンテナ化 Docker を用いたコンテナ化では，Dockerfile を用
【AWS】Next.js+LaravelをECS+Fargateにデプロイする時のアレコレ | yutaro blog
最近業務でNext.js+LaravelのアプリケーションをAWSのAmazon ECS(Fargate)にデプロイするタスクを担当しているので、デプロイするにあたりNext.js側、Laravel側でやっておくこと、エラー対応などをまとめておく。 ECSへのデプロイはEC2へのデプロイに比べそもそもネットに情報が少ないECSの中でもデータプレーン（コンテナ実行環境）にEC2を使った記事が多くFargateを使った記事はかなり少ないECS+Fargateへのデプロイでも本記事のようなフロントエンド+APIの構成のデプロイ例はマジで少ない という状態で結構苦戦したので、自分で苦戦したことを残しておくとともに同じ構成でデプロイする方に向けて参考になれば嬉しいです。 ECS、ECR、Fargateについての技術説明・全体的なデプロイ作業の手順についてはこの記事では扱わないが、この記事（というかZ
本題に入る前に、随分日にちがたった記事ですが、目に留まったので、大事なことだと思い言及させていただこうと思いました。 ameblo.jp ただ言及するにしても、別に反対の意見があるとか、批判の気持ちがあるのではなく、ただただ同意で注意喚起としてageさせてもらいたく、私自身もオンラインサロンというものに少し興味を持った身であるので、自戒を込めてこの記事をフィーチャーさせていただきたいという思いでこの記事を書いております。 さて、私のブログのスタイルですが、2005年くらいにはてなダイアリーで改変ブログというジャンルで躍起になって書いていた時期がございまして、引用元のブログの文体やメッセージをそのままにしつつも、自分の書きたいテーマに書き換えて記事を書いていたものでした。 もうそういった記事を量産することにも少々飽きがきたようで、最近では書きたいことがあっても書ける時間があるとは限らずに、投
AWSエンジニアがAlibaba CloudのECSを理解する為の比較解説｜Engineers' Blog｜SBクラウド株式会社 - SBクラウド株式会社
1. イントロ 2. 仮想サーバー 3. ログイン手順 4. インスタンスタイプ 5. イメージとマーケットプレイス 6. ブロックストレージ 7. コスト 8. オートスケーリング 9. コンテナサービス 10. 高性能コンピューティング 11. あとがき 1. イントロ 技術課の牛嶋です。私が業務を通じてユーザと接する中で、Alibaba Cloudを導入する上で障壁の１つとなるのが学習コストだと分かってきました。 その障壁を小さくする為、元AWSエンジニアとして、AWSの製品や機能の観点を用いた、Alibaba Cloudの類似点と相違点を解説したいと思います。これにより、AWSに精通しているエンジニアがそのノウハウを活かしてAlibaba Cloudのサービスを理解できるようになるという事を期待しております。 今回は以下ECSを始めとした仮想サーバーに焦点を当てたいと思います。 製
TL;DR 3行で。 シンプルで セキュアな Ruby on Rails on ECS by Terraform を作りました。 目次 はじめに 本構成のテーマ リポジトリ アーキテクチャ Terraform側のTips Rails側のTips さらなるカスタマイズ はじめに ここ数年、業務やプライベートで様々なパターンのRuby on Rails + AWS ECS構成を構築してきました。 例えば、構築したことがるパターンを要素ごとに列挙するとざっと以下のようになります。 フロント部分 ALBのみ CloudFront -> ALB assetsのみCloudFront ECS 起動タイプEC2 起動タイプFargate 2種の混在 デプロイパイプライン 全部GitHub Actions Capistrano + ecs-cli CodePipeline + CodeBuild Code
ecspresso v2とTerraform null_resourceで一発構築 - KAYAC Engineers' Blog
SREチームの藤原です。 この記事はTech KAYAC Advent Calendar 2022 5日目の記事です。 この記事では筆者が開発しているAmazon ECSデプロイツール ecspresso (v2)と、Terraformのnull_resourceを組み合わせて、 TerraformによるECS関連リソース作成とecspressoによるECSサービスのデプロイを一発で実行する手法について説明します。 ecspresso とは github.com ecspressoは筆者(fujiwara)が開発している、Amazon ECS用のデプロイツール(OSS)です。ECSにタスク定義とサービスをデプロイするツールはAWSが作っているものを含めて世の中に多々ありますが、ecspressoは次のような特徴を持っています。 Go 言語で書かれた OSS (MIT LICENSE) です
AWS Cloud Development Kit(CDK)でURL短縮サービスを作ってみた | DevelopersIO
サーバーレスなURL短縮サービスを Python 版 AWS CDK で作るウェビナーを見つけたので、動かしてみました。 最終的には下図のようなサーバーレスなインフラを構築します。 ※図はウェビナーから引用 構築された URL 短縮サービスを触ってみます。 targetUrl に URL を渡し、短縮 URL を生成します。 $ curl https://go.example.info?targetUrl=https://aws.amazon.com/cdk/ Created URL: https://go.example.info/4692efec 短縮 URL でアクセスすると、元の URL にリダイレクトされます。 $ curl -I https://go.example.info/4692efec HTTP/2 301 date: Wed, 09 Oct 2019 10:03:35
自己紹介 はじめまして。DELISH KITCHENバックエンドチームのマネージャーをやっている内原です。 本日はDELISH KITCHENにおける、バックエンド観点でのシステム紹介を行います。この紹介によりDELISH KITCHENの開発に興味を持ってもらえると嬉しいです。 はじめに DELISH KITCHENのサービス全体像とバックエンドシステムの構成や仕様などを紹介します。 ご覧の通り、複数のマイクロサービスが様々なミドルウェアを利用しつつ、DELISH KITCHENサービスの提供を実現しています。 DELISH KITCHENのサービス全体像 DELISH KITCHENの一番主要な機能は、レシピ動画を提供することでお客様の料理体験をよりよいものにすることです。 これだけ聞くと、単に動画を配信しているだけのサービスのように思われるかもしれませんが、実際には料理にまつわる様々
SREチームの橋本です。SRE連載の3月号となります。 Amazon ECSのコスト最適化においてはFargate Spotが有効な手段となりますが、いつ中断されるか分からない性質上、その監視も併せて実施していく必要があります。今回はそのFargate Spotを本番環境で運用しているプロジェクトにおける取り組みを紹介します。 背景 Fargate (Amazon ECS on AWS Fargate) を用いると負荷に合わせた容易なスケーリングが可能になる一方、このときCPU使用率の安全マージンや予測のブレなどにより、リソースがやや過剰になってしまうこともあります。 Fargate Spotの代表的なユースケースと言えばユーザーに露出しない開発環境ではないかと思いますが、このような場合にコストを考えると、タスクの中断をある程度許容しての本番環境でのFargate Spot運用も可能な選択
本記事は 基盤デザインウィーク 8日目の記事です。 🌈 7日目 ▶▶ 本記事 ▶▶ 9日目 💻 はじめに ecscheduleとは 「スケジュールされたタスク」 Amazon EventBridgeについて 構成図 コード体系 ecschedule.yaml target.json 構築手順 0. 前提 1. 必要リソース構築(dev) 2. ecschedule dump(dev) 3. 設定ファイルの修正 4. ecschedule apply(prod) 検証中にハマったポイント 1. ecschedule dumpコマンドが成功しない 2. 別リージョンからtfstateの読み込みは出来ない 3. サブコマンドからリソース削除が出来ない まとめ はじめに こんにちは、加藤です。 以前ecspressoについての記事を書きました☕️ tech.nri-net.com 今回はecs
docker-compose で作る nginx + PHP-FPM7 + HTTP/2 に対応したモダンな WordPress 開発環境 | Recruit Tech Blog
はじめに 前回のエントリで Docker ( docker-compose ) を使った nginx + HTTP/2 + PHP-FPM7 + MySQL 環境の構築方法をご紹介しました。 docker-compose による nginx + HTTP/2 + PHP-FPM7 + MySQL 環境の構築方法 これまでは WordPress ないし PHP の動作環境をローカルマシン上に構築するとなると、XAMP や MAMP といったオールインワンパッケージをインストールしたり、VCCW と VirtualBox で仮想環境を構築するといった手法が考えられました。個人開発やちょっとした動作検証程度であればまだしも、環境ごとへの依存性が強いこれらの手法では、開発者間やローカルマシンと本番サーバとの間で環境を全く同じ状態にするのに困難を極めることでしょう。 Docker はシンプルかつ軽量
GitHub Actions から、ECS でのワンショットタスクを実行する - LayerX エンジニアブログ
この記事は、6月から始まっている #LXベッテク月間 6日目の記事です。 昨日は talos さんの 「そろそろあの課題着手しなきゃ！」チームに日々蓄積されるIssueを、Notionで簡単にプロジェクト化〜TODO管理する方法 でした 🐬 バクラク請求書でリードエンジニアをしている @yyoshiki41（中川佳希）です！ 最近たどり着いた git で差分があるか確認するコマンドは、git diff --exit-code --quiet です。 バクラクシリーズでは先月（2022年5月）、経費精算をリリースしました！ 今後も更にコーポレート業務全体のデジタル化をサポートしていきます。 この記事では GitHub Actions から ECS でのワンショットタスクを実行する仕組みを紹介します。 処理の流れ このあたりは先駆者となるツールも複数ありますが、Actions 上で実現したい
RedashをFargate, Datadog, Terraformで構築/運用する - Timee Product Team Blog
こんにちは、タイミーSREチームの宮城です。 今回は弊社がRedashをFargateで構築/運用している話を紹介します。 背景 タイミーでは、CSやセールスのKPI策定から毎月の事業数値に至るまで、Redashが様々な用途で活用されています。 Fargateで構築する以前はEC2上のdocker-composeで運用されていましたが、以下の課題がありました。 オートスケールできないため、クエリが詰まってCPUが100%になってサービスが停止する。 その度slack上から再起動していた セットアップしたエンジニアが退社しており、インフラ構成図やノウハウの共有、IaCによる管理ができていない。 クエリやダッシュボードなどのデータの定期的なバックアップができていない。 v7系からv8系へのアップデートがしたいが、アップデートによる影響範囲がわからず恐怖感がある。 事業に大きく関わるサービスなの
旧聞ですが、2023/11/13からAmazon ECSが冪等なタスク起動をサポートし、副作用無しに再試行、複数回呼び出せるようになりました。 現時点では、以下のECS APIが冪等性をサポートしています。 CreateService CreateTaskSet RunTask 冪等性を実現する場合、主に次の2通りがあります。 複数回呼び出される前提で、アプリを冪等に実装 一度しか呼び出されない前提で、アプリをシンプルに実装 Amazon SQSを例に取ると、at least onceなスタンダードキューが前者で、exactly onceなFIFOが後者です。 今回のECSアップデートは後者です。ECSタスクの冪等起動対応により、ライブラリ･フレームワークの力を借りながら頑張って冪等に実装していたタスクを、シンプルに実装できるようになることが期待できます。 ポイント 重要なポイントを述べま
はじめに 最近、AWS CDKでコンテナ関連のリソース構築をしておりますが、コンテナリソースをどこまでCDKで実装するべきかが大きな悩みの種でした。 今回、コンテナ周辺のリソースをCDK、コンテナ本体のリソースをecspressoで構築した為、構築内容の紹介となっています。 ecspressoとは ECSサービス、タスクに関わる最小限のリソースをコード管理する事ができるツールです。 CDKを使う中で「CDKでサービス定義、タスク定義をするのは運用上厳しい」と感じた為、 CDKでサービス定義、タスク定義以外のリソースを構築 ecspressoでサービス定義、タスク定義、デプロイにも利用 ecspressoの外部参照機能（後述）を利用し、CDKで定義したリソースを取り込み といった構築の仕方をしています。 動作環境 cdk 2.59.0 ecspresso v2.1.0 構築内容 今回はサンプ
2017/12/08 追記 この記事もだいぶ古くなってしまったので、今となっては必ずしも最新の状況をあらわしていない箇所があります。 というわけで、新しめの情報について書きました！ DELISH KITCHENをECS移行した話(前編)をご参照ください！ はじめに 若干タイトル詐欺になってしまいますが、結論から言うとまだサービス運用開始には至っていません。 本当なら、実際にこういうふうに運用しているよ！という情報を発信できればよかったのですが、まだ経験値が足らないという結論に至りました。 これを書いた経緯 Amazon EC2 Container Service(ECS)でサービス運用をしたいと思ってググってみた わりとたくさん情報が出てくるは出てくるんだけど、サンプルを動かしてみたとか簡単な紹介のみに終始しているものが多くて、具体的な実装例に言及しているものはあまりなかった（もしくは見つ
２年半近く前に書いた AWS ECS Fargate のCPU性能と特徴 | 外道父の匠 の続編になります。 そんなに楽しくはないけど、知っておいて損はない、くらいの調査と考察になります:-) 前口上 ちょうど１年前に FARGATE のリソース天井が上がりました。今回は、ほぼそれを区切りにした結果になっていると思います。 AWS Fargate でコンピューティングとメモリのリソース構成が 4 倍に増加 vCPU 条件と Availability Zone を変え、３タスクずつ起動し、出現したCPUモデルをメモっていきました。ついでに軽量ベンチマークとして前回同様 OpenSSL speed をカマしておきました。 関係ないけどコンテナイメージは amazonlinux:2 です。では結果をどうぞ。 出現CPUモデル CPUアーキテクチャを選べるので、それぞれについて。 ECS Farg
Continuous delivery of container applications to AWS Fargate with GitHub Actions | Amazon Web Services
AWS Open Source Blog Continuous delivery of container applications to AWS Fargate with GitHub Actions At the day two keynote of the GitHub Universe 2019 conference on Nov 14, Amazon Web Services announced that we have open sourced four new GitHub Actions for Amazon ECS and ECR. Using these GitHub Actions, developers and DevOps engineers can easily set up continuous delivery pipelines in their code
クラウドネイティブ時代のプロキシTraefikのDocker入門 - 弁護士ドットコム株式会社 Creators’ blog
こんにちは。税理士ドットコム事業部の @komtaki です。 先日、税理士ドットコムの local 環境に「クラウドネイティブ時代のリバースプロキシ」Traefikを導入しました。プロキシサーバーの候補として最初に思いついたのは nginx でしたが、最終的には、設定ファイル不要で compose.yml だけで完結する Traefik に決めました。 そこで本記事では、Docker を前提としたコンテナのラベルでの設定方法など、導入の過程で調べた Traefik を使うために必要な情報をまとめています。 なお Traefik にはロードバランサーの機能もあるのですが、ここではプロキシの機能に焦点を当てて説明します。 Traefik とは 主な特徴 Docker での基本的な設定 Traefik の本体の設定 ラベルでサービスごとの設定 ポート検知 ルーティングの設定 代表的なルールの設
Amazon ECS Capacity Provider と Fargate Spot と ECS Cluster Auto Scaling を整理する - 平常運転
ラスベガス帰りの id:astj です。 今年も re:Invent ではたくさんのサービスリリース/アップデートがあって目が回るような思いでした。現地にいたからキャッチアップできた中身もあれば、しれっとリリースされていて現地でセッションを聞いてるだけだと気づきそびれた中身もあって物量に圧倒されております。 さて、本稿では2019年の re:Invent で発表された ECS 関連のリリースのうち、以下の3つを中心に整理してみようと思います。 Amazon ECS Capacity Provider AWS Fargate Spot AWS ECS Cluster Auto Scaling 遅くなりましたが（ダブルミーニング）、このエントリは はてなエンジニア Advent Calendar 2019 の12/9分のエントリです。ラスベガス時間ではまだ 12/9 ではないでしょうか。そうい
GitHub ActionsからECSとECRへのCI/CDを最小権限で実行したい | DevelopersIO
こんにちは！コンサル部のinomaso(@inomasosan)です。 前回、GitHub ActionsからECSのCI/CDについて試してみました。 その際、GitHub ActionsにはAWS管理ポリシーによる強めの権限を付与して検証しました。 本番運用を考慮する場合は、FullAccess等の強い権限だと思わぬ事故につながります。 今回はセキュリティの観点から、GitHub Actions用にIAMポリシーの最小権限例を作成してみました。 構成図 GitHub ActionsのDeploy to Amazon ECSテンプレートからワークフロー実行する際の大まかな構成図となります。 今回はIAMポリシーのActionとResourceをメインに権限を見直していきます。 IAMポリシーの最小化権限例 今回作成したIAMポリシーは以下の通りです。 ＜＞で囲った値は、ご自身の環境毎の値
ECS Execに対応した ecspresso v1.5.0 をリリースしました - 酒日記 はてな支店
Amazon ECS のデプロイツール、ecspresso の v1.5.0 をリリースしたのでお知らせです。 github.com 今回は Amazon ECS Exec という新機能対応が目玉です。ほかにもお送りいただいたPRを取りこんだ各種修正が入ったリリースになります。どうぞご利用ください。 PRをお送りいただいた皆様、ありがとうございました！ 新機能 ECS Exec への対応を追加しました ホストから docker exec するように、Fargate に対しても起動しているコンテナに入ってコマンドを実行できる ECS Exec 機能がリリースされています。 aws.amazon.com ecspresso v1.5 では exec コマンドを追加して、AWS CLI なしで exec できるようにしました。session-manager-plugin は必要です。 exec
Amazon ECS での Bottlerocket の始め方 〜 コンテナ向けのセキュアな Linux ディストリビューション | Amazon Web Services
Amazon Web Services ブログ Amazon ECS での Bottlerocket の始め方 〜 コンテナ向けのセキュアな Linux ディストリビューション この記事は Getting started with Bottlerocket and Amazon ECS を翻訳したものです。 2021年 6 月 30 日に、Amazon ECS に最適化された Bottlerocket の AMI が一般提供され、Amazon ECS が Bottlerocket をサポートしたことを発表しました。Bottlerocket はセキュリティとメンテナンス性を重視し、コンテナベースのワークロードをホスティングするための信頼性と一貫性のある Linux ディストリビューションを提供するオープンソースプロジェクトです。 この記事では、Amazon ECS で Bottlerocke
インターンでAWS ECSを使って機械学習プログラムを自動化した話 | Geppoプロダクトブログ｜テッシー
こんにちは！従業員のコンディション変化発見ツールのGeppoで6月から2ヶ月ほどインターンとして働いていた中村哲史です。 現在、南カリフォルニア大学3年生でコンピューターサイエンスとビジネスを勉強しています。 今回はインターン期間中にやったことの中で一番苦労した、機械学習を用いたデータ分析の自動化について書いていきます。 データ分析の内容自体は自分で作ったものではないのでここでは触れず、あくまでプログラムの自動化部分に集中しようと思います。 動機データサイエンティストがせっかく機械学習を使用したデータ分析プログラムを開発したのに、プログラムの専門性の高さから開発した本人しか使い方が分からないという問題がありました。 そこで、モデルの学習および学習済みモデルを用いた解析を自動化し、結果をデータベースに保存しておくことでプロダクトチームの誰でも分析結果を有効活用できるようにしました。 構成の検
趣味で運営していたサービスたち，今まではEC2の上にdocker swarmで構築していたのだが，いよいよECSに載せ替えた． 基本terraform構築 ALBでhost-based routing ECSに使うインスタンスはAutoScalingGroupとSpotFleetとのハイブリッド cronはECS ScheduledTaskに移動 みたいな感じになった． 動機 そもそもなんで変更する必要になったのかというと， iOS版Twitterクライアントのバックエンドサーバを閉じたのがきっかけ 自前Let's entryptがめんどくさい ReservedInstanceの期限が切れる 計算した感じRIよりSpotの方が安い デプロイ自動化したい という流れ． サーバを一つ閉じたことをきっかけに掃除がしたくなった． 目指す構成 ECS Clusterはひとつだけ作る．ALBもひとつだ
Fargateで起動するコンテナのログをFluentd経由でS3に保存してみた | DevelopersIO
現状、Fargate上のコンテナが利用できるログドライバーはawslogsのみです。つまり、アプリケーションログ（標準出力）の集約先としてはCloudWatch Logsしかありません。 「それはわかっている。でもどうしてもFluentd経由で外部にログを送信したいんだ。。」 そんなことがありました。ということで今回はFargate上で起動するコンテナのログをFluentd経由で外部に送信する方法を紹介したいと思います。 ログ転送イメージ アプリケーションコンテナおよびFluentdコンテナで共有ボリュームをマウントします。アプリケーションコンテナはそのボリューム上にログを出力し、Fluentdコンテナはそのログ参照します。 ECSの言葉でいうと、1つのTaskにアプリケーションコンテナ、Fluentdコンテナ、およびVolumesを定義し、両コンテナのMountPointsで同一のVol
ホットデプロイが流行っているらしいので。 github.com hakoはECS用のデプロイツールで社内ではいろいろと使われています。 ALBと組み合わせて使うと、頑張っている感じのホットデプロイまわりがシンプルになってよいです。 まだ正式にはALBに対応していないのですが、使う方法を後ろの席の人が教えてくれたので、メモしておきます。 2016/09/07 ALBに対応したようです。 https://github.com/eagletmt/hako/pull/11 hakoのインストール gemでインストール。 gem install hako EC2インスタンスの準備 とりあえず適当なインスタンスがあればいいのでecs-cliでインスタンス群を起動。 ecs-cli configure \ -r ap-northeast-1 \ -c hello-hako ecs-cli up \ --
AWS FargateでFireLens（Fluent Bit）を最小構成で起動し、ECS ExecでFireLensコンテナに入ってみる | DevelopersIO
rain deploy時のパラメータ指定。VPC ID、サブネットIDはご自身の環境に合わせ変更してください。 rain deploy ./fargateWithFirelens.yml fargateWithFirelens-stack --params \ AppName=webapp,\ ClusterName=cluster,\ DesiredCount=1,\ Environment=test,\ ImageNameFirelens=public.ecr.aws/aws-observability/aws-for-fluent-bit:latest,\ ImageNameWebApp=public.ecr.aws/nginx/nginx:latest,\ ProjectName=minimum,\ PublicSubnet1=subnet-043566448c316b46a,\
ECSにおけるインスタンスのENI制限が大幅に改善されネットワーク設計が簡単になりました！ | DevelopersIO
「おま、これ、めっちゃECSのネットワーク設計、簡単になるやんけ！」 Amazon ECS Improves ENI Density Limits for awsvpc Networking Mode 従来のホストインスタンスを利用するECSにおいては、インスタンスのENI上限により、コンテナ周辺のネットワーク設計が複雑になるというデメリットがありました。 今回、そのENIの上限数が大幅に緩和されたことにより、ECS（on EC2）において苦労していた動的ポートマッピングなどのネットワーク設計が非常に簡単になる可能性があります。是非、このアップデートを存分に味わって、ステキなECSライフを送っていただければ。 （祭） ∧ ∧ Y ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉 ENIｲﾛｲﾛ ﾏﾂﾘﾀﾞﾜｯｼｮｲ |_|＿| し'´Ｊ 今回のアップデート内容 ECSで利用する際の、EC2イン
何問わかるかな？AWS FireLens（Fluent Bit利用版）クイズ！！！ - LayerX エンジニアブログ
こんにちは。バクラク事業部Platform Engineering部DevOpsチームの@civitaspoです。 7月はLayerXエンジニアブログを活発にしよう月間 ということで、この記事ではAWS FireLensに関する情報をクイズ形式でお届けします。 みなさんはAWS FireLensを使っていますか？弊社ではAmazon ECS上にアプリケーションをホスティングしており、AWS FireLensを利用してログ収集・ログ送信を行っています。AWS FireLensは非常に便利です。一方、AWS FireLensは奥が深い挙動をすることもあります。この記事ではそんなAWS FireLensを深く理解するための情報をクイズ形式でお届けしてみることにしました。僕が知る限りの情報を詰め込んでみたのでAWS FireLensを深く理解したい方に届けばいいなと思います。 AWS FireLe
この記事はscouty Advent Calendar 2018 の3日目です． ECSで動かしているサービスのスケジュールジョブが多くなってきた． もともとECS Scheduled Taskを使っていたんだけど，数十個レベルになってくると，これで管理するのはだいぶつらい． というわけでRundeckを構築したメモ． そもそもECS Scheduled Taskやる気あんの？ ECS Scheduled Taskの辛いところ． Scheduled Taskは既存のTaskDefinitionを上書きしてタスクを実行するため，Override用にjsonでTaskDefinitionの一部を与える必要がある Scheduled Taskの一覧画面はあるのだが，そこから「何時に，どのタスクIDで実行されたか」を知る術がない そんなだから，タスクが正常に終了したのか，何かのエラーで途中終了した
こんにちは、かたいなかです。 以前、ECSがCodeDeployによるBlue/Greenデプロイに対応したことをお伝えしました。 今回は、CodePipelineからECS+CodeDeployへのデプロイを行うことで、CodeBuildでDockerイメージをビルドし、ビルドしたイメージをもとにタスク定義の新しいリビジョンを登録、ECSのサービスを更新するといった一連の流れを自動で行えるようにする方法をご紹介します。 構築するパイプラインの概要 今回は、以下のようなパイプラインを構成します。 GitHubの特定のブランチを変更を契機に処理を開始します。CodeBuildでイメージをビルドし、ECRにプッシュします。そして、最後にCodeDeploy + ECSを使用してデプロイを行うという流れです。 手順 では、実際にやっていきましょう。 設定としては以下の流れで進めます。 CodeD
こんにちは！ ZOZOテクノロジーズ開発部の塩崎です。 この記事ではCloudFormationにDBのマスタパスワードなどの秘密情報を渡す3つの方法を説明いたします。 前提 我々のチームではAWSインフラリソースのプロビジョニングにCloudFormationを使用しています。 CloudFormationのテンプレートファイルはGitHubでバージョン管理されており、スタックに対するチェンジセットの作成をCircleCIから行っています。 このあたりの詳細は以下の記事に書かれているため、詳細はそちらをごらんください。 techblog.zozo.com 課題 このような方法でCloudFormationテンプレートを管理していましたが、それに伴う課題が生まれました。 DBのマスタパスワードなどの情報をどのようにして渡すかということです。 テンプレート内で使用するためのパラメーターは以下
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ECSで作業用のタスクをサクッと作るためのツールを作成した - カンムテックブログ
Datadogで深夜バッチの失敗アラートを営業時間に受け取る方法 - Classi開発者ブログ
突撃！隣のDevOps 【アカツキ編】 | DevelopersIO
サイバーエージェントがKubernetesで独自に構築！ アドテク特化のコンテナ基盤とは？
GCPの新サービス「Cloud Run」を「Django」で試す — HACK The Nikkei
「自分もDockerを始めようかなぁ」と思われている方へ - 東京六輪
シンプルでセキュアなRails on ECSのTerraformによる実装 - Qiita
DELISH KITCHEN のサービスとバックエンドシステムのお話 - every Tech Blog
Fargate Spotを本番運用するための監視の実践 - KAYAC Engineers' Blog
Scheduled tasks(ECS)をecscheduleで管理してみた - NRIネットコムBlog
Amazon ECSタスクを冪等に起動できるようになりました | DevelopersIO
AWS CDK + ecspressoでAWSコンテナリソースの管理をラクにしよう！ - Qiita
AWS ECSでサービス運用するために必要（そう）なこと - Qiita
続・AWS ECS Fargate のCPU性能と特徴 2023年版 | 外道父の匠
趣味サービスのインフラをAWS ECSに載せ替えた - PartyIX
ECS+ALB+hakoでホットデプロイ - so what
RundeckをECS上に構築してGitHubログインできるようにする - PartyIX
CodePipelineからECSにBlue/Greenデプロイする | DevelopersIO
CloudFormationテンプレートに秘密情報を渡す方法 - ZOZO TECH BLOG