以下のイベント「Security-JAWS DAYS」で発表した際の登壇資料です。 https://s-jaws.doorkeeper.jp/events/155024
ECS on Fargate のセキュリティ対策は何をやるべき？開発者目線で考える/security-for-ecs-on-fargate-secjawsdays
以下のイベント「Security-JAWS DAYS」で発表した際の登壇資料です。 https://s-jaws.doorkeeper.jp/events/155024
https://lancersrecruit.connpass.com/event/219434/ 【SPACEMARKET×Lancers】シェアリングエコノミーを支えるインフラ/SREでのスライドとなります。
【衝撃に備えろ】Fargate PV1.4のVPCエンドポイント変更点について | DevelopersIO
こんばんわ、札幌のヨシエです。(亜人大好きです、よつばと！と同じぐらい好きです) コンテナ業界盛り上がってますね、中でもFargateのプラットフォームがアップデートされ様々な新機能が追加されてます。 挙げるとキリがないですがFargate PV1.4からコンテナエンジンがDockerからcontainerdに切り替わり、様々な変更が加えられております。 詳しくは↓をご確認ください。 その中でFargate(PV1.4)の発表があった時は「あーはいはい、中身が変わるんですね。わかりました。まぁコンテナホストのバージョンが上がってもコンテナが起動することだけ確認すれば良さそうっすね」と考えておりましたが、 AWSドキュメントに以下の記載を確認しました。 Fargate 起動タイプおよびプラットフォームバージョン 1.3.0 以前を使用する Amazon ECS タスクでは、この機能を活用する
EKS on Fargate：virtual-kubelet の違い + Network/LB 周りの調査 - @amsy810's Blog
EKS on Fargate こんにちは。 サイバーエージェントの青山（@amsy810）です。 この記事は Kubernetes3 Advent Calendar の 4日目の記事です（EKS #2 にもクロスポストしています）。 re:Invent で EKS 関連の何かしらの発表がされることを見越して Advent Calendar を埋めたので、書くネタが見つかってホッとしています。 KubeCon 会期中に 「Managed Worker Node for EKS」 がリリースされ歓喜の声が上がりましたが、今回は re:Invent で 「EKS on Fargate」 がリリースされ歓喜の声が上がっているようです。 今回は EKS on Fargate のアーキテクチャを見ていきたいと思います。virtual-kubelet と近いと思ってますが果たして。 （EKS on Fa
【AWS】Next.js+LaravelをECS+Fargateにデプロイする時のアレコレ | yutaro blog
最近業務でNext.js+LaravelのアプリケーションをAWSのAmazon ECS(Fargate)にデプロイするタスクを担当しているので、デプロイするにあたりNext.js側、Laravel側でやっておくこと、エラー対応などをまとめておく。 ECSへのデプロイはEC2へのデプロイに比べそもそもネットに情報が少ないECSの中でもデータプレーン（コンテナ実行環境）にEC2を使った記事が多くFargateを使った記事はかなり少ないECS+Fargateへのデプロイでも本記事のようなフロントエンド+APIの構成のデプロイ例はマジで少ない という状態で結構苦戦したので、自分で苦戦したことを残しておくとともに同じ構成でデプロイする方に向けて参考になれば嬉しいです。 ECS、ECR、Fargateについての技術説明・全体的なデプロイ作業の手順についてはこの記事では扱わないが、この記事（というかZ
EKSコンテナ移行のトラブル事例：FargateにおけるAZ間通信遅延の解消 - MonotaRO Tech Blog
こんにちは！SREグループ コンテナ化推進チームの楠本です。 EKSへのコンテナ移行では、これまで紹介した記事以外にも様々なトラブルがありました。 EKSコンテナ移行のトラブル事例：ALBの設定とPodのライフサイクル管理 - MonotaRO Tech Blog EKSコンテナ移行のトラブル事例：推測するな計測せよ -CoreDNS暴走編- - MonotaRO Tech Blog 今回のトラブルでは、コンテナ移行に伴ってSLOが未達状態になりエラーバジェットを急激に消費してしまいました。 その対策としてマルチAZ間の通信遅延の解消をEKS on Fargateで実施したお話をご紹介します。 先に断っておくと私自身がアプリケーション開発者だったため、 インフラの話は都度インフラの方からサポートを受けながら対応しました。そのためズレている点などあればご了承ください。 VMからEKS on
[Terraform]ECS FargateでFireLensを使って複数サービスにログ出力する | DevelopersIO
こんにちは！コンサル部のinomaso(@inomasosan)です。 ECS FargateでFireLensからCloudWatch LogsやKinesis Data Firehoseへのログ出力を、Terraformでコード化したので紹介します。 検証にあたり、弊社の以下ブログを参考にしました。 そもそもFireLensって何？ FireLensは、複数のAWSサービスやAWSパートナーネットワーク(Datadog等)にログ出力することができます。 ECSタスク定義でサイドカーとして起動し、他のコンテナからログドライバーとして使用します。 コンテナイメージにはFluentdとFluent Bitを選択可能です。 今回の検証では、リソース使用率が低く、ログルータに推奨されているFluent Bitを使用します。 2021/11/6時点でFluent Bitでは、以下のAWSサービスに
![[Terraform]ECS FargateでFireLensを使って複数サービスにログ出力する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8a77b081e14c8d61a2e80498092f8ffb9b60da03/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Fterraform-eyecatch.png)
入門 EKS on Fargate - Qiita
プロダクションで EKS on Fargate を(できるだけ)使うことを目標に EKS on Fargate に入門します。 Managed Node Groupとの使い分けなどについてもまとめます。 ※ 本記事は 2019/12/14 時点の情報に基づいています。 Fargate、EKS on Fargateとは FargateはAWS上で「仮想マシンの管理なしにコンテナをデプロイできるサービス」です。 元々はAWS独自のコンテナオーケストレーションシステムであるECSの一機能と思われていましたが、EKS on Fargateが登場した今では、「ECS・EKSどちらでも動く、コンテナ化されたワークロード向けのサーバレスコンピュートエンジン」という体でブランディングされているようです。Fargateの公式ページ冒頭でも以下のように紹介されています。 AWS Fargate is a se
EC2で運用している分析基盤(Digdag + Embulk)をECS/Fargateに移行しました | ランサーズ（Lancers）エンジニアブログ
SREチームの安達(@adachin0817)です。最近ではランサーズ本家のインフラをコンテナに移行しまくっております。今回ランサーズとMENTAで運用しているEC2/分析基盤サーバー(Digdag + Embulk)をECS/Fargateに移行完了しました。では早速概要と苦労した点、今後の展望などを振り返っていきたいと思います。 分析基盤の紹介 > ランサーズの分析基盤(capybara)と運用について紹介 > MENTAをAWSに移行しました ちなみに私が入社して3年経つのですが、運用して変わったことは3年前よりデータの量が膨大になっていることと、現在、社内の分析チームにとって欠かせないシステムとなっております。その中でDigdagによるスケジューラーとEmbulkによるマルチソースバルクデータローダーである分析基盤専用のEC2サーバーがあり、毎日夜中にデータをBigQuryにシンク
RedashをFargate, Datadog, Terraformで構築/運用する - Timee Product Team Blog
こんにちは、タイミーSREチームの宮城です。 今回は弊社がRedashをFargateで構築/運用している話を紹介します。 背景 タイミーでは、CSやセールスのKPI策定から毎月の事業数値に至るまで、Redashが様々な用途で活用されています。 Fargateで構築する以前はEC2上のdocker-composeで運用されていましたが、以下の課題がありました。 オートスケールできないため、クエリが詰まってCPUが100%になってサービスが停止する。 その度slack上から再起動していた セットアップしたエンジニアが退社しており、インフラ構成図やノウハウの共有、IaCによる管理ができていない。 クエリやダッシュボードなどのデータの定期的なバックアップができていない。 v7系からv8系へのアップデートがしたいが、アップデートによる影響範囲がわからず恐怖感がある。 事業に大きく関わるサービスなの
AWS Fargate now fully supports multiline logging powered by AWS for Fluent Bit
Amazon ECS now fully supports multiline logging powered by AWS for Fluent Bit for both AWS Fargate and Amazon EC2. AWS Fluent Bit is an AWS distribution of the open-source project Fluent Bit, a fast and a lightweight log forwarder. Amazon ECS users can use this feature to re-combine partial log messages produced by your containerized applications running on AWS Fargate or Amazon EC2 into a single
MIXI でモンストサーバチームとセキュリティ室を兼務している、atponsです。 モンストサーバチームでは、モンスターストライクとは別に、モンスターストライク スタジアムというスマートフォンのアプリゲームのサーバ開発・運用を行っています。 モンスターストライク スタジアムは、モンスターストライクとプレイスタイルは同じながら、4vs4の最大8人まで同時対戦や練習モードなどを備えたアプリになっており、モンストのeスポーツ大会「モンストグランプリ」を開催する際にも利用されています。 開発体制の現状 モンスターストライク スタジアムは、初期の段階でモンスターストライクのコードから分岐する形で開発されているため、アップストリームの変更を順次取り込んでいくという仕組みで運用されています。そのため、サーバコードなどは別にあり、適宜新機能を取り込んでいきアップストリームと合わせていくという開発・運用フロ
はじめに こんにちは。レンティオの開発チームです（今回は長文となるため複数メンバーの合作でお届けします） レンティオでは、Infrastructure as Code ツール（Architecture as Code[1]と書くべきでしょうか）を Convox から AWS Copilot に移行するプロジェクトが今年6月ごろからスタートし10月に無事本番稼働が実現できました。 この記事では意思決定の経緯や切り替えにあたって工夫したこと、諦めたことなどを少し共有できればと思います。 サービス移行の話が中心ですが、初めて Copilot を導入する方も参考になる部分があると思いますのでぜひご覧いただければと思います！ ありがとう Convox 😉 レンティオではかなり前からコンテナ化されたアプリケーションを Amazon ECS で運用していて、アプリケーションで利用するリソース類（Ama
Spring Boot アプリケーションを AWS Fargate に最適化する | Amazon Web Services
Amazon Web Services ブログ Spring Boot アプリケーションを AWS Fargate に最適化する この記事は Optimize your Spring Boot application for AWS Fargate (記事公開日: 2022 年 7 月 25 日) を翻訳したものです。 中断や需要のピークに迅速に対応するには、起動時間を短縮することが重要です。それによってリソース効率を高めることができます。AWS Fargate では、基盤となるコンテナホストの面倒を見る必要はありません。しかしながら、コンテナとアプリケーションの起動時間を短縮するために、いくつかの変更が必要になることがよくあります。 この記事では、Fargate 上で実行される Java アプリケーションに適用する最適化手法について説明します。この記事では特に Java Spring B
２年半近く前に書いた AWS ECS Fargate のCPU性能と特徴 | 外道父の匠 の続編になります。 そんなに楽しくはないけど、知っておいて損はない、くらいの調査と考察になります:-) 前口上 ちょうど１年前に FARGATE のリソース天井が上がりました。今回は、ほぼそれを区切りにした結果になっていると思います。 AWS Fargate でコンピューティングとメモリのリソース構成が 4 倍に増加 vCPU 条件と Availability Zone を変え、３タスクずつ起動し、出現したCPUモデルをメモっていきました。ついでに軽量ベンチマークとして前回同様 OpenSSL speed をカマしておきました。 関係ないけどコンテナイメージは amazonlinux:2 です。では結果をどうぞ。 出現CPUモデル CPUアーキテクチャを選べるので、それぞれについて。 ECS Farg
Continuous delivery of container applications to AWS Fargate with GitHub Actions | Amazon Web Services
AWS Open Source Blog Continuous delivery of container applications to AWS Fargate with GitHub Actions At the day two keynote of the GitHub Universe 2019 conference on Nov 14, Amazon Web Services announced that we have open sourced four new GitHub Actions for Amazon ECS and ECR. Using these GitHub Actions, developers and DevOps engineers can easily set up continuous delivery pipelines in their code
Dockerfileとタスク定義の変更を既存のFargateに自動デプロイするGithub Actionsを設定した | DevelopersIO
Dockerfile とタスク定義ファイルが変更され、レポジトリに Push される度にプロセスを自動実行する Github Actions を設定します。 こちらの記事を参考にタスク定義が更新される度に既存環境の Fargate へ自動デプロイをする Github Actions を設定したので手順を書き残しておくことにしました。 参考: GitHub Actions からサクッと Fargate にデプロイしてみた ケースシナリオ Dockerfile とタスク定義ファイルが変更され、レポジトリに Push される度に以下のプロセスを自動実行する Github Actions を設定します。その際に任意の環境へ Assume Role しデプロイできるように設定します。 AWS 環境へ Assume Role する Docker イメージをビルドして既存の ECR へ Push する
【全世界待望】Fargateから共有ファイルストレージのEFSが使えるようになりました！ | DevelopersIO
今までユースケースとして待望になっていたFargateからのEFS利用が可能になりました。設定もそれほど難しくないので、不要なEC2を削減するチャンスです！ 「Fargateから共有ファイルストレージを使いたいんです…切実に…」 こういった要望を聞くことは、今まで非常に多くあり、私が直接聞いたお客様でも3件以上、ご要望を頂いておりました。そんななか、ついにFargateでEFSをサポートするというビッグニュースがはいってまいりました！ AWS Fargate launches Platform Version 1.4 Fargateのタスク間やサービス間でファイルストレージを共有するために、今までECS on EC2を使っていた構成では、そのEC2が不要になりECS on Fargateを利用できます。これは、えらいこっちゃですよ… FargateでEFSきたか…!!ホンマに…!? ( ﾟ
SREチームの橋本です。SRE連載の3月号となります。 Amazon ECSのコスト最適化においてはFargate Spotが有効な手段となりますが、いつ中断されるか分からない性質上、その監視も併せて実施していく必要があります。今回はそのFargate Spotを本番環境で運用しているプロジェクトにおける取り組みを紹介します。 背景 Fargate (Amazon ECS on AWS Fargate) を用いると負荷に合わせた容易なスケーリングが可能になる一方、このときCPU使用率の安全マージンや予測のブレなどにより、リソースがやや過剰になってしまうこともあります。 Fargate Spotの代表的なユースケースと言えばユーザーに露出しない開発環境ではないかと思いますが、このような場合にコストを考えると、タスクの中断をある程度許容しての本番環境でのFargate Spot運用も可能な選択
Amazon ECS Capacity Provider と Fargate Spot と ECS Cluster Auto Scaling を整理する - 平常運転
ラスベガス帰りの id:astj です。 今年も re:Invent ではたくさんのサービスリリース/アップデートがあって目が回るような思いでした。現地にいたからキャッチアップできた中身もあれば、しれっとリリースされていて現地でセッションを聞いてるだけだと気づきそびれた中身もあって物量に圧倒されております。 さて、本稿では2019年の re:Invent で発表された ECS 関連のリリースのうち、以下の3つを中心に整理してみようと思います。 Amazon ECS Capacity Provider AWS Fargate Spot AWS ECS Cluster Auto Scaling 遅くなりましたが（ダブルミーニング）、このエントリは はてなエンジニア Advent Calendar 2019 の12/9分のエントリです。ラスベガス時間ではまだ 12/9 ではないでしょうか。そうい
Announcing additional Linux controls for Amazon ECS tasks on AWS Fargate | Amazon Web Services
Containers Announcing additional Linux controls for Amazon ECS tasks on AWS Fargate Introduction An Amazon Elastic Container Service (Amazon ECS) task is a number of co-located containers that are scheduled on to AWS Fargate or an Amazon EC2 container instance. Containers use Linux namespaces to provide workload isolation—and with namespaces—even though containers are scheduled together in an Amaz
Amazon Web Services ブログ コンテナの世界での AWS Fargate の役割 2017 年、AWS は、AWS Fargate と呼ばれる大規模なコンテナを実行するサーバーレスサービスを導入しました。今日、お客様は毎週何百万ものコンテナをローンチしています。お客様が Fargate を好むのは、多くのインフラストラクチャにまつわる未分類の重労働から解放してくれるからだと繰り返し伝え聞いています。たとえば、お客様は EC2 フリートまたはコンテナランタイムのサイズ変更、スケーリング、パッチ適用、更新について責任を負う必要がなくなりました。 過去 2 年間で気付いたのは、Fargate は非常に斬新なアイデアであることから、お客様の中には大規模な AWS コンテナポートフォリオの特定のレイヤーに入れるのが難しいと感じていらっしゃる方もおられるということです。当社は、お客様
EKS for Fargateが出たので社内でファーストインプレッションの情報シェア会をやりました - inductor's blog
はじめに こんにちは。inductorです。 EKS for FargateがいよいよRe:Inventで発表されました。期待に胸を膨らませていた方も多いのではないでしょうか？ 今回は、EKS for Fargate楽しみだったけどまだ使っていない人や、Fargateよくわからんって人のために社内情報共有会を開いたのでその資料を展開します。 speakerdeck.com フィードバックお待ちしております＾ｗ＾
Spring BootのREST APIをAWS Fargateにデプロイしてみた | DevelopersIO
はじめに おはようございます、もきゅりんです。 皆さん、フレームワーク使ってますか？ 自分は特にジャバーではないのですが、本稿ではお勉強も兼ねて Spring Boot を使って Fargate に APIをデプロイしてみました。 なお、Spring Boot に詳しいわけでは全然ないので、淡々と公式ドキュメントに沿ってAPIを作り、Dockerイメージに仕上げます。 Fargate はちゃんと動くかだけを確認しておきます。 そのため、Spring Boot および Fargate がどんなものでどんな特徴があるのか、といったコンテンツはございません。あしからず。 そういった方には下記 Fargate ブログは適切です。 基礎から応用までじっくり学ぶECS Fargateを利用したコンテナ環境構築 #Fargate | Developers.IO やること Spring Boot でRES
ECS Fargate/Python におけるNAT ゲートウェイのアイドルタイムアウト (350秒) 対処法 - Qiita
こちらは iRidge Advent Calendar 2020 20 日目の記事です。 サーバーサイドエンジニアの @orfx がお送りします。 TL;DR AWS の NAT ゲートウェイには通信のアイドル状態が350秒以上続くと、タイムアウトする仕様があります。 インターネット接続が 350 秒後に中断される 問題 インスタンスはインターネットにアクセスできますが、350 秒後に接続が切断されます。 原因 NAT ゲートウェイを使用する接続が 350 秒以上アイドル状態のままになっていると、その接続はタイムアウトします。 ソリューション 接続が中断されないように、接続を介して追加のトラフィックを開始することができます。または、インスタンスで、350 秒未満の値で TCP キープアライブを有効にできます。 NAT ゲートウェイのトラブルシューティング この仕様によって、例えばリクエスト
はじめに 「AWSにコンテナをデプロイして稼働させたい！」 と思っている方は多いかと思います。 ただ、「理解ができん」「むずくね？」と挫折する人がいます。 ポイントを抑えれば、簡単と言うことをこの記事ではお伝えしたいと思います。 今回の記事は、AWS Fargateの 「 Hello World !」 と思っていただけたらと思います。 この記事の対象者 Fargateを勉強したい方 Fargateに興味ある方 ※初心者向けです 本題 1. 事前知識 マネージコンソールで操作をする前に以下を理解してから始めましょう。 ★コントロールプレーン & データプレーン まずは、ここの理解が必要です。Fargateを調べていると "ECS"やら "EKS"が出てきて混乱してしまします。その部分の整理をまずはしましょう。コンテナを運用していくにあたり、「コントロールプレーン」と「データプレーン」の2つに
なんとなく「Fargate for EKS」が分かった気になる？ ～ いろいろなギモンを調べてみた ～ #reinvent | DevelopersIO
みなさん、こんにちは！ AWS事業本部の青柳＠福岡オフィスです。 re:Invent 2019、12/3 (現地時間) に行われた Andy Jassy Keynoteで、コンテナ界隈 (？) には待望の「Fargate for EKS」が発表されました。 私も早速「やってみた」ブログを公開しましたが、ごくシンプルなサンプルを動かしてみただけですので、イマイチ「ピン」と来ない方がいらっしゃるかもしれません。 (と言うか、私もピンと来ていないところがあります) また、「今までのEKSとどう違うの？」とか「何ができて何ができないの？」など、いろいろな疑問も出てくると思います。 (はい、私もいろいろ疑問が湧いてきました) そこで、まずは、公開されているドキュメントベースで「Fargate for EKSとは何ぞや？」について調べてみましたので、みなさんにご紹介したいと思います。 「Fargate
REALFORCEのMacテンキーレス版、US配列(！)が2019/12/12より発売するとのことで、首を長くして待っているもこ@札幌オフィスです。 つい先月GitHub ActionsがGAし、GitHub単体でお手軽にCI/CDができるようになっています。 あまり触れられていない気がしますが、AWS公式からもGitHub Actionsをいい感じに使えるテンプレートが公開されていますので、今回はこのテンプレートを使ってFargate環境にデプロイして行こうと思います！ Amazon Elastic Container Service で複数の GitHub Actions が公開 テンプレートから作成していく 早速やっていきましょう。 リポジトリ > Actions からDeploy to Amazon ECSを選択します。 こんな感じでテンプレートが作られるので、右上からMaster
AWS FargateでFireLens（Fluent Bit）を最小構成で起動し、ECS ExecでFireLensコンテナに入ってみる | DevelopersIO
rain deploy時のパラメータ指定。VPC ID、サブネットIDはご自身の環境に合わせ変更してください。 rain deploy ./fargateWithFirelens.yml fargateWithFirelens-stack --params \ AppName=webapp,\ ClusterName=cluster,\ DesiredCount=1,\ Environment=test,\ ImageNameFirelens=public.ecr.aws/aws-observability/aws-for-fluent-bit:latest,\ ImageNameWebApp=public.ecr.aws/nginx/nginx:latest,\ ProjectName=minimum,\ PublicSubnet1=subnet-043566448c316b46a,\
Amazon Elastic Container Service (Amazon ECS) and AWS Fargate now integrate with Amazon Elastic Block Store (EBS), allowing you to easily provision and attach EBS volumes to Amazon ECS tasks running on both AWS Fargate and Amazon Elastic Compute Cloud (EC2) using Amazon ECS APIs. This capability makes it easier for you to deploy storage and data intensive applications such as ETL jobs, media trans
はじめに AWS Fargateの場合、トラブルがあった時に動かしてるコンテナの中に入ってなくて調査できないのが不便なのでコンテナに入る方法を調査した。 現時点(2020年9月)でAWS Fargateの独自機能でコンテナの中に入る方法はない コンテナにsshdをインストールする方法とssm-agentをインストールする方法がある ssm-agentを使うとSSHのポートの開放やSSHする公開鍵の管理などをしなくて済むためssm-agentを使う方法で行った。 コンテナにsshdをインストールする方法 SSHのポートを空けておく コンテナの中の~/.ssh/authorzied_keysにsshするユーザーの公開鍵を追加しておく コンテナの中にsshdをインストールしておいて、コンテナ起動時にsshdを立ち上げておく メリット セッションマネージャーを使わないため、セッションマネージャーを
概要＆背景 以下記事にて、ECS FargateでVPCエンドポイントが必要となる状況について、誤った理解をしていたこともあり、改めてECS FargateとVPCエンドポイントの関係や動作検証をしてみました。 また、既に十分解説されている記事も存在していますので、そちらもご参照ください。 本記事の内容は、上記記事と重複も多いですが、検証環境を再現可能なTerraformコードも合わせて公開しています。 ECS FargateとVPCエンドポイントの関係 Fargateに限らず、ECSではアプリケーションで行う通信以外に、以下の通信が発生します。 （それぞれ必ず発生するわけではなく、ECR等の対応AWSリソースを使用する場合のみ通信が発生します） ECRからDockerイメージPULL Cloudwatch Logsへログ出力 タスク定義からParameterStore参照 タスク定義から
ワークフロー基盤としてのEKSクラスター運用のポイントとEKS on Fargate検証 - Gunosy Tech Blog
本記事は、Gunosy Advent Calendar 2019 17日目の記事です。 昨日の記事は、中村さんによる Pythonしか知らない新卒がGunosyに入るとこうなる - Gunosy Tech Blog でした。 はじめに ワークフロー基盤について システム概要 その日はいきなり訪れた 原因究明 対策 反省点 まとめ EKS on Fargateについて 検証のポイント 検証内容 まとめ 最後に はじめに はじめましてこんにちは、Gunosy Tech Lab1 Data Reliability & MLOps Group2の大関（@mageyuki）と申します。 弊チームでは、 Gunosyにおける統合データ基盤 集約したデータを活用した機械学習基盤 Gunosyの社是である「数字は神よりも正しい」を根底から支える、重要な2つの基盤の開発運用を行っています。 私は主にAWS上
Astrategyを支える技術: gRPC, Elasticsearch, Cloud TPU, Fargate... SaaS型AIサービスの内側の世界
ストックマークでは、法人ユーザー向けの「Astrategy」というウェブサービスを開発、提供しています。 本エントリでは、Astrategyで使われている技術やシステム構成をご紹介したいと思います。 AstrategyとはAstrategyとは、AIがウェブニュースを解析してあらゆる市場の動向やトレンド、有力企業の経済活動を可視化し、ユーザーが市場調査や市場分析レポート作成を行うことができるウェブサービスです。 国内外約3万メディアから配信された約5000万件のビジネスニュースから、企業情報、言及されているニューストピック、業界や地域属性を抽出して分析に利用します。 抽出には汎用言語モデルBERTを用いており、その処理はCloud TPU上で動く重たい処理であるため、事前に全てのニュースデータに対して抽出処理をかけた状態で検索サーバーに登録しています。 ユーザーがAstrategyにアクセ
Building and deploying a web application on Fargate with Terraform
JAWS PANKRATION 2021 https://jawspankration2021.jaws-ug.jp/sessions/11
This was the biggest un-truth that I saw while working at AWS on the EKS team. On an almost weekly basis a customer would want to use AWS Fargate for a variety of reasons and one of them would be because it used Firecracker. For some reason–AWS marketing–that was better than traditional EC2 Xen virtualization. And no one at AWS would correct them. There was an unspoken policy to never point out th
[AWS Black Belt Online Seminar] AWS Fargate 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] AWS Fargate 資料及び QA 公開 先日 (2019/9/25) 開催しました AWS Black Belt Online Seminar「AWS Fargate」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20190925 AWS Black Belt Online Seminar AWS Fargate AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. CloudFormationでの設定は可能でしょうか ? A. Fargate を利用した ECS サービスの作成、および、タスク定義での Fargate 起動タイプとの互換性の設定については、いずれも CloudFromtionでも設定可能
![[AWS Black Belt Online Seminar] AWS Fargate 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/eab7b96bf0790d1e29624ea0a36ca80e22622226/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2019%2F10%2F11%2Ffargate_thumbnail.png)
はじめてのFargate~FargateとDocker Hubを使ってJupyter Notebook環境を用意する~ | DevelopersIO
オンラインコミュニケーションを、多分人一倍満喫しております。 ▲ Slackが俺のホームタウンだぜ テキストベースのやり取りが大好きで、オンラインの住人になっているAWS事業本部のShirotaです。私の実体を覚えている人がいなくなるまで、各方面で努力していこうと思っています。オンライン快適！ 本日は「Fargate + Docker HubでJupyter Notebook環境を用意してみた」お話をしたいと思います。 今回、作業の前提となる準備の話が結構な分量を占めているので、実際の作業手順のみを手っ取り早く確認したい方は、目次から「FargateとDocker HubでJupyter Notebook環境を用意する」の項目に飛んで頂けますと作業内容が書かれた箇所に移動できます。 良かったらご活用下さい。 経緯からゆっくりとお付き合い下さる方はこのまま読み進めて下さい。 手軽に綺麗なJu
ECS Fargateのタスク定義の取得→更新→反映をShellとjqで自動化 | DevelopersIO
コンテナベースで開発作業していて、更新したコンテナイメージを、ECS(Fargate)上で稼働しているサービスに反映したいという時、ちゃんとした開発ラインならCI/CDパイプライン組んで自動デプロイするトコロですが、諸事情もありますよね？ じゃあ、と手作業でやってみるとこれが結構面倒なので、シェルにしました。 概要 サービスへの反映までに至る流れは、以下のようになります。 対象となるサービスにアタッチされているタスク定義を特定し、取得する それを基に新たなタスク定義を作成する 新たに作成したタスク定義を、元のサービスにアタッチする なお、所謂Latest運用はここでは想定していません。 では、何はさておきコードです スクリプト #!/bin/bash ECS_CLUSTER_NAME=your-cluster-name ECS_SERVICE_NAME_KEY=your-service-n
300GB/day出力されるログ基盤をFluent Bit + Fargate + NLBで再構築したら、エンジニアの作業効率が上がった - クラウドワークス エンジニアブログ
これは クラウドワークス アドベントカレンダー 24日目の記事です。前日は 畑中 さんの制作会社出身のデザイナーが事業会社に入って感じた５つの悩み事でした。事業会社とデザイン制作会社の違いから生まれる悩みをどう解決したかが伝わる記事でした。 クラウドワークスSREチームの @kangaechu です。最近はM1 Macを購入しました。M1 Macはアプリケーションの対応状況がまだまだなので、Goをソースからクロスコンパイルするなど、今までやったことがないことができてちょっと楽しいです。でももう少しネイティブのアプリが揃うと嬉しいな。 アドベントカレンダーはSREチームに入ってからの2年間にチームでやってきたことに続き、2つめのエントリとなります。前回の記事で、Docker化したシステムの一つとしてfluentd（ログ基盤）を挙げました。ここではそのログ基盤についての詳細を書いていきます。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MENTAをAWSに移行して振り返る(ECS/Fargate + Laravel編)
モンスターストライク スタジアムをAmazon EC2からAmazon ECS Fargateに移行しました
レンティオの本番環境をAWS Copilot/Fargate構成に切り替えた話
続・AWS ECS Fargate のCPU性能と特徴 2023年版 | 外道父の匠
Fargate Spotを本番運用するための監視の実践 - KAYAC engineers' blog
コンテナの世界での AWS Fargate の役割 | Amazon Web Services
【初心者必見】AWS Fargate の使用方法徹底解説 - Qiita
GitHub ActionsからサクッとFargateにデプロイしてみた | DevelopersIO
Amazon ECS and AWS Fargate now integrate with Amazon EBS
AWS Fargateで動かしてるコンテナの中に入る方法 - Qiita
ECS FargateでVPCエンドポイントを使用する
Fargate Is Not Firecracker