【アップデート】ECS on Fargateでサイドカーからプロセス/システムコール監視が簡単にできるようになりました！ | DevelopersIO
はじめに CX事業本部の佐藤智樹です。最近のアップデートでECS on FargateでPIDの名前空間をタスク内のコンテナ間で共有できるようになりました！以下の記事にアップデート後の出来ることや嬉しい点が書かれています。 上記記事で紹介されているLinuxカーネルパラメータの設定に関しては、以下の記事でも解説されております。本記事はpidModeの方にフォーカスしてご紹介します。 このアップデートの何が嬉しいのか これまでは本機能がなかったのでサイドカー側から本体のコンテナのプロセスやシステムコールの取得が難しくかったです。代表的な商用製品だとサイドカーコンテナ上で証跡取得用のプロセスを動かし、サイドカーのボリュームを本体側でマウントして動かす必要がありました。なので、以前までは商用製品を利用しないと、本体側のコンテナをReadOnly状態で運用したとしても、不審なプロセスやシステムコー
IoT系のプロダクト開発の裏側って？ 知られざる開発・運用ノウハウを2社のエンジニア6名が徹底解説！ 電化製品や産業用機器など、あらゆるコンピューターやデバイスがインターネットを介して通信し、相互にやりとりする。そんな、IoT（Internet of Things）の技術を用いたサービス・ビジネスが注目を集めています。 2023年12月22日に開催されたイベント「IoT系のプロダクト開発の裏側って？知られざる開発・運用ノウハウを2社のエンジニア6名が徹底解説！」では、IoT技術を事業に活用するENECHANGE株式会社と株式会社スマートショッピングのエンジニア合計6名が登壇。プロジェクトから得られた知見を紹介しました。今回はそのレポートをお届けします。 今回登壇した発表者の集合写真 高度なモノの管理を実現：SmartMatのエンジニアリング紹介 はじめに登壇したのは、スマートショッピ
セキュリティ系アップデートの全体像とSecurity Hub深掘り #AWSreInvent #cmregrowth | DevelopersIO
2023/12/11 に開催された #AWSreInvent ふりかえり勉強会 CM re:Growth 2023 OSAKA にて「セキュリティ系アップデートの全体像とSecurity Hub深掘り」 というタイトルで発表しました。 スライドと発表内容をブログで共有します。 スライド セキュリティサービス新機能のおさらい セキュリティサービスの新機能全体像 以下、セキュリティサービスの「新機能の件数」ランキングです。 一番多かったのが Security Hub, Detective のそれぞれ4件で、 次に 3件で Inspector でした。 あとは GuardDuty や IAM Access Analyzer、Config、Control Tower あたりが並んでいます。 それぞれのアップデート一覧はスライドに情報あります。 気になるものがあれば、ぜひ検証してみてください。 思っ
これで名前解決できる $ perl -E 'say join(".", unpack("W4", gethostbyname("example.com")))' 用途 EC2インスタンスやらコンテナから外にほんまに出られるんかな？みたいに調べたいことがある VPC内でprivate subnetだとNAT Gatewayとかがないと外に通信できない サービスメッシュとかで名前引けるかどうかを確認したい時がある 特定の環境でしか引けない名前とかある 今回の用途はGuardDuty ECS Runtime Monitoringを導入した際にちゃんと不審な動きが検知されるかどうかで使いたかった モネロのマイニングプールを引くと検知されるらしい GuardDutyのEC2タイプFindingsを簡単に検知させる方法 – CryptoCurrency編 | DevelopersIO digやらnsl
[ アップデート ] aws_ecs_task_definition に CI/CD との競合を防ぐ track_latest 引数がリリースされました | DevelopersIO
[ アップデート ] aws_ecs_task_definition に CI/CD との競合を防ぐ track_latest 引数がリリースされました aws_ecs_task_definition を定義する際、いつも指定しているあの ignore_changes が、不要になるかもしれません。 tfstate への反映、コードとの差分があった場合の挙動に違いがあるため、理解しておくと今後役立つかもです。 こんにちは！ AWS 事業本部コンサルティング部のたかくに（@takakuni_）です。 aws_ecs_task_definition で CI/CD との競合を防ぐために、 track_latest 引数がリリースされました。 r/aws_ecs_task_definition: add track_latest attribute by GerardSoleCa · Pull
![[ アップデート ] aws_ecs_task_definition に CI/CD との競合を防ぐ track_latest 引数がリリースされました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8a77b081e14c8d61a2e80498092f8ffb9b60da03/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Fterraform-eyecatch.png)
こんにちは、シマです。 皆さんはECSでEFSを使っていますか？ECS(Fargate)でEFSが利用できるようになったのは2020年4月なのでもう3年半も経過しています。 その間、Fargateもたくさんのアップデートがあったため、上記記事の頃とはAWS管理コンソールの画面も変わっていて、少し迷子になったので改めて記事にしておこうと思います。 今回は、シンプルにEFSの作成と既に構築済みのECS(Fargate)にマウントの設定を追加実装してみました。 構成 今回の構成は以下の通りです。 前述の通り、以下記載の設定の流れでは、既存のECSに対してEFSを追加していきます。 設定の流れ セキュリティグループ作成 EFSへアタッチするセキュリティグループを作成します。AWS管理コンソールのVPCの画面から「Security groups」を選び「セキュリティグループを作成」を押下します。 任
2023年11月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 その2 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 11月と12月はアップデートの量が多いので、それぞれ2回に分けてお送りします。11月後半はre:Inventの新機能リリース真っ只中です！残念ながらあまりにも数が多すぎたので100本までで区切りました。残りの11月分も次
Modern web application authentication and authorization with Amazon VPC Lattice | Amazon Web Services
AWS Security Blog Modern web application authentication and authorization with Amazon VPC Lattice When building API-based web applications in the cloud, there are two main types of communication flow in which identity is an integral consideration: User-to-Service communication: Authenticate and authorize users to communicate with application services and APIs Service-to-Service communication: Auth
Amazon ECS increases applications resiliency to unpredictable load spikes
Today, Amazon Elastic Container Service (Amazon ECS) enhanced tasks scheduling to make customers’ applications even more resilient to unpredictable load spikes. Now, Amazon ECS will first start a healthy replacement for each unhealthy task, that failed to pass a container or load balancer health check, before terminating it. This enhancement increases the resilience of customers’ applications with
AWS ALBをSSLの終端にしたときに Strict Transport Security ヘッダーが付与されない
現在クラウドリフトの作業をしていて、ECS（またはEC2）の前段にALBを配置し、ALBをSSLの終端としている。 これはAWSでパブリックなアプリケーションを作成する際によく取られる構成だが、HTTP Strict Transport Security（HSTS）は仕様上HTTPSの経路でのみレスポンスに付与される。 この仕様により、ALBをSSLの終端に設定するとレスポンスにHSTSが付与されない。 この問題を解決するためにはECSに乗せているアプリケーション上で、ALBに到達した際のプロトコルを見るように修正する必要があり、その元のプロトコルがX-Forwarded-Proto (XFP) に入ってくる。 この対応を行う上で調べた内容をメモしておく。
Mackerel で OpenTelemetry をはじめてみよう！ ─ システムメトリックの置き換えからアプリケーションへの組み込み、コンテナ環境への対応まで - Mackerel ブログ #mackerelio
こんにちは！Mackerel CRE の id:KGA です。 Mackerel の OpenTelemetry 対応であるラベル付きメトリックはお使いいただけているでしょうか？ラベル付きメトリックは今年 3 月にパブリックベータとなり、その後 2024 年 11 月 1 日に正式リリースすることを発表しました。 本記事では、まだお試しいただけていなかったり、これから始めてみようという方のために、過去に発信した記事を交えながら Mackerel を使った OpenTelemetry の始め方をご紹介します。 OpenTelemetry 対応（パブリックベータ）提供開始 - Mackerel ブログ #mackerelio 2024年11月、Mackerelのメトリックがオブザーバビリティ標準であるOpenTelemetryに正式対応し、あわせて価格体系を全面的に改定します - Macker
はじめに こんにちは。 プロダクト開発人材の副業転職プラットフォーム Offers を運営する株式会社 overflow のエンジニアばばです。 2023 年 1 月に中途入社としてジョインいたしました。 前職では不動産テックのエンジニアとして、データの各種エンジニアリング（クローリング、取り込み、集計処理）や機械学習ロジックのサービスへの組み込みを行っておりました。 overflow では、先日オープンβ版を発表いたしましたプロダクト開発支援組織の生産性最大化を支援するサービスである「Offers MGR」の開発を担当しております。 一見まったく別のプロダクトに見えますが、やっていることは案外共通点があり興味深く毎日開発をしています。 ただ、いまだジョインしたて業務に直結したことを書くネタはないので、Ruby on Rails(以下 Rails)のバッチ処理の概要をまとめてようとおもいま
Serverless API Gateway Ingress for AWS Fargate, in CloudFormation | Containers on AWS
About AWS Fargate provides serverless capacity to run your container images. Amazon Elastic Container Service launches and orchestrates containers that run in Fargate. AWS Cloud Map is a cloud resource discovery service. Cloud Map provides a way to lookup a list of your dynamically changing resources, such as containers. Amazon API Gateway is a serverless ingress for your web traffic. It has no m
2023年10月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 10月は73本もピックアップしています。そろそろre:Inventが近くなってきたのでウォームアップしていきましょう！ ちなみにAWSの最新情報をキャッチアップするだけなら週刊AWSがおすすめですが、Developers
[新サービス] AWS Dedicated Local Zones が発表されました | DevelopersIO
しばたです。 昨日AWSより新たにAWS Dedicated Local Zonesの提供が発表されました。 サービスページはこちらになります。 AWS Dedicated Local Zones とは？ AWS Dedicated Local Zonesをひとことで言うと「顧客専用のLocal Zoneを提供するサービス」となります。 主に政府機関や公共機関などのセンシティブなデータを取り扱いセキュリティやコンプライアンスに関して厳しい要件が定められているケースにおいて、顧客専用のLocal Zoneを提供することで問題を解決するためのサービスです。 通常のLocal Zonesは「低レイテンシーの実現」を主目的としていますが、こちらは「セキュリティ・コンプライアンス要件のクリア」が主目的となります。 FAQの内容を引用するとこんな感じです。 Q: Who are AWS Dedicat
![[新サービス] AWS Dedicated Local Zones が発表されました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/23836f07bf59e7203a532ad04c2f9388b55d7c51/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-local-zones.png)
YAPC::Hiroshima 2024に行ってきました。 人生初のYAPCです。 Perlを書いてたのは若かりし頃で、あれから10年以上の月日が流れています。 聞いたトークの感想を。 入門EOL対応 ~SREが鉄板の流れ全部見せます編~ https://speakerdeck.com/ryuichi1208/ru-men-eoldui-ying EOL、息の長いサービスとかを作っていると避けては通れなくて何度も遭遇してきていますが、こうして体系立てた内容を見たのは初めてでした。 EOL対応って評価されづらかったり、ステークホルダー探しも過去の経緯を発掘しないと分からなかったりと、苦しみも多いですが、技術を深く知る機会だったと気付かされました。 特にEOL対応で知る技術って、ちょっとした変更にも深い理由があったりするので、よりローレベルなレイヤへの理解を深めるキッカケになっていたなぁ、と。
Agents for Amazon Bedrock の「Return of Control」機能の可能性を考察する - Qiita
はじめに 2024/4/23のAmazon Bedrock (AWSの生成AIプラットフォームサービス) のアップデートでは「Agents for Amazon Bedrock」の新機能として 「Return of control」(ROC) が発表されました。 当記事は、このROCの本質を紐解き、有益な活用法を導くことを目的として執筆したものです。 なお、ROCを理解するために、以前の記事で紹介したAgentsの実装例との動作の違いに着目しています。 以下の記事は、最も簡単なAgentsの実装例として比較的容易に理解できると思われますので、まず目を通していただくことを推奨します。 「Agents for Amazon BedrockでWeb上のブログやニュースを要約する」 https://qiita.com/nasuvitz/items/c34419150eaee78544cc Retu
AWS CDKの超詳細解説 - Qiita
はじめに この記事はDevOps on AWS大全の一部です。 DevOps on AWS大全の一覧はこちら。 この記事ではAWS CDKに関連する内容を超詳細にまとめています。 具体的には以下流れで説明します。 AWS CDKとは AWS CDKの仕組み AWS CDK for Advance AWSの区分でいう「Level 200：トピックの入門知識を持っていることを前提に、ベストプラクティス、サービス機能を解説するレベル」の内容です。 この記事を読んでほしい人 AWS CDKがどういうサービスか説明できるようになりたい人 AWS CDKを採用するときのベストプラクティスを説明できるようになりたい人 AWS Certified DevOps Engineer Professionalを目指している人 AWS CDKとは AWS CDKとは高水準言語でインフラストラクチャを記述できるサー
Containers from the Couch
Live streams and videos featuring AWS Container Services and demos. We focus on demos and teaching people how to use different container technologies. ECS, K...
「Niantic Studio」のパブリックベータが開始。WebXR向けのゲームエンジン、ビジュアルエディタで直感的な開発が可能
Home » 「Niantic Studio」のパブリックベータが開始。WebXR向けのゲームエンジン、ビジュアルエディタで直感的な開発が可能 「Niantic Studio」のパブリックベータが開始。WebXR向けのゲームエンジン、ビジュアルエディタで直感的な開発が可能 6月17日、Nianticは「Niantic Studio」のパブリックベータ版を公開しました。無料のWebXR向けゲームエンジンであり、リアルタイムビジュアルエディタに加え、複数のインタラクティブ機能、複数プラットフォームへのデプロイ機能などが利用可能です。 (画像: Niantic) ビジュアルエディタで直感的に開発・編集可能 Nianticは、これまでにもWebXR開発プラットフォーム「8th Wall」を開発・展開しています。しかし8th Wallを利用する場合、主にコードベースで開発を行うため、視覚的なフィード
AWS CDK Constructを使用してチーム間のコラボレーションを強化する | Amazon Web Services
Amazon Web Services ブログ AWS CDK Constructを使用してチーム間のコラボレーションを強化する チームを編成して優れたソフトウェア製品を提供するには、さまざまな方法があります。Amazon の Two-Pizza チームのように、製品に関するエンドツーエンドの責任を単一のチームに割り当てている企業もあれば、複数のチームがインフラストラクチャ (またはプラットフォーム) チームとアプリケーション開発チームの間で責任を分担している企業もあります。この記事では、AWS Cloud Development Kit (CDK) を活用して Split-Team アプローチの場合に、コラボレーションの効率をどのように改善できるかについてのガイダンスを提供します。 AWS CDK は、クラウドアプリケーションリソースを定義するためのオープンソースのソフトウェア開発フレー
AWS Security Hubを使ってセキュリティをカスタマイズ、コンテキスト化する #AWSreInvent #SEC242 | DevelopersIO
こんにちは、AWS事業本部@福岡オフィスのべこみん(@beco_minn)です。 先月ラスベガスで開催されたAWS re:Invent 2023では多くのセッションが行われました。 本記事ではそのうちの一つについてまとめます。 本セッションは以下4つのAWS Security Hubのアップデート内容を、デモ付きで分かりやすく、まとめて紹介してくれるセッションです。ご興味のある方は是非ご覧ください。 [アップデート]AWS Security Hubでコントロールのパラメータをカスタマイズできるようになりました #AWSreinvent | DevelopersIO [アップデート]AWS Security Hubの組織への展開がセキュリティ標準やコントロールなどをカスタマイズして設定できるようになりました！ #AWSreInvent | DevelopersIO [アップデート]AWS S
はじめに ユーザがS3にファイルをアップロードした際にそのS3イベントをトリガーとして何らかの変換処理を実施し、DWH/DataLakeに格納する、といった簡易システムのニーズは多い。 今回はLambdaでは処理出来ないような重い処理、かつ不定期な利用頻度である場合にECS Fargateを用いてコスパ良く対処するアーキテクチャの開発を実施するので、備忘として記録する。 今回は前編として、S3 Object CreatedをトリガーとしてECSでコンテナを起動する所までを実装する。後編では、コンテナ内のpythonを用いてRDS for MySQLへのインサートを実装する。 概要 このように、S3のObject CreatedイベントからEventBridgeを噛んでStepFunctionsを起動する。ECSはFargateで済む様であればその方がよく、EC2を使う必要があれば状況に応じ
はじめに この記事では、API のサービングの観点から EC2,ECS, Lambda を比較します。 EC2 の API サービングについて 料金 リザーブドインスタンスを購入することで料金を下げることができる メンテナンス ECS や Lambda に比べて、より多くの管理とメンテナンスが必要 EC2 では、ユーザがインスタンスを自ら管理し監視する必要があり、適切にプロビジョニングされ、必要なセキュリティ構成を持ち、適切にスケーリングされていることを確認する必要がある 利点 ECS、Lambda と比較して、もっともリソースの制約がなく、カスタマイズ性が高い GPU インスタンスをサポート 欠点 インスタンスの管理が必要であり、複雑になる可能性がある 他のオプションよりも高価になる場合があり、特に効率的に使用されない場合はそうなる可能性がある Docker を使わない限りは
こんにちは、Enterprise Cloud部 ソリューションアーキテクト1課 宮形 です。今年に入ってガバメントクラウドのブログを書くようになりまして、どの記事も前向きでポジティブな内容を心がけておりましたが、今回は一転して後ろ向きなタイトルになります。 本BLOGではガバメントクラウドにおいてAWSに各システムをリフト＆シフトした後に、AWSから抜け出す方法 について検討した内容を記載させていただきます。 このBLOGを書こうと思い立った理由 AWSから抜け出す方法を各サービス毎に検討する 仮想サーバー EC2 データベースのマネージドサービス RDS、Aurora コンテナの実行環境 ECS、Fargate ファイルサーバーのマネージドサービス FSx for Windows File Server オブジェクトストレージ S3 サーバーレス実行環境 Lambda ファンクション デ
[小ネタ] CloudWatch Logsに保存されているログの総容量をAWS CLIからサクッと確認する | DevelopersIO
こんにちは、AWS事業本部の荒平(@0Air)です。 CloudWatch Logsにどのくらいのデータが保管されていて、現時点の総容量がどのくらいあるか把握したいと思ったことはありませんか？ 過去3回も思ってしまった自分のために、AWS CLI(CloudShell)を使ったCloudWatch Logsの容量を取得できるコマンドを残しておきます。 はじめに CloudWatch Logsは、Lambdaの実行ログ、API Gatewayのアクセスログ、ECSのタスクログ、CloudTrailの操作ログなどを一元的に管理できる便利なサービスです。 ただ、「CloudWatch Logsにログを置きっぱなしにするとコストが余計に掛かって勿体ない」という話はしばしば聞きます。 以下記事で紹介されている通り、圧縮率を考慮しない料金だとAmazon S3がやはり安いです。（圧縮率を考えると、更に
![[小ネタ] CloudWatch Logsに保存されているログの総容量をAWS CLIからサクッと確認する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0021836084bdde128e82746a611da7093dc6b0f8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-cloudwatch.png)
Prefectでプロダクトデータ処理基盤のDXを向上させようとしているはなし | Offers Tech Blog
はじめに おはこんばんちは。 Offers と、Offers MGR を運営している株式会社 overflow のバックエンドエンジニアばばです。 Web サービスを開発している皆様であれば、高度なデータ処理の大変さ・つらさを味わったことはあるかと思います。 たとえば グラフ用データを作成するには、API からデータ取得が終わった後に、DWH で集計して、その後バッチ処理かけてごにょごにょ 想定してたよりデータ量が多くて、許容時間内に処理が終わらないー あの API 、 Rate Limit 厳しいからから並列数制御しないといつまでたっても取得がおわらない・・・ など、悩みはつきません[1]。 上記の悩みが、開発効率性を落とし、技術的負債となってきていることから、Workflow Engine (タスクの実行順序など業務プロセスを自動で管理するソフトウエア) を導入しようという話がチーム内
AWS Compute Blog Serverless ICYMI Q4 2023 Welcome to the 24th edition of the AWS Serverless ICYMI (in case you missed it) quarterly recap. Every quarter, we share all the most recent product launches, feature enhancements, blog posts, webinars, live streams, and other interesting things that you might have missed! In case you missed our last ICYMI, check out what happened last quarter here. Server
マイクロサービスを支える横断CDKチームの話を知ろう！Construct your constructs: Use AWS CDK to create architecture at scale BWP302 参加レポート #AWSreInvent | DevelopersIO
マイクロサービスを支える横断CDKチームの話を知ろう！Construct your constructs: Use AWS CDK to create architecture at scale BWP302 参加レポート #AWSreInvent re:Inventで聞いたAWSのサービス開発においてCrossFunctionalなCDK専門チームを組成した話について書きました。また、本稿はAWS CDK Advent Calendar 2023 14日目の記事です。 はじめに 本稿は、AWS CDK Advent Calendar 2023 14日目の記事です。 re:Invent現地参加組の佐藤智樹です。今回はre:Inventで行われていたセッション「Construct your constructs: Use AWS CDK to create architecture at s
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Introducing the Amazon Linux 2023 runtime for AWS Lambda | Amazon Web Services
AWS Compute Blog Introducing the Amazon Linux 2023 runtime for AWS Lambda This post is written by Rakshith Rao, Senior Solutions Architect. AWS Lambda now supports Amazon Linux 2023 (AL2023) as a managed runtime and container base image. Named provided.al2023, this runtime provides an OS-only environment to run your Lambda functions. It is based on the Amazon Linux 2023 minimal container image rel
オンプレNFSサーバーからAWS S3へ無停止マイグレーション 〜双方向リアルタイム同期処理の自前構築〜 - LIVESENSE ENGINEER BLOG
概要 オンプレNFSサーバー 移行対象アプリケーション 無停止マイグレーションの選択と段取り 双方向リアルタイム同期処理の自前実装 背景: AWS DataSyncの利用を断念 設計: 同期処理の構成要素と実装 初回のフル同期と同期漏れの確認 循環更新の防止 NFSからS3方向への同期 S3からNFS方向への同期 ファイル操作順序の一貫性と削除操作のリスク S3 Bucket更新イベントはフォルダの粒度でも発生する 同期漏れは手動でリカバリ 移行後 これから 概要 テクノロジカルマーケティング部インフラストラクチャーグループの春日です。 弊社ではアルバイト求人サイトの マッハバイト を運用しており、2023年9月現在オンプレからAWSへの移行が進んでいます。 上記移行プロジェクトの一環として、マッハバイトの求人画像ファイルが保存されているオンプレNFSサーバーのデータをAWS S3 Buc
whywaita/myshoes-serverless-aws のコードを読んでみたので、順番に読んでいく様子をメモします。 実際にRunnerが動くまでの流れ 最初に、ざっくりブログやREADMEを読んで概要をつかみます。 GitHub Appからwebhookが飛んで、jobがECS上で動くまでの流れは以下のようになっています。 参考: GitHub-hostedライクにAmazon ECSとAWS Lambdaでself-hosted runnerを管理するツールを作った | なぜにぶろぐ webhookを受け取ってECS Taskに渡すまでの間にhttpserverとdispatcherというのが存在しています。(下の図の青い部分) これらはAWS Lambdaとして実装されていて、コードはそれぞれ lambda/httpserver と lambda/dispatcher にあり
Amazon GuardDuty ECS Runtime Monitoringで脅威を検出したECSタスクを自動停止してみた | DevelopersIO
こんにちは。AWS事業本部トクヤマシュンです。 先日、Amazon GuardDuty ECS Runtime Monitoringが発表されました。 詳細は下記エントリでまとめてますのでご参照ください。 本機能はECSのランタイムセキュリティに関する脅威の発生をGuardDutyで検知する、というものでした。 ただ、検知するだけではなく防御もしたい、という方もおられるのではないでしょうか？ そこでECS Runtime Monitoringで脅威を検出したECSタスクを自動停止する仕組みを構築しましたので、本エントリで紹介します。 構築の前提 構築にあたり、下記を前提としています。 Amazon GuardDuty ECS Runtime Monitoringを東京リージョンで有効化し、脅威検出が可能な状態になっている 有効化方法はこちらのアップデートブログをご参照ください。 ECSタス
【セッションレポート】 IPv6 on AWS ～Public IPv4 アドレス削減に向けてできることできないこと～（AWS-20）#AWSSummit | DevelopersIO
【セッションレポート】 IPv6 on AWS ～Public IPv4 アドレス削減に向けてできることできないこと～（AWS-20）#AWSSummit はじめに AWS Summit Japan 2024 に参加しました。 「IPv6 on AWS ～Public IPv4 アドレス削減に向けてできることできないこと～」のセッションレポートです。 セッション概要 Public IPv4 アドレスに対する料金体系の変更をきっかけにして、AWS での IPv6 の活用について改めて注目が集まっています。IPv6 on AWS のリファレンスアーキテクチャや IPv4 構成からの移行方法について解説すると共に、AWS のさまざまなサービスとの IPv6 対応状況もご紹介します。IPv6 へ移行することで果たしてコスト最適化が可能なのか、どこまで Public IPv4 アドレス削減に繋げるこ
GitHub - elodin-sys/elodin: Physics simulation software for space + aerospace
Elodin is a platform for rapid design, testing, and simulation of drones, satellites, and aerospace control systems. Quick Demo: https://app.elodin.systems/sandbox/hn/cube-sat Sandbox Alpha: https://app.elodin.systems Docs (WIP): https://docs.elodin.systems This repository is a collection of core libraries: libs/nox: Tensor library that compiles to XLA (like JAX, but for Rust). libs/nox-ecs: Rust
ゆるSRE勉強会#4に参加しました！！！
はじめに 先日、ゆるSRE勉強会#4に参加してきたので、その感想を書きます😆 ゆるSREとはなんぞや？みたいな人にも雰囲気がわかるように書いていくので、ぜひ読んでいってください！！！ ゆるSRE勉強会とは？ connpassのイベントページから引用します "ゆるSRE勉強会"は、ゆるい雰囲気で肩肘張らずにSRE関連のトピックについて話す勉強会です。 「こんな問題を解決した！」や「他チームとのコミュニケーション/コラボレーションでこんなことをやった！」などなど、様々なお話を聞いたり話したりしていきましょう。 初心者SREの方や他職種からSREに挑戦中の方もお気軽にご参加ください！ まとめると、初心者や挑戦したいという人でも行きやすいSREの勉強会です！ 「ゆる」なので文字通りゆるい感じですし、「マサカリはダメ！」とアナウンスがあるくらい安心して参加できます👍 雰囲気はXでハッシュタグ#y
【悲報】AWS認定全冠(12冠)になったけど、Japan AWS All Certifications Engineersにはどうやら選ばれないみたい。｜OPTEMO エンジニアブログ
【悲報】AWS認定全冠(12冠)になったけど、Japan AWS All Certifications Engineersにはどうやら選ばれないみたい。 こんにちは、すずきです。 2023年2月に受け始めたMLSから7ヶ月、ようやくAWS認定全冠を達成しました。 ポケモンジムバッジ感どう考えてもオーバーワークだろ…みたいな学習ブログ(参考書を2, 3冊読んでから問題集を解きましょう、Black Beltの動画をできるだけみておきましょう、など)を信じず、問題集中心に勉強を進めた結果、効率よく全冠を達成できました。 私の経歴エンジニア歴4年目。AI研究とインフラ再設計・構築を主に担当しており、アプリケーション開発(フロントエンド、バックエンド)もたまに行っています。 今の会社で働いてちょうど1年くらいになるのですが、前職までは主にモバイルアプリの開発をやっていました。 SQSやS3などの一部
2023年12月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 その2 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 11月と12月はアップデートの量が多いので、それぞれ2回に分けてお送りします。12月後半は61本です。引き続きAI/MLが多いです。 ちなみにAWSの最新情報をキャッチアップするだけなら週刊AWSがおすすめですが、Dev
楽しいLT会を開催する方法
概要 先日 AWS10 分 LT 会という 1 時間半の LT 会を開催しました。 LT 登壇者 5 人、見学者 58 人の申し込みがあり、当日の LT もたくさんのコメントを頂けて結構成功した LT 会だったのでは…と思ったので、技術 LT 会開催にあたっての知見をご紹介させて頂きたいと思います 🙇♀️ ちなみに先日のイベントはこちら ↓ 理想とした LT 会 まず、今回の LT 会開催にあたって理想とした LT 会は以下です。 登壇者の方がプレッシャーなく登壇できるようにする 見学者の方が気負いなく発言できるようにする 技術的なツッコミや質問も雰囲気を悪くすることなくできるようにする 全てを両立させることは難しいですが、できるだけ理想に近い形の LT 会にできる様アプローチを行いました。 LT 会開催までの流れ LT 会開催前に需要確認 これは LT 会を開催するきっかけになった出
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IoT系のプロダクト開発の裏側って？ 知られざる開発・運用ノウハウを2社のエンジニア6名が徹底解説！ | gihyo.jp
digが入っていない環境で名前解決のテストをするのにperlが便利 - ぱいぱいにっき
ECS(Fargate)でEFSをマウントさせてみた(2023年版) | DevelopersIO
Ruby on Rails バッチ処理概要｜Offers Tech Blog
YAPC::Hiroshima 2024 に行ってきた - あおせのにっき
S3イベントでECSを起動する【前編】 - Qiita
EC2 vs ECS vs Lambda：APIのサービングの観点から | Hakky Handbook
AWSから抜け出す方法も考えておく【ガバメントクラウド】 - サーバーワークスエンジニアブログ
Serverless ICYMI Q4 2023 | Amazon Web Services
T・Pぼん | Netflix (ネットフリックス) 公式サイト
whywaita/myshoes-serverless-aws のコードを読んでみる