これまでもコンテナ関連の記事はそれなりに書いてきましたが、改めて最新事情に合わせて練り直したり見渡してみると、大きなところから小さなところまで選択肢が多すぎると感じました。 コンテナ系アーキテクチャを丸っと他所の構成で真似することって、おそらくほとんどなくて、参考にしつつ自分流に築き上げていくでしょうから、今回は築くにあたってどういう選択肢があるのかにフォーカスした変化系で攻めてみようと思った次第です:-) 目次 今年一発目の長いやつです。半分は学習教材用、半分は道楽なテイストです。 はじめに 基盤 インスタンス or コンテナ ECS or EKS on EC2 or FARGATE X86 or ARM64 ロードバランサー メンテナンス：ALB or ECS Service 共有 or １環境毎 アクセスログ：ALB or WEBサーバー ECS / EKS デプロイ：Blue/Gr
公開日 2024/05/27更新日 2024/05/27注目のITサービスを支えるアーキテクチャ特集 技術選定のポイントと今後の展望 現代のITサービスは、ユーザーに高品質で安定した体験を提供するために、より効率的で柔軟な技術選定が不可欠です。 本特集では、注目企業のシステムアーキテクチャ設計に携わるエンジニアの方々より、それぞれの技術選定における工夫と、未来を見据えた展望についてご寄稿いただいています。 各企業がどのように課題を乗り越え、開発生産性や品質を向上させるためにどのようなアプローチを採用しているのか ー この記事を通じて、実際の現場で活用される最先端の技術や戦略を学び、皆さんのプロジェクトに役立つ洞察を得ていただければ幸いです。 ※ご紹介はサービス名のアルファベット順となっております airCloset - 株式会社エアークローゼット エアークローゼットは日本初・国内最大級、女
自分がニッチだと思っているテーマについて発表する「Qiita Engineer Festa 2023〜私しか得しないニッチな技術でLT〜」。ここで株式会社SonicGardenの遠藤氏が登壇。LambdaとFargateを組み合わせた実行環境について話します。 遠藤氏の自己紹介 遠藤大介氏：今日は「AWSのLambdaとPlanetScaleを組み合わせると、超絶スケールするWebアプリを作れちゃうぜ」という話をしていこうと思っています。 最初に自己紹介です。遠藤と申します。SonicGardenという会社で、プログラマーと執行役員をやっています。インフラと機械学習などが好きで、趣味もプログラムで仕事もプログラムな感じの人間なんですが、最近は機械学習周りが盛り上がっているので、そっちもいろいろやっています。 あと、ロードバイクに趣味で乗っているのですが、最近ちょっと乗れていません。それから
アンチウイルスソフト Antivirus for Amazon S3 を本番環境に導入してみてわかったメリット・デメリット - ANDPAD Tech Blog
こんにちは。SREチームの吉澤です。 アンドパッドでは最近、AWSのS3バケット上のファイルをスキャンするために、アンチウイルスソフト Antivirus for Amazon S3 を本番環境に導入しました。その結果、私たちの要件はほぼ全て満たされたうえに、従来比で大幅なコスト削減を実現できました。 Antivirus for Amazon S3について日本語で書かれた記事はまだ少ないですが、S3に対するウイルススキャンが求められるケースでは、導入を検討する価値があるソフトです。 そこで、今回はこのAntivirus for Amazon S3の概要、私たちが本番環境に導入してみてわかったメリットやデメリット、そしてこのソフトが適した状況をご紹介します。 背景 S3に対するウイルススキャンが必要な理由 Antivirus for Amazon S3の導入前に利用していたソフト Antiv
概要 ソーシャル経済メディア「NewsPicks」SREチームの中川です。 皆さんはバッチ処理基盤はどうされていますでしょうか。 NewsPicks では少し前まではそれらをEC2、cronの組み合わせで動作させていました。 何年も前からこの仕組みだったのですがSREとしてはEC2の面倒見るのも手間ですし、それ以上にcronを変更する際のオペレーションミスが目立ったのが懸念点でした。 その為、まずはAWSマネージド化するための基盤を整備し、その後バッチアプリを載せ替えていくようにしました。 対応前の基盤構成 同じSREチームの安藤さんが CloudNative Days Tokyo 2023 で登壇されたときの資料をお借りします。 ご覧の通り、大体のサービスはマネージド化していましたがバッチ基盤だけは旧来のままEC2インスタンスを利用していました。 10年モノのサービスのインフラを漸進的
Google Cloud案件を1年半程度経験してみてAWSと比較しながら違いを整理してみた - NRIネットコムBlog
本記事は 【Advent Calendar 2023】 15日目の記事です。 🎄 14日目 ▶▶ 本記事 ▶▶ 16日目 🎅 はじめに 想定している読者 一覧 まとめてみて 参考 はじめに クラウド事業推進部の小野内です。昨年5月にキャリア入社してから早1年半以上が経ちました。 入社以降、AWS、Google Cloud のデータ分析基盤の開発・運用に関わっておりますが、現在はGoogle Cloud メインでやってます。 試行錯誤の毎日ですが、Google Cloud案件をどんどん盛り上げていきたい所存です。 1年ほど前の投稿記事では、 Google Cloudの学び方について触れましたが、本記事ではGoogle Cloud案件を1年半程度経験してみて、 AWSと比較しながら、Google Cloudの主要なサービスについて、違いを整理しました。 想定している読者 AWS案件に半年以
AWS Security HubとSlackを利用して、セキュリティ状況の監視運用を効率化したお話 - Uzabase for Engineers
はじめに 初めまして！ソーシャル経済メディア「NewsPicks」SREチーム・新卒エンジニアの樋渡です。今回は「AWS Security Hub」と「Slack」を用いて、弊社で利用しているAWSリソースの監視運用を効率化したお話です。 お話の内容 年々増加するサイバー攻撃に対抗するため、セキュリティ対策は日々重要度が増してきています。 そこで弊社で利用しているAWSのリソースに対して、各種セキュリティイベントの収集ができるAWS Security Hubを利用することで、セキュリティ状態の可視化と迅速な対応がしやすい運用を行い、セキュリティ状態の現状把握から始めることにしました。特にNIST CSFの「検知」部分の運用について整備した内容となっています。 NIST Cyber Security Frameworkについて 皆さん、「NIST Cyber Security Framewo
概要 速さが正義 LINE Botの開発でCloudflareとHonoを使う理由 Cloudflare Workersの応答速度が速いから PoPについて CloudflareはAWSのlambdaに比べてポイントオブプレゼンス（PoP）の数が多く、処理が実行される場所がよりユーザーの近くにある可能性が高い。 そのため、パフォーマンステストではAWS Lambda、AWS Lambda@Edgeよりも応答時間が小さいという結果になった。 コールドスタートがない Cloudflare Workersはコールドスタートがなく、LambdaとLambda@EdgeのようにEventBridgeで1分おきにツンツンしなくていい。 Service bindingsが便利だから Cloudflare WorkersのService bindingsを使用することで、worker間の通信はパブリックに
Aurora MySQL におけるロック競合（ブロッキング）の原因を事後調査できる仕組みを作った話
こんにちは。 DBRE チーム所属の @p2sk です。 DBRE（Database Reliability Engineering）チームでは、横断組織としてデータベースに関する課題解決や、組織のアジリティとガバナンスのバランスを取るためのプラットフォーム開発などを行なっております。DBRE は比較的新しい概念で、DBRE という組織がある会社も少なく、あったとしても取り組んでいる内容や考え方が異なるような、発展途上の非常に面白い領域です。 弊社における DBRE チーム発足の背景やチームの役割については「KTC における DBRE の必要性」というテックブログをご覧ください。 本記事では、Aurora MySQL でロック競合（ブロッキング）起因のタイムアウトエラーが発生した際に根本原因を特定することができなかったので、原因を後追いするために必要な情報を定期的に収集する仕組みを構築した
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
概要 全般 何はともあれコストタグ Cost Explorer でリソース別にコストを見よう IaC化しよう QuickSight も使おう 稼働時間対応する際はマスタカレンダを用意したい コンピューティング、コンテナ関連 EC2 定時バッチはマネージド化しよう EBS, Snapshot, AMI, EIP を消す ECS Container Insights の有効/無効を使い分けよう 何でも Fargate を選択すれば良いわけではない Fargate スポットを活用しよう Lambda Graviton対応しよう ECR イメージサイズを抑えよう ライフサイクルポリシーを設定しよう ネットワーキング VPC VPCエンドポイント入れ忘れに注意 VPC Flow Logs のS3バケット設定に注意しよう ストレージ系 RDS スロークエリ出てないかAPMを使って確認 DynamoDB
お世話になっております。LayerXの高際 @shun_tak と申します。現在は、データ分析組織の立ち上げに注力しています。 本記事では、バクラク事業におけるデータ組織とデータ基盤をテーマに取り扱います。データ分析における認知負荷や属人性を解消するための取り組みや、良質なデータを提供するためのデータ基盤の構築について、具体的な技術スタックを交えて解説し、最後に現在の課題と今後の展望について説明します。 また、この記事は 7月はLayerXエンジニアブログを活発にしよう月間 の2日目の記事になります。 1. データ組織について 1.1. チーム設立の背景 1.1.1. 多少間違ったクエリでも正しい意思決定ができれば、それはとても良いこと (余談コラム) 1.2. チーム構成 1.3. 業務内容 2. データ基盤について 2.1. データ基盤の構成 2.1.1. データソース 2.1.2.
常時稼働が不要なRDSインスタンスを停止してAWS料金を節約する - KAYAC engineers' blog
SREチームの長田です。 今回は開発・検証用Amazon RDS(以下RDS)の運用のはなしです。 はじめに 「常時使用するわけではないけど、一定の頻度で必要になるデータベース」というものがあります。 AWSリソースの動作確認を行う環境(カヤックではこれを「ステージング環境」と呼ぶことが多いです)や、 リリース後の負荷試験環境など、本番環境とは異なる環境にあるデータベースがこれにあたります。 AWSのようなクラウドサービスを利用している場合、起動時間に対して課金が発生することが多いでしょう。 負荷試験用に用意したRDSインスタンスは、試験が実施されていない期間はただ課金が発生するだけのリソースになってしまいます。 たまにしか使われないデータベースを放置しておくのはもったいない 負荷試験で使用するものは、大抵の場合本番環境と同じスペックのものを用意することになるでしょう。 すると本番環境と同
ついにブロックができるようになった！Amazon GuardDuty Malware Protection for Amazon S3が発表されました！ #AWSreInforce | DevelopersIO
ついにブロックができるようになった！Amazon GuardDuty Malware Protection for Amazon S3が発表されました！ #AWSreInforce Amazon GuardDutyで待望のマルウェアに対する保護機能がリリースされました！信頼できないオブジェクトをS3にアップロードする環境ならガンガン活用していきましょう！ こんにちは、臼田です。 みなさん、AWS上でのマルウェアチェックしてますか？(挨拶 AWS re:Inforce 2024で待望のS3に対するネイティブなマルウェア検出と保護の機能である「Amazon GuardDuty Malware Protection for Amazon S3」がリリースされました！ Detect malware in new object uploads to Amazon S3 with Amazon Gua
EC2のcronバッチを「EventBridgeをトリガーにStep Functionsを起動」に置き換えると、エラーハンドリングが快適になる
AWSのEC2で定期的なタスクを自動化するために、cronを使用しているケースも多いと思います。 しかし、Amazon Linux 2023ではcronがデフォルトで無効になっています。これはcron以外に、cronのようなバッチ実行・定期実行する仕組みがあるということなのかと思い、cronを使わずにE2上でバッチ実行・定期実行する仕組みを考えてみました。 そして、Amazon EventBridge、AWS Step Functions、およびAWS Systems Manager startAutomationExecutionを組み合わせて、EC2インスタンス上でバッチ・定期実行を試してみましたので、紹介します。 特に、Step Functionsを使用することで、エラーハンドリングや通知が容易になり、安全にバッチ実行できるようになります。 エラーハンドリングは以下の状態を把握したい
[アップデート]全 AWS Fargate 利用者必見！ Seekable OCI インデックスによりコンテナの起動が大幅に高速化するようになりました | DevelopersIO
[アップデート]全 AWS Fargate 利用者必見！ Seekable OCI インデックスによりコンテナの起動が大幅に高速化するようになりました はじめに 昨年、AWSはSeekable OCI（SOCI）の導入により、アプリケーションの起動と同時にコンテナからデータを非同期にダウンロードするコンテナイメージの遅延読み込みを実現しました。 これにより、コンテナイメージを変更せずにアプリケーションをより速く起動できるようになりました。 今回、SOCIがAWS Fargateにもサポートされました! SOCIは、ECRに保存されているコンテナイメージと同じECRにインデックスを作成しておくことで、イメージ全体をダウンロードせずに個々のファイルを抽出してコンテナを迅速に起動できます。 Amazon ECR リポジトリからイメージをダウンロードする際には、自動的にSOCI インデックスの有無
![[アップデート]全 AWS Fargate 利用者必見！ Seekable OCI インデックスによりコンテナの起動が大幅に高速化するようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/985a83259a49c10c9fef990f42efc390ba711740/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-fargate.png)
はてなブックマークのステージング環境を支える技術 - Hatena Developer Blog
id:cohalzです。この記事ははてなエンジニア Advent Calendar 2023 の29日目の記事です。 28日目の記事は id:SlashNephy さんの おうち Kubernetes クラスタ運用記 ~2023~ でした。 はてなブックマークにおけるステージング環境について紹介します。 はてなブックマークでは現在インフラをAWS上に構築しており、ECSやAurora MySQLのサービスを利用しています。 本番環境と同様にステージング環境も用意していますが、より良いステージング環境(例えば本番環境に近く、変更がすぐ試せて、費用が安い構成)にすることを目指し、いくつか工夫した点があるのでそれらを紹介します。 AWSアカウントの分離 はてなでは複数のサービスを運用していますが、はてなブックマーク単体でAWSアカウントを分けて他のサービスとリソースが同居しないようにしています。
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 住信SBIネット銀行は8月29日、Amazon Web Services（AWS）の東京および大阪の両リージョンを用いたインターネットバンキングシステムの冗長化構成を実施したと発表した。このケースは国内では初だという。 今回の施策では、バックアップデータの目標復旧時点（RPO）を0秒として実現したという。AWS東京リージョンをメインサイトとして、同リージョンで提供するサービスに障害や停止が検知されると、大阪リージョンのシステムが稼働してインターネットバンキングサービスの提供が継続される。この仕組みは、「Amazon EventBridge」や「AWS Lambda」を用いて自動化され、確実かつ迅速に切り替わるとのこと。データベースは「A
どうも。小林です。 みなさん、自動化してますか？ 私の課では特定の顧客のシステムを多数運用しています。 かなり多くのシステムがあり、顧客側の担当者も異なるため、弊社側でも複数のチームを組んで手分けしてシステムを担当しています。 チームも顧客担当者も異なるとなれば、当然運用のやり方はシステムごとに変わってきます。その一方で統一できる部分は統一しておかないと全体の統制は効きづらくなってしまいます。 そこで「標準化チーム」を発足し、チーム間で共用するシステムのアカウント管理やその申請ルール、顧客報告やメンバーの勤怠管理といったものの標準化を進めています。 標準化の恩恵のひとつとして、「作業が単純化できて自動化しやすくなる」という点が挙げられます。 例えばアカウント発行の申請フォーマットを統一すると、「フォーマットにしたがって記載されたテキストをバッチに読み込ませてアカウントを自動的に発行する」と
DMARCレポートの可視化ダッシュボードを作りました - LIVESENSE ENGINEER BLOG
はじめに そもそもDMARCって何？ Googleの発表によってDMARC対応が必要に SaaSの検討 OSSの検討・選定 構成 動作 GmailからGoogle Driveへ格納する XMLをパースしてOpenSearchに格納する Google Driveからコンテナ内にダウンロードする パースと格納 可視化 苦労した点 Gmailの仕様とparsedmarcの相性が悪い OpenSearch突然データが全部消えた 作ってみてよかったこと 今後の運用 はじめに インフラGの鈴木です。ガールズケイリンアニメことリンカイ！の放映が近くなってきましたね。 最近小倉にギャンブル旅行にいったのですが、北九州競輪には等身大パネルがありました。本気(マジ)度が伝わってきます。アニメの放映日が楽しみです。 ところで、今回はDMARCの可視化基盤を作った話をします。なかなか大変1でしたので、共有したいと
AWS Security Hubコントロールの有効無効をコード管理するのは予想のN倍大変だった話 - ANDPAD Tech Blog
こんにちは。SREチームの吉澤です。2023年3月にアンドパッドに入社し、最近は主にセキュリティ関係の改善に取り組んでいます。 SREの経験としては、アンドパッドへの入社前からSREとして働いており、雑誌に寄稿したり、個人ブログを書いたり、SREの勉強会に運営スタッフとして長年参加したりしてきました。9/29(金)開催のSRE NEXT 2023にも、運営スタッフとして参加しています。SRE NEXT 2023には、アンドパッドもブロンズスポンサーとして参加しています！ そこで今回は、SRE NEXT 2023のCFPに応募したネタ（今回、競争率すごく高かったんですよね……）を育てて、1つ記事を書いてみました。CFP落選供養スペシャルです。 背景 AWS Security Hubとは アンドパッドでのSecurity Hubの活用 目的 実現方法 課題 Security Hubのコントロー
pull requestを利用したいい感じのECS feature環境管理方法を考えた - Nealle Developer's Blog
はじめに SREチームの大木です。スノボの季節がもう終わりかけており、さみしい限りです。 feature staging環境*( 以下 feature環境 )自体のライフサイクルや管理をどうするか問題、なかなかどこも苦労していると思いますが、その中で今回それなりにいい感じの回答を出せたと思うので共有したいと思います。 *呼び方はpre-staging環境、pull request環境、テスト環境などいろいろありそうですが、私たちはfeature環境と呼んでいます。 どこが「いい感じ」なのかというと、PRのラベル付与によって環境の生成/削除を制御できる点です。PR画面上で楽々とfeature環境の管理ができたり、PR一覧からどのブランチでfeature環境が立っているかが分かりやすくなります。 feature環境について feature環境を当社のプロダクトであるPark Directの開発
KubernetesのPodを事前にスケールアウトする仕組みをCronJobで実装し、ジョブの処理遅延を低減した話 - ANDPAD Tech Blog
1. はじめに こんにちは、SWEのあかりです。 今回は、SREの角井さん（@cass7ius）と一緒に、Kubernetes(以降、K8sと表記)のPodを事前にスケールアウトする仕組みをK8sのCronJobで構築したので、その実装背景・技術選定・実装方法について実例を紹介します。 この記事を読んで得られるものは以下の3点です。 Podを事前にスケールアウトさせて、ジョブの遅延を低減した実例 技術選定時に行った定性分析の実例 Podからkubectlコマンドを実行する実装例 2. 前提の説明 掲題の実装対象は施工管理サービスであり、これは社内で最も古くから稼働しているモノリシックなRailsアプリケーションです。施工管理サービスのおおよそのインフラ・技術構成は下図の通りになっています。 施工管理サービスのインフラ構成図 上図の通り、施工管理サービスはEKSクラスター上で稼働しており、お
【セッションレポート】サーバーレス開発のベストプラクティス ～より効果的に、より賢く使いこなすために～（AWS-30）#AWSSummit | DevelopersIO
【セッションレポート】サーバーレス開発のベストプラクティス ～より効果的に、より賢く使いこなすために～（AWS-30）#AWSSummit はじめに AWS Summit Japan 2024 に参加しました。 「サーバーレス開発のベストプラクティス～より効果的に、より賢く使いこなすために～」のセッションレポートです。 セッション概要 サーバーレスアプリケーションの開発においては、AWS Lambda や Amazon API Gateway、Amazon DynamoDB、Amazon EventBrige など様々なサービスをビルディングブロックとして組み合わせることができたり、開発作業を効率化するツールチェインも多く提供されるようになってきました。AWS Step Functions は Amazon Bedrock と統合され、生成系 AI アプリケーションをシームレスに開発できる
AWS Fargate Enables Faster Container Startup using Seekable OCI | Amazon Web Services
AWS News Blog AWS Fargate Enables Faster Container Startup using Seekable OCI While developing with containers is becoming an increasingly popular way for deploying and scaling applications, there are still areas where improvements can be made. One of the main issues with scaling containerized applications is the long startup time, especially during scale up when newer instances need to be added.
新卒研修として開発した「はてなピアスター」がSlack活用アワードで優勝しました - Hatena Developer Blog
こんにちは、id:arthur-1 です。Mackerel 開発チームでアプリケーションエンジニアをしています。2022年4月に新卒入社しました。 入社時のエンジニア研修の一環で、2022年の新卒エンジニア4人で「はてなピアスター」という社内向け Slack アプリを5日間で企画・開発しました。 現在でもこの Slack アプリが社内で利用されており、スタッフ同士が気軽に感謝や称賛を贈り合うオンライン上の新たなコミュニケーション機会を創出しています。 はてなピアスター＝ピアボーナス＋はてなスター はてなピアスターは、従業員同士で報酬を送り合う「ピアボーナス」という仕組みと、記事やコメントにスターをつけて気持ちを表現できる自社サービスの「はてなスター」を掛け合わせて生まれました。Slack アプリから、他のはてなスタッフに対して感謝のコメントを添えてスターを贈ることができます。 Slack
住信SBIネット銀行、ネットバンキング基盤をAWS東京/大阪リージョンで冗長構成、障害検知から5分以内に復旧 | IT Leaders
IT Leaders トップ ＞ 経営課題一覧 ＞ 事業継続 ＞ 事例ニュース ＞ 住信SBIネット銀行、ネットバンキング基盤をAWS東京/大阪リージョンで冗長構成、障害検知から5分以内に復旧 事業継続 事業継続記事一覧へ [事例ニュース] 住信SBIネット銀行、ネットバンキング基盤をAWS東京/大阪リージョンで冗長構成、障害検知から5分以内に復旧 2023年8月29日(火)日川 佳三（IT Leaders編集部） リスト 住信SBIネット銀行（本社：東京都港区）は2023年8月29日、インターネットバンキングシステムの可用性を高めるため、システム基盤のAmazon Web Services（AWS）をマルチリージョンで構成したと発表した。AWSの東京リージョンに障害が発生した際に、大阪リージョンに切り替えて業務を継続する仕組みで、障害検知から5分以内にサービスを復旧できるようになった。2
はじめに こんにちは。IT業界15年、Web系10年のアラフォーです。 以前エンジニアの仕事を中心にやって来たが、現在スペシャリストとチーム長として働いてます。 昨年の10月から、プロダクトソリューション部に異動し、現在SREチームでSREの取り組みを頑張っています。 SREの施策の一環として、インフラコストの削減を取り組んでいます。 当初、一つAWSのアカウント上で、月額10000ドル超えている状態から、現在月額約3000ドル未満になりました。 対応した内容はほぼ不要なリソースを削除しただけですが、コスト削減する際に、確認観点としてご参考になれば幸いです。 前提 弊社のサービスでは、現在すでに IaC (Infrastructure as Code)を導入しましたが、以前IaCという概念がなかったので、インフラの構築は全てコンソール上で手動で構築してました。 システムリニューアル後、リソ
バクラク事業部Platform Engineering部DevOpsチームの id:itkq です。CTO室という事業部横断のコーポレートエンジニアリング組織を兼務しています。早いもので今年も終わりが近づいてきました。Spotify 2023 Wrappedによると今年一番聴いたアーティストは結束バンドで、一番聴いた曲は『忘れてやらない』でした。 この記事は LayerXテックアドカレ 27日目の記事です。前回は yohei による FlutterアプリにおけるUI Component Architecture でした。次回は Tomoaki が担当します。今回は、勤怠関連の社内Slackアプリを開発して運用している話をします。 LayerXにおける勤怠と習慣 LayerXでは勤怠システムにAKASHIを採用しています。システム上の勤怠に加えて、次のような習慣があります。 出勤時に統一のS
スタディサプリにおけるKarpenterの導入トラブル振り返り - スタディサプリ Product Team Blog
スタディサプリにおけるKarpenterの導入トラブル振り返り こんにちは。スタディサプリ小中高SREの@aoi1です。 スタディサプリでは、Kubernetesを利用しているのですが、Nodeの運用自動化のために2023年3月から本番環境を含む全環境でKarpenterを導入しています。 Karpenterのおかげで開発者体験を向上させることができたり、コスト削減を行うことができました。便利で良いことが沢山ある一方、本番環境で問題が発生するなどいくつかハマったこともありました。 本ブログでは私たちがハマったポイントを通じて、Karpenterの導入を検討している方、あるいは既に本番環境でKarpenterを運用している方にとって参考になればと思います。 Karpenterとは KarpenterはAmazon Web Sevice(AWS)が開発しているOSSで、「Karpenter s
AWS Security Hubの導入からうまく運用を回すまでのTips / 開発者向けブログ・イベント | GMO Developers
こんにちは、GMOインターネットグループ株式会社 システム統括本部 ホスティング・クラウド開発部 アプリケーション共通チーム（技術推進チーム/AWS運用チーム）の井本です。 弊社では、AWS環境におけるセキュリティ強化の取り組みを随時実施しております。今回は、直近で実施したセキュリティ統制の取り組みである「AWS Security Hubの導入」について、ご紹介させていただきます。 はじめに みなさんは、Security HubやGuardDuty, Trusted Advisorなどを導入したものの、「各チームにご対応いただけない」、「通知が来すぎてしまう」など、うまく運用を回すことができないという状況に直面したことはないでしょうか？ 今回は、Security Hubの横断導入に際して、得られた知見をご共有させていただき、ぜひみなさんが導入・運用改善される際の参考にしていただければと思い
EC2インスタンスに特定のアプリケーションがインストールされていない場合、Security Hub経由で自動通知させる仕組みを作ってみた | DevelopersIO
EC2インスタンスに特定のアプリケーションがインストールされていない場合、Security Hub経由で自動通知させる仕組みを作ってみた この仕組みによって、EC2インスタンスにセキュリティや監視製品などの必要なアプリケーションが適切にインストールされていることをチェックすることができます。 はじめに 自身の管理するEC2インスタンスにセキュリティのアプリケーションがインストールされているかチェックしたいことがありました。 アカウント内の全てのEC2インスタンスに特定のアプリケーションがインストール状況をチェックし、未インストールの場合、メールで自動通知する手順を紹介します 構成は以下の通りです。 構築方法の流れは、以下の通りです EC2インスタンスをAWS Systems Manager(以降、SSM)でマネージドインスタンスにします SSMインベントリでEC2インスタンスのアプリケーシ
【総まとめ】GuardDutyによるコンテナランタイム脅威検知の注意事項と設定手順と検出の様子 #AWSreInvent | DevelopersIO
AWSマネージドサービスGuardDutyによる待望のコンテナランタイム脅威検知。その検知内容と設定上の注意事項、検出の様子をまとめてお届けします。 「ECSのランタイム脅威検知って、商用製品必須だよね。どれにすっかなぁ。結構高いよね」 「1年前の予告を経て、よーーーやくAWSマネージドなやつがGAされましたよ」 去年のre:Invent2022においてKeynote中に予告だけされていたコンテナ環境のランタイム検知（【速報】GuardDutyによるコンテナランタイムの脅威検知サービスが発表されました！）。 先日のre:Invent 2023のアップデートにより、待望のECSにおけるランタイム検知が、GuardDutyで実現できるようになりました！！もともとEKSにおけるランタイム検知は提供されていましたが、それがECSにも拡張されたアップデートです。 これまでAWSのECSにおいてランタ
ワークフローツールを AWS Step Functions に移行した話 | CyberAgent Developers Blog
AI事業本部の協業リテールメディアdivでソフトウェアエンジニアをしている 中澤 といいます。直近では、プロダクト開発以外にAI 事業本部の新卒研修の運営を行なったりもしていました。 私が所属しているチームで最近、定期バッチを行うワークフロー管理ツールを AWS Step Functionsへ移行したので、移行の背景や得た知見を記事として公開します。 移行前の構成 私たちのチームでは、ワークフロー管理ツールを AWS Step Functions に置き換える前には、Prefect を使っていました。 Prefect に関しては、弊社ブログの別記事があるので、Prefect について知りたい方はそちらも参考にしてみてください。 Prefect を利用している時の構成では、Prefect 側でワークフローのスケジュール管理やワークフロー内のタスク実行を Prefect、実際のワークフローのタ
本記事は 基盤デザインウィーク 8日目の記事です。 🌈 7日目 ▶▶ 本記事 ▶▶ 9日目 💻 はじめに ecscheduleとは 「スケジュールされたタスク」 Amazon EventBridgeについて 構成図 コード体系 ecschedule.yaml target.json 構築手順 0. 前提 1. 必要リソース構築(dev) 2. ecschedule dump(dev) 3. 設定ファイルの修正 4. ecschedule apply(prod) 検証中にハマったポイント 1. ecschedule dumpコマンドが成功しない 2. 別リージョンからtfstateの読み込みは出来ない 3. サブコマンドからリソース削除が出来ない まとめ はじめに こんにちは、加藤です。 以前ecspressoについての記事を書きました☕️ tech.nri-net.com 今回はecs
Amazon ElastiCache Serverless for Redis and Memcached is now available | Amazon Web Services
AWS News Blog Amazon ElastiCache Serverless for Redis and Memcached is now available Today, we are announcing the availability of Amazon ElastiCache Serverless, a new serverless option that allows customers to create a cache in under a minute and instantly scale capacity based on application traffic patterns. ElastiCache Serverless is compatible with two popular open-source caching solutions, Redi
困っていること 夜間のアクセスが少ない時間帯などにインスタンスタイプを変更したいと考えています。 そのため、自動でインスタンスタイプ変更する方法を教えてください。 どう対応すればいいの? 方法は複数ございますが、EventBridge + SSM Automation runbook AWS-ResizeInstance で実現可能です。 やってみた 今回は SSM のマネージドノードにする方法は割愛させて頂きます。 EventBridge で SSM Automation runbook AWS-ResizeInstance を実行するために必要なロールを作成します。 ロール名は SSMAutomationResizeInstance-EventBridge-Role としました。 信頼関係 { "Version": "2012-10-17", "Statement": [ { "Eff
Dependabot alertをSlackに通知して、トリアージ運用に役立てる仕組みを作ってみた - freee Developers Hub
こんにちは、PSIRTのWaTTsonです。 去年の12月にAdvent CalendartでAWS SecurityHubの結果をSIEM on Amazon OpenSearch Serviceに取り込んだ話を書きました： developers.freee.co.jp 今回は、同じくSIEM on OpenSearchを使った話で、GitHubのDependabotの運用に関することを書きたいと思います。 Dependabotの運用上の課題点 Dependabotはプロジェクトで使われているライブラリの依存関係をチェックし、古いものやセキュリティ上の問題があるものをアラートするサービスです。元々は独立したサービスでしたが、2019年にGitHubに買収されて、今はGitHubの公式機能として提供されています。 freeeでは、依存ライブラリの脆弱性管理に長らくyamoryを使っていまし
SREチームの橋本です。SRE連載の3月号となります。 Amazon ECSのコスト最適化においてはFargate Spotが有効な手段となりますが、いつ中断されるか分からない性質上、その監視も併せて実施していく必要があります。今回はそのFargate Spotを本番環境で運用しているプロジェクトにおける取り組みを紹介します。 背景 Fargate (Amazon ECS on AWS Fargate) を用いると負荷に合わせた容易なスケーリングが可能になる一方、このときCPU使用率の安全マージンや予測のブレなどにより、リソースがやや過剰になってしまうこともあります。 Fargate Spotの代表的なユースケースと言えばユーザーに露出しない開発環境ではないかと思いますが、このような場合にコストを考えると、タスクの中断をある程度許容しての本番環境でのFargate Spot運用も可能な選択
「今月もAWS利用料高いなー」 「よし。コスト削減しよ！」 「まず、このシステムは何にコストがかかっているのか分析からしよーっと」 その後、利用状況調査＆削減案検討・・・ その時間に（小銭レベルかもですが）サクッとコスト削減できることがあるかもしれません！ 私が以前、職場で整理した「難易度別！AWSコスト削減案」を記事化しました。 少しでも皆様のお役に立てればと思います。 DBリアーキのような大きなシステム改修はスコープ外です。 あくまで1,2カ月くらいでサクッと実装できるものに絞っています 他にも「うちではこれやった！」があったら教えていただけると嬉しいです！ 【難易度：★】不要リソース削除 まずはここから 意外にゴミがたまっているかもです！ 私が担当しているシステムでは約1万円/月の削減をすることができました（お恥ずかしながら） 具体例 ・不要ファイルの削除 ・不要(未使用)AMIの削
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSコンテナ系アーキテクチャの選択肢を最適化する | 外道父の匠
注目のITサービスを支えるアーキテクチャ特集 技術選定のポイントと今後の展望 - Findy Tools
AWS Lambda×Fargate×PlanetScaleを組み合わせれば、超絶スケールするWebアプリを作れる 約2ドルから作れる“ニッチで俺得な”環境の布教
EC2とcronで動いていたバッチ基盤をマネージド化した - Uzabase for Engineers
LINE Botの開発でCloudflareとHonoを使う理由
【2024年】AWS全サービスまとめ | DevelopersIO
2023年のSREチームのAWSコスト削減を振り返る - Uzabase for Engineers
バクラク事業におけるデータ組織とデータ基盤 2023 - LayerX エンジニアブログ
住信SBIネット銀行、AWSの国内マルチリージョンによる冗長化構成を実施
SSMって20種類あんねん 〜Run Commandで定期バッチを起動する〜 - NRIネットコムBlog
AWS不要なリソースの削除を対応したのお話 - Qiita
勤怠をいい感じにする社内Slackアプリ #LayerXテックアドカレ - LayerX エンジニアブログ
Scheduled tasks(ECS)をecscheduleで管理してみた - NRIネットコムBlog
自動でインスタンスタイプ変更する方法を教えてください | DevelopersIO
Fargate Spotを本番運用するための監視の実践 - KAYAC engineers' blog
【AWSコスト削減】まずこれ見て！サクッとコスト削減できること - Qiita