こちらのアドベントカレンダーの記事です。 近々書くような気がするので、先駆けてアドベントカレンダー駆動で書いていきます。 スタートアップのデータ基盤に興味がある人には刺さるかもしれません。 TL;DR 2020年に構築した弊社のS3+Athena構成のデータ基盤の限界が近い 構築当時に比べてデータ基盤の選択肢色々増えて嬉しい 2024/1~3にかけてSnowflake or Redshift Serverlessの検証をします 現在のデータ基盤の構成 タイトルの通りS3 + Athenaを中心にAWSの細かいサービスを使っています 使用技術 S3 Athena Glue GlueETLは費用の面で使わず他のサービスを組み合わせる形で内製 Firehose Lambda(Python) Codebuild Step Functions / EventBridge ECS on Embulk
AWSで開発運用する上での基本が学べる【Developing on AWS】を受講してみた | DevelopersIO
皆さんこんにちは、AWS事業本部オペレーション部の清水です。 AWSで開発運用する上での基本について学習するべく、「Developing on AWS」を受講してきました！ 本コースの受講をお考え中の方へ、お役に立てば幸いです。 AWS認定トレーニングとは？ 以下のブログに、弊社AWS認定トレーニング講師の平野のほうで執筆した各トレーニングの詳細が記載されています。 私が今回受講したのは、以下の図の赤枠に入るコースになります。AWS SDK/CLIを使用して、AWS を活用したアプリケーションを開発する方法を学びたい方におススメのコースになります。 事前準備 知識レベル 「AWS認定クラウドプラクティショナー」レベルの知識習得/構築経験 Pythonの基礎知識（入門レベルでOK） Cloud9の基礎体験 １日目 モジュール３：AWSで開発を開始する ※モジュール１・２は、コースの概要とラボ
compose watchがフロントエンド開発に便利そう、他に改善話など｜Productivity Weekly(2024-02-21号)
こんにちは。サイボウズ株式会社 生産性向上チームの平木場です。 僕たち生産性向上チームは毎週水曜日に Productivity Weekly という「1 週間の間に発見された開発者の生産性向上に関するネタを共有する会」を社内で開催しています。 本記事はその時のネタをまとめたものです。 2023-01-25 号から、基本的に隔週で連載することとしました。たまに単独でも投稿するかもしれません。 今週は 2024-02-21 単独号です。 今回が第 143 回目です。過去の記事はこちら。 news 📺 Announcing end-of-support for AWS SDK for Go (v1) effective July 31, 2025 | AWS Developer Tools Blog AWS SDK for Go の v1 が 2024 年 7 月 31 日にからメンテナンスモ
Amazon Web Services ブログ 閉域網でのマルチテナントアプリケーションテンプレート 一般的な SaaS におけるテナント分離戦略や実装例は、AWS ホワイトペーパー SaaS アーキテクチャの基礎 や builders.flash の記事「 SaaS on AWS を成功に導くためのポイントとは ? 」や AWS Well-Architected フレームワーク SaaS レンズ において紹介されています。 最近では、地方公共団体や医療等の高いセキュリティレベルが求められる業界にクラウドが普及してきたこともあり、閉域でのマルチテナント設計のニーズも増えてきています。例えば、自治体の基幹システムの実装では総務省が示す「地方公共団体における情報セキュリティポリシーに関するガイドライン」及びデジタル庁が示す「地方公共団体情報システム非機能要件の標準」に準拠したセキュリティ対策を
意思決定を記録するArchitecture Decision Record (ADR)の話 - NIFTY engineering
この記事は、ニフティグループ Advent Calendar 2023 1日目の記事です。 前段の話 私が所属するプロジェクトでは、Design Docsでソフトウェアの設計や、目的、背景などを記述しており、継続的に更新しています。 Design Docsには、細かな設計方針や、その意図は明確に記述されていますが、読みやすさの観点から結論や重要なポイントのみを載せるようにしています。なので、粒度の細かい情報が失われてしまうということが起こってしまいます。 これでは新規参入者になぜ他の選択肢を選ばなかったか、なぜこの選択肢を選んだのかについて伝授されません。 未来の運用者は数ある選択肢からの導入理由や、決定の過程や議論した内容がわからないまま機能の追加や改修を行わなければなりません。 これが積み重なっていくと日々の運用のコストが膨らんでいき、運用したくないシステムになってしまい、技術的負債と
カナリアリリースに関連のある部分を図に起こしたものが以下です。 ECSクラスターの中にあるサービスに対してターゲットグループを設定し、ALBからのリクエストをタスクに割り振っています。 デプロイはGitHub ActionsのWorkflow Dispatchを使用し、ボタン押下で実行できます。このプロセスはDockerイメージをビルド、Amazon Elastic Container Registry（以下、Amazon ECRと表記）にイメージをプッシュし、Amazon ECSのタスク定義を更新すると自動的にタスクのローリングアップデートが走る仕組みを使用しています。 余談ですが、クーポンサービスでは以前Spring Boot 2.6を採用していました。 Spring Bootの3系へのアップグレードについては記事「出前館クーポンサービスでのサーバーアプリケーションのSpring Bo
Announcing the new Amazon S3 Express One Zone high performance storage class | Amazon Web Services
AWS News Blog Announcing the new Amazon S3 Express One Zone high performance storage class The new Amazon S3 Express One Zone storage class is designed to deliver up to 10x better performance than the S3 Standard storage class while handling hundreds of thousands of requests per second with consistent single-digit millisecond latency, making it a great fit for your most frequently accessed data an
昨今のUnityの状況を鑑みて、他のゲームエンジンも触ってみよう。というスタンスで色々触ってみているところです。既にUEは触ったことがあるため、それ以外のエンジンから触ってみています。 移行先としてGodotに注目が集まっていますが、たしかにUnityと似たところもあり使いやすいエンジンではあると思いますが違うところもたくさんあり、Unityに慣れてしまった身としては本格的に開発で使っていくにあたり新しく覚えることが多いように感じます（逆にいうと、ちょっとしたゲームを作るくらいなら少しの学習でいけそうな雰囲気を感じました） また、可能性としてはあまりないと思いますがUnityが一切使えなくなってしまったとき、中規模以上のモバイルゲーム開発ですぐに移行を検討できるようなオープンソースのエンジンを1つは見つけておきたいと思いました。 チーム開発で採用するには自分だけ頑張って勉強すればいいという
Rustベースで開発されたECSゲームエンジン「Arete Engine」正式発表。データ指向&ユニファイドメモリを活用し、大量のオブジェクトが存在するシーンも高速動作
新たなゲームエンジン「Arete Engine」バージョン0.1がリリース Entity Component Systemを活用するRustベースのゲームエンジン ユニファイドメモリを使い、フレームごとの処理負荷を軽減 2023年11月10日（現地時間）、Arete Gamesはゲームエンジン「Arete Engine」のバージョン0.1をリリースしました。 We’ve officially released v0.1 of Arete Engine (and a game demo). Arete Engine is a new type of unified-memory game engine centered on performance. v0.1 announcement: https://t.co/e7X5yLnRKe v0.1 download: https://t.co/
コストで差をつけろ！！re:Invent 2023 で発表された AWS Cost Optimization Hub を紹介！ | DevelopersIO
コストで差をつけろ！！re:Invent 2023 で発表された AWS Cost Optimization Hub を紹介！ タイトルが「コー◯ーで差をつけろ！！（◯足）」みたいなね。えっ？コーヒー？ どうも、こんにちは kaz です。 今回は re:Invent 2023 で AWS Billing and Cost Management の新機能として発表された「AWS Cost Optimization Hub」について紹介しようと思います。 コストで差をつけろ！！ってね。えっ？ はい。始めます。 AWS Cost Optimization Hub とは？ AWS Cost Optimization Hub は「コスト最適化推奨事項を一元的に管理するための集約サービス」です！（はい、名前のまんまです） AWS 上のセキュリティ事項を確認するために AWS Security Hub
この記事が書くこと 「AWSエンジニア」ってなんぞ？ 「AWSエンジニア」ってどういう需要？ 資格取得とは別の武器について 読んで欲しい人 インフラ、AWSエンジニアを目指して就職、転職活動をしている方 上記関連資格の取得やそれに向けた勉強を行っているが、ぶっちゃけあんまり上手くいってない方 いざAWSエンジニアで求人してる会社に入ってみたら「何か違った」という経験をお持ちの方 1.「AWSエンジニア」とは？ 日頃からTwitter(X)を覗いていると、AWSエンジニアなるものになるために、AWS関連の資格を取得し、就職もしくは転職活動に励んでいる方をよく目にします。 もちろん資格取得に向かって勉強し、実践に備えることは有益なことであるというのは、おそらく多くの人が納得するところです。 しかし、私が気になっているのは、求人にも掲載されてる「AWSエンジニア」という職種は、具体的にどのような
本記事は 【コンテナウィーク】 3日目の記事です。 💻 2日目 ▶▶ 本記事 ▶▶ 4日目 📱 はじめまして、2021年キャリア入社の加藤です。 Amazon ECSのデプロイツールであるecspressoを用いて複数環境にECSデプロイを実施してみようと思います。 業務でTerraformを使用する機会が多いので、ecspressoと連携させ、より実践的な使い方を試します。 ecspresso とは ecspressoはfujiwara氏が公開しているECSのデプロイツール(OSS)です。 github.com 設計思想として 「ECSのデプロイに関わる最小限のリソースのみを管理するツール」と書かれており、ECSデプロイに特化したツールであることが分かります。 ecspressoの管理対象は「ecspressoの設定ファイル」「ECSサービスの設定ファイル」「ECSタスク定義の設定フ
WasmバイナリをrunwasiとPodman/crun/WasmEdgeから実行してみた | DevelopersIO
DockerやKubernetesで利用されているコンテナランタイム containerd からは、shim を通じてruncやAWS Fargateで利用されているFirecrackerなど様々なコンテナ実行方法をサポートします。 数年前にDocker社のプレスリリースで話題になったのように、WebAssembly(Wasm)アプリも実行することができ、Wasm向けshimから runwasi を呼び出すほか、runc 向け shimから Wasm対応した crun を 呼び出す事もできます。 ※ 図はIntroducing the Docker+Wasm Technical Preview | Docker から 本記事では、両ケースに対応する containerd をインストールしたあと、runwasi 方式とPodman&crun のそれぞれで実行します。 検証環境 Ubuntu
AWS ECSのハンズオンやってみた - Qiita
はじめに 案件などでECSを使うことは多々あったのでコンテナって便利な概念だけど、インフラとして構成することができてもよく考えたらコンテナの中身ってどうなってるかよくわからない気がする。。。 ということで AWS が提供している ECS ハンズオンをやってみました。 今回実施したハンズオンの流れとしては、以下のようになっています。 準備 コンテナイメージ作成 ECSの作成 自動復旧確認 リソース削除 ※この記事では公開されているハンズオンと順番を入れ替えたり、省いて実施している部分があります。 おまけ(なんなら本編)として、2/5に公開されCloudFormationで管理外のリソースをCloudFormationのスタックとして取り込める機能が気になっていたのでついでに試してみました。良かったら最後までお読みください。 準備 準備としてCloud9の環境を整備します。 最初にCloud9
Terraform コードリーディング会を開催し、エンジニア組織全体でインフラの知識の底上げができた話 - メドピア開発者ブログ
SRE の田中 @kenzo0107 です。 Terraform コードリーディング会を実施した結果、 エンジニア組織全体でインフラの知識の底上げができた話です。 何故やることになったか？ 弊社では以下のような背景がありました。 SRE チームが基本インフラ管理 会社の成長に比例し管理するインフラが増加⤴️ SRE チームの処理能力が頭打ちにとなる未来が予想され、 インフラ管理は以下体制への移行が求められていました。 上記の体制へ移行活動の一環として、 まず 「Terraform を知る」こと、ひいては 「AWS を知る」きっかけを作るべく、 Terraform コードリーディング会を開催することとしました。 勉強会の頻度や基本方針 週 1 回 30 分 × 15~6 回*1 自身の携わるプロジェクトの勉強会に参加*2 構成図を元にコードを読む範囲の構成を定める 以下を見ながら、設定の意味
Amazon Web Services ブログ AWS Fargate タスクのリタイア通知による運用の可視性の向上 この記事は Improving operational visibility with AWS Fargate task retirement notifications (記事公開日 : 2023 年 9 月 6 日) の翻訳です。 導入 AWS Fargate は、コンテナワークロードのためのサーバーレスコンピューティングエンジンであり、基盤となるインフラストラクチャの保護やパッチ適用といった、ビジネスに付加価値をもたらさない作業から解放してくれます。この記事では、AWS がインフラストラクチャを安全かつ最新の状態に保つための仕組みの 1 つである Fargate タスクのリタイア通知について深掘りします。 AWS は、Fargate タスクのリタイアプロセスに関する最
2022年5月にCTOとして入社してから約１年半、これまで取り組んで来たことを振り返ってみました！（もちろん僕だけで行った訳ではなくエンジニア全体で行った取り組みです） これまで整備されていなかったところを整備出来た事によってサービスの品質を上げたり、デリバリーの速度向上によりビジネスが加速するようにしてきました。基本的な部分の取り組みが多いですが以前からすると大幅に変わったので紹介します！ EC2からECSへのインフラの変更 サーバーにはAWSのEC2を使用していましたがECS Fargateに乗せ換えました。開発はDockerにより元々行っていた為、コンテナをGitHub Actionsによりビルドしてデプロイ出来るようになり、環境の変更を行いやすくしました。また、オートスケールも自動的にされるので安定稼働させることが出来るようになりました。 Aurora Serverless V2の
こんにちは。機械学習チームでソフトウェアエンジニアをしているTomoakiです。 バクラクはMLOpsエンジニアを必要としており、今回はバクラクでMLOpsをやる面白さや現状抱えている課題について紹介します。 バクラクとは bakuraku.jp バクラクは経費精算、稟議申請、法人カード、請求書処理など企業の支出関連業務をAIのサポートで簡易化、効率化するサービス群です。これにより企業は経理業務の労力を大幅に削減することが可能となります。 2021年1月に初のプロダクト「バクラク請求書受取」をリリース。その後は「バクラク申請」「バクラク経費精算」「バクラク請求書発行」「バクラクビジネスカード」「バクラク電子帳簿保存」と半年に1つのペースで新規プロダクトをリリース。現在は6つのプロダクトを提供し、それぞれが企業の経理業務を支援しています。2024年2月にはお陰様で導入社数が10,000社を突
生成 AI で加速する e コマースの変革 その 2 – AWS Summit Japan 2024 で展示した Amazon Bedrock デモの解説 | Amazon Web Services
Amazon Web Services ブログ 生成 AI で加速する e コマースの変革 その 2 – AWS Summit Japan 2024 で展示した Amazon Bedrock デモの解説 みなさんこんにちは。シニアソリューションアーキテクトの堀内です。私は、日頃 e コマース(以下 EC ) 業界の企業様を支援しております。 本ブログでは以下 2回に分けて、EC業界における生成AI活用ユースケースについて解説をしています。 その 1：EC 業界における課題と生成 AI ユースケースによる解決案の整理 その 2：ユースケースの実装例として AWS Summit Japan 2024 で展示した Amazon Bedrock デモの解説 今回は前回ご紹介した EC 業界における代表的な生成 AI ユースケースについて、Amazon Bedrock を利用した具体的な実装例として
NewsPicksでプッシュ通知にレコメンドエンジンを導入した設計方針 - Uzabase for Engineers
こんにちは、ソーシャル経済メディア「NewsPicks」の高山です。 この記事は NewsPicks アドベントカレンダー 2023 の15日目の記事です。 昨日は森田さんによる『メディアのミッションによって"良い"ニュース推薦システムって違うのかも! n週連続推薦システム系 論文読んだシリーズ32週目(番外編)メディアモデルと5つの多様性指標群の論文等を読んで思いを馳せた話』でした！ 以前にNewsPicksのプッシュ通知でBrazeというサービスを導入した話を書きました。 tech.uzabase.com 今回はそのシステムを改修し、通知にレコメンドエンジンを導入した話を書いていきます。 社内ドキュメント一歩手前ぐらい詳しくなってしまったので、もし皆さんが似たようなシステムを設計するときには読んでみてください。 おさらい まずは前回の記事にも書いた仕組み（旧システムと呼びます）をおさら
さまざまな AWS ネイティブサービスを使用して Amazon ECS をスケーリングしよう！ | Amazon Web Services
Amazon Web Services ブログ さまざまな AWS ネイティブサービスを使用して Amazon ECS をスケーリングしよう！ コンテナはアプリケーション開発を加速し、環境間でのデプロイの一貫性を高めるため、組織のプロダクティビティとアジリティを向上させることができます。Amazon Elastic Container Service (Amazon ECS) などの AWS コンテナサービスは、アプリケーションの管理を簡素化し、イノベーションとビジネスニーズに注力できるようサポートします。 顧客体験はすべての組織にとって、アプリケーションのパフォーマンスを測る上で最も重要な指標です。さまざまなリクエストのパターンに対して、エンドユーザーへの信頼性と一貫性のある体験を維持することは、すべての組織が直面する課題です。ベストプラクティスとして、Amazon ECS サービスでタ
Amazon Web Services ブログ ベストプラクティス: AWS によるオブザーバビリティの実装 お客様は、クラウドベースのソリューションを導入する際に、システムが円滑に稼働していることを確認し、問題が発生したときに迅速に修正できるようにする必要があります。しかし、オブザーバビリティを特に企業間をまたがって数十から数百のサービスが関わるような大規模に展開することは、簡単にはいかない場合があります。そのため、お客様はベストプラクティスの推奨事項、ツールの選択に関するガイダンス、そして最も重要な、オブザーバビリティを開始するための段階的なプロセスを求めています。AWS での堅牢なオブザーバビリティ戦略を実装するプロセスを簡素化するために、ベストプラクティスガイドをまとめました。この記事では、ガイドで取り上げられているトピック、ガイドの活用方法、およびガイドへ貢献する方法について説明
Prometheusを超える？ VictoriaMetricsの魅力とは - RAKUS Developers Blog | ラクス エンジニアブログ
顔の濃さが唯一のアイデンティティのインフラエンジニア、m_yamaです。15カ月ぶり2度目の登場です。 去年、ラクスで先行技術検証を行っている「技術推進プロジェクト」で取り組んだ「スケーラブルな監視システム」について、1年たっぷり寝かせた熟成リリースとなります。お目汚し失礼いたします。 VictoriaMetricsとは？ VictoriaMetricsのメリット・デメリット VictoriaMetricsのメリット VictoriaMetricsのデメリット VictoriaMetricsの導入方法 1. VictoriaMetricsの構築 2. 監視対象にexporterをインストール 3. vmagentのセットアップ VictoriaMetricsの活用事例 コロプラ(colopl)の場合 Adidasの場合 CyberAgentの場合 VictoriaMetricsでログは見れ
Rails7.1をfargateで動かしてみる
Rails7.1をECS(Amazon Elastic Container Service)-Fagateにデプロイします！！！ 以下の順で進めていきます。今回はとりあえずFargate上で動くことをゴールにしますので、MySQLは使いません。 ローカルでRails7.1を立ち上げる ECR(Amazon Elastic Container Registry)にRailsイメージをpushする ECRのイメージを使って、ECS(Amazon Elastic Container Service)-Fagateにデプロイ まずは、ローカルでRails7.1を起動していきます。 ローカルでRialsを動かしてみる アプリケーションの作成 以下のコマンドでアプリケーションを作成して、作成したアプリケーションのフォルダに移動します。 rails new test_app cd test_app/ ま
2024/02/09 ~ 2024/02/11に開催されたYAPC::Hiroshimaの一連のイベントに参加してきました。 所属しているBASE株式会社としてスポンサーしているのその兼ね合いで。 久々にブログ作ると思ってみたらドメインがhatenadiaryでした、マジ？ yapcjapan.org 各種セッション YAPC前夜祭 Introduce Hono v4!!!! Hono v4リリースについて ミニマルなFWなのは知っていたが具体を聞いて使いたい気持ちが増した。 ミニマルさを維持しつつフルスタックになっていくのは大変だろうけど凄いな〜っていう感想。 社内のメンテされてないRailsを置き換えようかなって気持ちになっている、ORM周りだけどうしようか悩みどころ。 Cache-Control: max-age=86400 みんな大好きCacheの話。 キャッシュは麻薬という言葉が
SaaS移行で発生したURL変更に自作リダイレクトツールで対応した話 - LIVESENSE ENGINEER BLOG
背景 作ったもの リダイレクトツール(redirector)の作成 redirectorの開発言語選定 設定ファイルについて redirector開発で工夫した点 リダイレクトサービス動作環境の構築 リリース後の反応 終わりに 技術部ソリューションチームの @etsxxx , @mom0tomo です。 ソリューションチームは全社の課題をエンジニアリングによって解決することを目的に2024年に発足したチームです。現在はインフラグループと情報システムグループのメンバーによる兼務で運営しています。 今回はソリューションチームとしての初リリースとなったOSSのURLリダイレクトツール(以下、redirector)とその導入後の効果について紹介します。 github.com 背景 作ったもの リダイレクトツール(redirector)の作成 redirectorの開発言語選定 設定ファイルについて
AWS CDK Pipelines と AWS CodeDeploy を使用したブルー/グリーンデプロイ | Amazon Web Services
Amazon Web Services ブログ AWS CDK Pipelines と AWS CodeDeploy を使用したブルー/グリーンデプロイ お客様から Amazon Elastic Container Service (Amazon ECS) に AWS CodeDeploy を使用して ブルー/グリーン デプロイを実装するための支援がしばしば求められます。 お客様のユースケースは通常、クロスリージョンおよびクロスアカウント間でのデプロイシナリオが含まれます。 これらの要件だけでも十分に難しいのですが、さらに CodeDeploy を使用する際には特定の設計上の決定が必要となります。 具体的には CodeDeploy の設定方法、CodeDeploy リソース (アプリケーションやデプロイグループなど) の作成時期と方法、アカウントとリージョンの任意の組み合わせにデプロイでき
製造業での生成AI活用術：自社製品を理解した基盤モデルと検索を組み合わせた用途探索 | Amazon Web Services
Amazon Web Services ブログ 製造業での生成AI活用術：自社製品を理解した基盤モデルと検索を組み合わせた用途探索 製造業、特に化学、素材や製薬の事業では自社製品の新しい用途の発見が新規市場の開拓に欠かせません。富士フイルムがフィルムで培った抗酸化機能を化粧品に転用した事例、森下仁丹がバイオカプセルの技術をレアメタルの回収に転用した事例は自社製品の可能性を広げた好例といえます。しかし、可能性を感じる一方で新しい用途の発見に困難を感じているお客様が多いと思います。テクノポートのアンケートに基づくと、用途開発を行っている企業の 84.5% が自社だけで有望な用途を発見するのは限界と回答しています。多様な新製品の登場や脱炭素の市場動向など、製品と求められる性能は多様であり、膨大な情報から自社製品の適合可能性を発見し育てるのは容易ではありません。先ほど挙げた富士フイルムでも、化粧品
こんにちは、iimonでエンジニアをしています。須藤です。 本記事はiimonアドベントカレンダー20日目の記事となります。 業務中にbatch処理を追加する際、 サーバー側リポジトリのgithub actionsで、コンテナ実行コマンドの上書きと、batch job定義の登録をして、 インフラ側リポジトリでbatch jobのscheduleを設定するということが何度かあり、 サーバー側リポジトリだけで完結させたいと思っていたところ、 ecscheduleを使うとできそうなので試してみることにしました。 container imageの準備 ECS clusterを作成 ecsEventsRoleの作成 github actions関連 ECS task定義を作成 ecscheduleの設定 Github Actionsを構成 動作確認 まとめ 最後に 参考 container imag
AWSのECSってなんやねん
自己紹介 どもども、フリーランスエンジニアとして働いている井上弥風です。 ずっとバックエンドメインで仕事をしてきたのですが、インフラ側がヨワヨワ過ぎたので勉強を始めました ECSを自分で設定して開発時に利用して～～とかまで全部できる自信がなかったので学習していきます 対戦よろしくお願いします 初めに 記事の内容 この記事は「そもそもDockerって何？」から始まり、そのあとにECSを理解していきます ECSに関する内容だけを学びたい方は上記目次から「実際に使ってみた」まで飛んでいただけると読みやすいかと思います 記事のゴール 記事のゴールは下記です Dockerに対する理解をすること ECSに対する基礎知識を理解すること ECSに関わるサービス(ECRなど)の理解をすること そもそもDockerとは何か ECSの前にDockerってそもそも何者なんっていうのを僕が完全に理解できていなかった
1,800万人が利用する『家族アルバム みてね』におけるK8s基盤のアップグレード戦略と継続的改善 / 杉本 浩平
本記事は、2023年9月29日に開催された SRE NEXT 2023 に登壇させていただいた みてねプロダクト開発部 基盤開発グループ SREチーム 杉本（@kohbis）のセッションを、文字起こしをベースにブログ記事にまとめたものです。 セッションについてタイトル1,800万人が利用する『家族アルバム みてね』におけるK8s基盤のアップグレード戦略と継続的改善 セッション概要『家族アルバム みてね』（以下、『みてね』）のインフラは、2021年始めにAWS OpsWorksからAmazon EKSのマネージドK8s基盤へと移行しました。K8sの採用は大きな恩恵がある一方で「運用コストが高くなる」と一般的に言われています。その理由としてあげられやすい4ヶ月に一回のマイナーリリースへの追従については、K8sクラスタの運用経験のある方であれば少なからず苦労した思い出があるのではないでしょうか。
NTTドコモは写真・動画保存サービス「dフォト」およびファイル保存サービス「データ保管BOX」をコンテナ基盤に更改した。アーキテクチャーの見直しに当たり、米Palo Alto Networks（パロアルトネットワークス）の「Prisma Cloud」を導入し、セキュリティー対策もコンテナ環境に合わせたものとした。 ドコモの事例を基に、コンテナに求められるセキュリティー要件と対策について見ていこう。 コンテナへのリプレースを機にセキュリティーも見直し コンテナ基盤に更改したのは2023年2月。旧システムは2012年にAmazon Web Services（AWS）上で稼働開始した。仮想マシンサービス「Amazon EC2」を約400台も利用していたため、NTTドコモスマートライフカンパニー第一プロダクトデザイン部コンテンツサービス担当の竹田優太氏は「特にOS（基本ソフト）やミドルウエアのアッ
SREチームの橋本です。SRE連載の11月号になります。 AWSの多くのリソースはIAMでアクセスを一元管理されていますが、Lambdaではユーザーが実行したり他のAWSサービスから実行されたりする都合上、様々なポリシーが絡んでいます。 特に「Lambdaを呼び出す許可」についてはID（アイデンティティ）ベースのポリシーとリソースベースのポリシーで内容が被るため、どちらで設定するか混乱しているケースも見られます。 本記事ではこうしたポリシー事情をterraformの例と共に整理し、権限設定のベストプラクティスも検討します。 そもそもIAMのポリシーについて ドキュメントによればAWSのポリシーは実に6種類ものタイプがありますが、「使用頻度の高いものから」とあるように最初のIDベースが非常に多くのサービスで共通して使われており、次いで2番目のリソースベースが一部サービスで必要になるでしょう。
2023年 crowdworks.jp の SRE チームでやったこと - クラウドワークス エンジニアブログ
この記事は クラウドワークス Advent Calendar 2023 シリーズ1 6日目の記事です。 こんにちは。crowdworks.jp SRE チームの田中（@kangaechu）です。 この記事では crowdworks.jp の SRE チームが2023年にやったことを記載していきます。 やっていることは色々で、まとまりはありませんが、そこら辺はご容赦ください。 2022年の振り返り 2023年にやったこと CircleCI インシデント対応 RundeckのECS化 Railsで使用しているMemcachedをRedisに寄せる 課題 1. Memcachedでは停止時にデータが揮発する 2. Memcached単体ではマルチAZ構成でデータのレプリケーションができない 3. Memcached/Redisともにバージョンアップをしていない 4. MemcachedとRedi
ログラスの非同期処理基盤の設計と導入
この記事は毎週必ず記事がでるテックブログ "Loglass Tech Blog Sprint" の 40週目の記事です！ 1年間連続達成まで 残り 13 週 となりました！ こんにちは、ログラスでエンジニアをしております南部です。 唐突ですが、みなさんは「非同期処理」の実装を行っていますか？ 非同期処理とは、プログラムの処理を他の処理と並行して行う方法です。これにより、ユーザーの操作がブロックされることなく、バックグラウンドで時間のかかる処理を実行することができます。 Loglassではユーザーの大量のデータを取り扱うこともあり、非同期処理を多く利用しています。 今までは単一のAPIで同期処理・非同期処理どちらも行っていましたが、今回独立したインフラに処理を投げておける非同期処理基盤を導入する活動を行いました。 最近本格導入に至りましたので、背景から設計・工夫したことを共有できればと思いま
本特集では、SBI生命保険のエンジニアが現場で培ったAWS（Amazon Web Services）のコストを抑えるテクニックを紹介する。今回はマイクロサービスアーキテクチャーの導入について説明する。 現在のシステム開発は素早いビジネス変化に追従することが求められている。こうしたシステムに欠かせないアーキテクチャーの1つが「マイクロサービスアーキテクチャー」である。マイクロサービスアーキテクチャーは従来のモノリシック（一枚岩）なシステム構成とは異なり、システムを独立性の高い小さなサービスの集合体として構成し、サービス間をRESTfulなAPI（アプリケーション・プログラミング・インターフェース）などで連携させる。 マイクロサービスアーキテクチャーはコスト削減につながる。理由の1つが改修での開発工数・テスト工数を抑えやすいことだ。マイクロサービスアーキテクチャーは小さなサービスの集合体なので
前談 本番リリースの待ち時間ってドキドキして、他の作業も手につきませんよね？ そんなモヤモヤタイムを減らすべく今回Next.jsアプリケーションの本番リリース時間を半分以下に出来たので何が効果的だったのかの共有記事になります。 概要 Next.jsの本番リリースフローを見直して、本番リリース時間の短縮を目指しました。 今回の記事では、細かい実装内容については省略している部分がありますので、どんなことをやれば時間短縮につながるのか？といった部分の確認にいただければと思います。 基礎技術 Amazon ECS Amazon ECR Nextjs Yarn 修正を加えた技術 AWS CodePipeline GitHub Actionsへ移行 AWS CodeBuild GitHub Actionsへ移行 成果 本番へのリリースフロー全体の待ち時間 40分→18分に短縮 内訳 ステージング環境か
本記事の背景 本記事は、某所で密かに行われていた Snowflake DevOps 情報交換会 Season 1 最終回の議論用に共有した内容です。 本会は、 DevOps を中心に、また DevOps とは直接は関係ないテーマも含め、その時々において関心のあるテーマを取り扱っていましたが、今回は最終会ということで、本来のテーマである DevOps において、私個人が中心的テーマであると考える構成管理やデプロイの自動化について議論したいと思い、整理しました。 中心的テーマを再び取り上げようと考えたきっかけの 1 つが Snowflake Data Superhero の Tomas が LinkedIn で EXECUTE IMMEDIATE FROM という新しい構文について紹介しているのを発見したことです。これはステージ上の SQL ファイルを直接実行できるという機能です。 Tomas
Amazon ECS on AWS Fargate で設定可能な Linux パラメータの追加 | Amazon Web Services
Amazon Web Services ブログ Amazon ECS on AWS Fargate で設定可能な Linux パラメータの追加 この記事は Announcing additional Linux controls for Amazon ECS tasks on AWS Fargate (記事公開日 : 2023 年 8 月 9 日) の翻訳です。 導入 Amazon Elastic Container Service (Amazon ECS) タスクは、同時かつ同一の AWS Fargate インスタンスまたは Amazon EC2 コンテナインスタンスにスケジューリングされる、1 つ以上のコンテナで構成されます。コンテナでは Linux namespace を使用してワークロードの分離を実現するため、Amazon ECS タスク内で複数のコンテナが一緒にスケジューリングさ
Mackerel で OpenTelemetry のラベル付きメトリックを使ってみよう - Mackerel お知らせ #mackerelio
ラベル付きメトリックのチュートリアル このチュートリアルでは AWS の ECS 上で稼働している Nginx を対象に、ゼロからラベル付きメトリックを収集して Mackerel のダッシュボード上でグラフを表示するところまでをゴールとします。 なお、Mackerel のラベル付きメトリック機能は本記事執筆時点（2023 年 9月）でベータ版となっています。そのため、Mackerel のウェブコンソール上の画面は実際のものと異なる場合があります。 現在、「ラベル付きメトリック機能」ベータ版テストの参加者を募集しています。下記のフォームよりベータ版テストへの参加お申し込みをいただけます。 forms.gle ラベル付きメトリックのチュートリアル OpenTelemetry コレクターを設定する receivers processors exporters service OpenTeleme
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
S3+Athena構成の弊社データ基盤の限界が近い - Qiita
閉域網でのマルチテナントアプリケーションテンプレート | Amazon Web Services
Amazon ECSにおけるカナリアリリースの実現
UnityエンジニアがCocos Creatorについて調べてみた｜アマガミナブログ
【AWSエンジニア志望】採用で活きる 資格取得とは別の強み - Qiita
ecspressoとTerraformを連携させて複数環境にECSデプロイしてみた - NRIネットコムBlog
AWS Fargate タスクのリタイア通知による運用の可視性の向上 | Amazon Web Services
iimonに入社して約1年半で取り組んだ主に技術面の事について - iimon TECH BLOG
バクラクはMLOpsエンジニアを必要としています - LayerX エンジニアブログ
ベストプラクティス: AWS によるオブザーバビリティの実装 | Amazon Web Services
YAPC::Hiroshimaに参加と登壇した #yapcjapan #yayapc - 記
ecscheduleを触ってみる！(v0.11) - iimon TECH BLOG
ドコモがコンテナ対応セキュリティー導入、全スキャンで検知漏れ防ぐ
AWS Lambda のアクセス許可を紐解く - KAYAC engineers' blog
コスト削減に効く「マイクロサービス」、AWSでどう実装すると安くなるか
ECS(Next.js)の本番リリース時間を半分以下にしてみた
Snowflake 向けの DevOps の取り組みと現状の課題についてまとめてみた