爆速でFargateをスケールさせる「aws-fargate-fast-autoscaler」を試してみた | DevelopersIO
CloudWatchだけでは実現できない超高速なFargateのスケール処理をCDKをつかったStep Functionsで実装しているリポジトリです。是非参考にしてみてください。 「Fargateをいかに早くスケールさせるか、そこに命をかけた男がいた…」 先日参加したセミナー（コンテナ好き4名がコンテナの魅力を喋り倒すJAWS-UGコンテナ支部に行ってきた）にそんな男がいたわけですが、その仕組を改めて動かす機会があったので、紹介します。 CloudWatchを利用しないStep Functionsを利用した爆速スケールの仕組み CDKによる環境一式のデプロイ という両面で非常に参考になるリポジトリです。そのあたり興味があるかたは是非一度この記事を読んでいただきながら皆さんの環境でためしていただきつつ、今後のStep Functionsの使い方やCDKのサンプルとして活用いただければと思い
【アップデート】ECSタスク定義を利用したローカル環境でのテスト実行が可能に！ | DevelopersIO
完全独自仕様だったECSのタスク定義はローカル環境で使うのが難しかったのですが、それがめっさ簡単になるという超絶アップデートです。 「Docker ComposeとECSタスク定義の2重管理めんどくさい(TдT)」 ECSはフルマネージドのコンテナコントロールプレーンとして、AWS上のコンテナワークロードのデファクトスタンダードと言えます。ただ、EKSとは違ってECSは完全にAWS独自仕様のため、ローカル環境やAWS以外の環境で、その設定情報をそのまま流用できないのが難点でした。 今回、ECS CLIのローカルテスト機能が、思いっきりアップデートされました。 Amazon ECS now offers improved capabilities for local testing 今回のアップデートで、ECSのタスク定義をシームレスにDocker Compose仕様に変換したり、ローカル環
彗星の如く登場したAWS App Runnerの特徴をまとめてみました - How elegant the tech world is...!
はじめに ご無沙汰しています。 最近ブログ更新をサボっていたのですが、本日（2021-05-19 JST）、AWSの新サービスであるApp Runnerが彗星の如くリリースされました。コンテナ技術のアップデートを追う身としてとても気になったので、早速サービスの特徴をまとめてみました。 そのサマリ内容をブログを通して皆さまにお伝えできればと思います。 App Runnerが気になる方や利用判断のお手伝いにつながれば幸いです。 注意事項 本ブログは2021-05-19時点の情報になります。 今後、サービスのアップデート次第で内容が変わる可能性がある点だけご留意いただければと思います。 Overview AWS App Runnerとは、プロダクションレベルでスケール可能なWebアプリケーションを素早く展開するためのマネージドサービスです。 GitHubと連携してアプリケーションソースコードをA
ZOZOTOWN マイクロサービスプロジェクトにおける継続的な改善を支えるCI/CD戦略 - ZOZO TECH BLOG
ZOZOテクノロジーズ SRE部の川崎（@yokawasa）です。ZOZOTOWNのアーキテクチャをマイクロサービスで再設計してリプレイス化を推進するチームに所属しております。 本記事では、このZOZOTOWNのマイクロサービスプロジェクトで実践している継続的インテグレーション/継続的デリバリー（以下、CI/CD）についてご紹介します。 はじめに まずはじめに、本記事に登場する中心的なキーワードであるCI/CDと、Infrastructure as Code（以下、IaC）について簡単に説明します。 IaCとは、インフラ構成をコード化して、そのプロビジョニングを自動化する手法です。コード化されたファイルはコードリポジトリで管理することが多く、また、IaCを実現するためのツールやサービスの利用が不可欠になります。 CI/CDは、その名の通り、CI（継続的インテグレーション）とCD（継続的デリ
AWSで目指した理想のCI/CDを別視点で考察してみる（データ保護観点） - How elegant the tech world is...!
はじめに 前回のブログでは、マルチアカウントにおけるIAMユーザーの設計戦略についてご紹介しました。 今回は少しテーマを変え、以前筆者がJAWS DAYS 2020で登壇させていただいたCI/CDの内容を基に、データ保護の観点からの設計~実装を取り上げたいと思います。 ※少々お硬い内容を含みますが、AWS CI/CDセキュリティを考える上で一つのポイントになるはずなので、ご興味をお持ちの方は是非お付き合いください。m(_ _)m 前回ご紹介したCI/CD内容のおさらい JAWSDAYS2020にて「金融サービス向けに理想のCI/CDを追い求めたお話」というタイトルで、筆者が担当するサービスのCI/CD設計をご紹介いたしました。 ここで、「理想」という点についてもう一度振り返ると、それは「CI/CD導入により期待すること」と、「業務特性として守らなければならないこと」の両立でした。 高アジリ
はじめに こんにちは、Selenium 4の正式版がなかなかリリースされなく、ソワソワしている品質管理部・自動化推進ブロックの木村です。 私が所属する品質管理部は、ZOZOTOWNやWEARなどの開発プロジェクトに対してテスト・検証を行い、完成品がユーザーの手に届いても問題ないかを確認する部署です。その品質管理部では、先日、部署で開発運用しているSeleniumによる自動テストのシステムをオンプレからAWSに移行しました。自動テストの書き方や、個々のAWSサービスの使い方の記事は多く存在するので、本記事では自動テスト全体の概要を紹介します。単純な移行だけでなく、サーバレスやマネージドサービスを活用しているので、部分的にでも参考になる点があれば幸いです。 背景 品質管理部が行っていたリグレッションテストやシステムテストを部分的に自動化するために、Seleniumによる自動テストのシステムを開
AWS 認定 DevOps エンジニア – プロフェッショナル(AWS Certified DevOps Engineer – Professional)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 DevOps エンジニア – プロフェッショナル(AWS Certified DevOps Engineer – Professional)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 DevOps エ
個人的な感触ですが、ECSとEKSを並べてみた場合、ものすごい単純に以下の感想でした。 「できることはEKSのほうが多い。けど、そのぶん習得がECSより難しい」 よく考えるとこの「難しい」という単語、簡単に使ってしまいがちなんですが使い方を間違えると非常に危険な言葉だとも思ってます。それは「誰にとっての難易度か？」という観点が抜け落ちがちだから。 AWSにおいてコンテナワークロードを展開しようと検討する人は様々いると思いますし、その組織や担当者の技術スタックも千差万別でしょう。kubernetesの経験は豊富だけれどAWSの経験はあんまりない、またはその逆、もしくはDockerは散々さわっているけれど、オーケストレーションツール自体が初めての人など。 自分の現場経験はECSのほうがEKSより圧倒的に多く、今でも「EKSってやっぱりなんか敷居高いなぁ」と感じてます。でも、よくよく思い出すと最
[アップデート] Amazon Lightsail でコンテナが利用可能になりました！ | DevelopersIO
本日のアップデートで Amazon Lightsail でコンテナが利用できるようになりました。 Announcing Amazon Lightsail Containers, an easy way to run containerized applications on the cloud 純粋にコンテナだけを使う AWS でコンテナを利用する場合、Amazon EC2、Amazon ECS(EC2/AWS Fargate)、Amazon EKS のいずれかを利用されていたかと思いますが、これらに加えて Amazon Lightsail が選択肢として追加されました。 AWS Fargate の登場でコンテナホストの管理から解放されるなど、随分とシンプルにコンテナ環境を利用できるようになりましたが、それでもまだ IAM ロールやログといったインフラ部分の管理を行う必要があります。 Am
![[アップデート] Amazon Lightsail でコンテナが利用可能になりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/33578b82d55e30019811e26fd28367d771cf1f19/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-lightsail.png)
【全2回】AWS Lambda x FastAPIによるPythonモダンAPI開発のすゝめ 1 - RAKSUL TechBlog
はじめに この記事を読んで得られること 対象読者 あまり説明しないこと 前提とするバージョン 参考となるレポジトリ 1. 開発環境の構築で使用したツール AWS Lambdaのコンテナサポートを採用 Poetry利用時に開発と本番環境の適切な管理でLambdaデプロイ問題を解決 Poetry利用時に起きた問題 Dockerfileを分けてデプロイできない問題を回避 Mutagen Composeを採用 Dockerの同期遅い問題 Mutagen Composeを利用 2. 開発で活用したPythonライブラリ パッケージ管理 Poetry Ryeも検討したものの採用せず ベースのライブラリ FastAPI Mangum Powertools for AWS Lambda リンター・フォーマッター Ruff Mypy 型アノテーション自動生成ツールの活用 Black テスト Pytest p
ワークフロー実行基盤をFargateからEC2へ変更したらコストもパフォーマンスも改善できて幸せになった話 - ZOZO TECH BLOG
はじめに こんにちは、ブランドソリューション開発本部バックエンド部SREブロックの小林（@mirai_kobaaaaaa）です。普段はWEARやFAANSというサービスのSREとして開発、運用に携わっています。 WEARではAmazon Elastic Kubernetes Service（以下、EKSと呼ぶ）を用いて複数システムのインフラ基盤を構築・運用しています。その中の1つとして、ワークフロー処理の実行基盤が存在しています。 本記事では、そのワークフロー実行基盤が抱えていた課題と、それらをどのように解決したのかを紹介します。また、付随して得られたメリットについても紹介いたします。 目次 はじめに 目次 WEARにおけるワークフロー ワークフロー処理内容 ワークフロー実行基盤の構成 ワークフロー実行基盤の課題 コスト内訳の調査 過剰なPodスペック Fargate実行時間の増大 ワーク
「Pragmatic Terraform on AWS」あらため『実践Terraform』を商業出版します #技術書典 #Terraform - 憂鬱な世界にネコパンチ！
概要 『実践Terraform』は、Terraform初級者から中級者向けの解説書です。 技術書典6とBOOTHで累計1,500部以上を販売した「Pragmatic Terraform on AWS」という同人誌をベースにしています。 もともと140ページの同人誌でしたが、商業誌化にあたり100ページ近く追記しています。 特に後半は大半が書き下ろしで、「中長期の運用」や「変更しやすいシステムにするための設計」に関する知見をたくさん詰め込みました。 構成 『実践Terraform』では、Terraformを使ってAWS上にシステムを構築するノウハウを紹介します。 200以上のサンプルコードを用意したので、手を動かしながら一緒に学びましょう。 第1章から第3章が「入門編」で、Terraformの基礎知識を一気に習得します。 第4章から第16章が「実践編」で、最初にシステム全体のアーキテクチャ設
こんにちはクラスメソッドのスジェです。 今回、devio 2021 decadeでECSに関する内容で登壇するので、その内容をブログでまとめてみようと思います。 ECSというサービスがあることも分かっているし、たくさん使っていることも分かっているけど、どんなサービスなのか？ なぜ使うのか？コンテナは何か？ などコンテナについてよく知らない初心者でも理解できるように、コンテナとDocker、ECSについてご説明したいと思います。 始まり Amazon Elastic Container Service (Amazon ECS) は完全マネージド型コンテナオーケストレーションサービスであり、コンテナ化されたアプリケーションを簡単にデプロイ、管理、スケールするのに役立ちます。- AWS ECS 公式ページ紹介文 コンテナについてよく知らない初心者に「コンテナ化されたアプリケーション」、「コンテナ
LIFULL に新卒入社し、もうすぐ4年目になるヒラノです。 普段はセキュリティエンジニアとして、セキュリティ/テスト自動化に関する推進、支援などを中心に取り組んでいます。 15日目の記事 では Dastardly を GitHub 上で動かしていましたが、今回はローカル（WSL2）上で動かしてみようと思います。 What is Dastardly? Dastardly は、無料で利用できる CI/CD パイプライン用の Web アプリケーションセキュリティ診断ツールです。 開発元は Burp Suite でおなじみの PortSwigger で、重要な7つの脆弱性に関して10分以内で見つけることができます。 Cross-site scripting (XSS) (reflected) Cross-origin resource sharing (CORS) issues Vulnerab
New for AWS Lambda – Container Image Support | Amazon Web Services
AWS News Blog New for AWS Lambda – Container Image Support February 9, 2021: Post updated with the current regional availability of container image support for AWS Lambda. With AWS Lambda, you upload your code and run it without thinking about servers. Many customers enjoy the way this works, but if you’ve invested in container tooling for your development workflows, it’s not easy to use the same
Aurora MySQL におけるロック競合（ブロッキング）の原因を事後調査できる仕組みを作った話
こんにちは。 DBRE チーム所属の @p2sk です。 DBRE（Database Reliability Engineering）チームでは、横断組織としてデータベースに関する課題解決や、組織のアジリティとガバナンスのバランスを取るためのプラットフォーム開発などを行なっております。DBRE は比較的新しい概念で、DBRE という組織がある会社も少なく、あったとしても取り組んでいる内容や考え方が異なるような、発展途上の非常に面白い領域です。 弊社における DBRE チーム発足の背景やチームの役割については「KTC における DBRE の必要性」というテックブログをご覧ください。 本記事では、Aurora MySQL でロック競合（ブロッキング）起因のタイムアウトエラーが発生した際に根本原因を特定することができなかったので、原因を後追いするために必要な情報を定期的に収集する仕組みを構築した
2023年 研究開発部 新卒技術研修 ~ 実践編 ~ - Sansan Tech Blog
こんにちは、研究開発部 Architectグループの藤岡です。 4/26（水）〜 4/28（金）で研究開発部内の技術研修を行ったので、その内容を公開します。 目次 目次 研修の目的 研修の概要 実践編の概要 アプリケーションを作成 バッチを作成 gokartとは パイプラインを実装 APIを作成 FastAPI とは APIを実装 ディレクトリ構成 実行 Webアプリを作成 Streamlitとは Webアプリを実装 Docker化 デプロイ ECRにイメージをプッシュ アプリケーション基盤 Circuitについて アプリのマニフェストを作成 研修終了後 終わりに 研修の目的 この研修の主な目的は、新卒社員がスムーズに業務に入れるようにすることです。 研究開発部にはさまざまなバックグラウンドを持つ研究員が入社するため、チーム開発の経験がない方もいます。 そのため、Gitの操作やプルリクエス
Docker on Lima なツールを色々試してみた - freee Developers Hub
こんにちは、freee Developers Advent Calendar 2022 6日目の記事です！ 本日はサービス基盤の yoko がお送りします。 まえがき：Mac と Docker コンテナ型の仮想環境を高速に作成・起動できる技術として有名な Docker ですが、コンテナという隔離された環境を作るために Linux カーネルの機能を利用しています。つまり、Docker は Linux という技術によって支えられており、そのままでは MacOS や Windows 上で実行することができないはずです。 しかし、僕たちは当たり前のように Mac や Windows で Docker を動かしています。Mac では Docker Desktop for Mac がよく使われていますね。 Docker Desktop for Mac は Linux VM を立ち上げ、VM上のコンテナ
GitHub ActionでDockerコンテナをビルドしてAmazon ECRに保存する | DevelopersIO
はじめに おはようございます､加藤です｡下記のブログで､AWS認証情報の設定とAmazon ECRにログインするGitHub Actionが公開されている事を知りました｡ これらを使って､GitHubで管理しているDockerイメージをビルドして､ECRに保存する方法を紹介します｡タグが付けられて時にのみ動作し､そのタグをイメージに引き継ぐ仕様で作りました｡ Continuous delivery of container applications to AWS Fargate with GitHub Actions | AWS Open Source Blog AWS IAM ユーザーの作成 GitHub ActionからAmazon ECRへアクセスする為の､IAMユーザーを発行します｡マネジメントコンソールへのアクセスは必要無いので､アクセスの種類はプログラムによるアクセスのみを設定
EC/CRMの自社サービス「prismatix」開発チームのマネージャーになるまでにやったことm連発 | DevelopersIO
前回は11月にプロジェクトマネージャーとしてやってきたことをまとめていました。今回は、それからこれまでに行ってきた試行錯誤の記録です。 prismatix開発のプロジェクトマネージャーから開発チームのマネージャーにクラスチェンジする話 | DevelopersIO で書いたとおり、年明けにクラスチェンジするにあたり、前回の 開発チームのプロジェクトマネージャーになって最初にやったことn連発 | DevelopersIO からこれまでにやってきたことを、またつらつらと書いていきます。 やったことm連発 (順不同) 1. ミーティングの議事録作成担当を移譲 部署全体で行う勉強会的なもの(通称金曜会)のメモを私が作成していた スライドのスクショ取って、箇条書きでメモを残す感じ SPoFになっていたので若手二人に移譲 メモの目的やポイント、スクショのとり方などをまとめた スライドに 書いてない こ
HERP における Nix 活用
HERP における開発では Nix が広く活用されている．Nix は非常に便利な代物なのだが，ドキュメントの貧弱さ，急峻な学習曲線，企業における採用事例の乏しさなどが相まって，広く普及しているとは言い難く，ましてや国内企業での採用事例を耳にする機会はほとんどない．しかし，Nix の利便性は，複数人での開発においてこそ，その本領が発揮されると考えている．この記事は，HERP における活用事例の紹介を通じて，Nix の利便性ならびに企業での活用可能性について紹介することを目的としている． Nix とは# Nix は "the purely functional package manager" と銘打たれたパケッジマネジャーである．GNU Linux および macOS 上で利用できる． ビルド# Nix は the purely functional "package manager" なの
こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利用していましたが、Amazon Web Services(AWS)上にもIQONに関するリソースが存在します。そのため、IQONはGCPとAWSの2つのクラウドで運用していました。 しかし、サービス終了に伴いGCP・AWSどちらかにリソースを統一する必要が出てきました。統一する意図としては、終了したサービスが利用する取引先を減らし、請求対応などの事務的なコストを減らしたい意図がありました。そのためGC
次世代のワークフロー管理ツールPrefectでMLワークフローを構築する CyberAgent Developers Blog | サイバーエージェント デベロッパーズブログ
※ DynalystではAWSを全面的に採用しているため、AirflowもManaged版を調査しています。 導入後の状態 Prefect導入後は、以下の構成となりました。 ポイントは以下の点です。 ワークフローをDocker Image化することで、開発・本番環境の差を軽減 staging・productionはECS Taskとしてワークフローを実行、開発ではローカルPC上でコンテナ実行 ML基盤のGitHubレポジトリへのマージで、最新ワークフローが管理画面であるPrefect Cloudへデプロイ 従来のyamlベースのdigdagから、DSに馴染み深いPythonベースのPrefectに移行したことで、コード量が減り開発負荷が軽減しました。 Prefect 入門 ~ 基礎 ~ 注意: 本記事ではPrefect 1系を扱います。Prefect 2系が2022年7月にリリースされてい
複数リポジトリ間におけるeslint・prettierの設定共通化 - LIVESENSE ENGINEER BLOG
転職会議事業部の srkw です。 今期事業部内で利用する eslint および prettier の共通ルールを管理するパッケージを作成したので、その工程と成果物をご紹介したいと思います。 なお、今回紹介するパッケージの内容には多分に要修正箇所があり、今後他のプロジェクトとの優先順位を鑑みて、都度改善される可能性があります。その際はこちらの記事も併せて更新できればと考えています。 TL;DR 最終成果物は以下のリポジトリで公開しています。利用リポジトリ側での設定等は README に記載しております。 https://github.com/livesense-inc/eslint-config-template モチベーション 転職会議は現在ページごと・機能ごとにサーバーを別で管理するマイクロサービス構成で開発を行っています。その中で利用する静的コード分析やコードフォーマッタのルールは
こんにちは、メディア事業でエンジニアをしている木村洋太です。 昨年のGREE Tech Conferenceでは「LIMIA」のフレームワーク移行プロジェクトにおけるコードの自動修正について話させていただきましたが、今回は同時に行ったインフラ移行について紹介いたします。 EC2からFargateへの移行例は多く存在しているとは思いますが、今回の移行では安全な移行のために、shadow-proxy環境での移行前のテストやEC2とFargateの同時稼働によるカナリアリリースなどさまざまな工夫を行いました。これらの中で得られた知見や失敗をまとめられたらと思っています。 インフラ移行の概要 フレームワーク移行プロジェクト フレームワーク移行プロジェクトでは、グリーが運営するメディアの一つである「LIMIA」のフレームワークをFuelPHPからLaravelへ移行することを目的としていました。 移
Deploy applications on Amazon ECS using Docker Compose | Amazon Web Services
Containers Deploy applications on Amazon ECS using Docker Compose Note: Docker Compose’s integration with Amazon ECS has been deprecated and is retiring in November 2023 There are many reasons why containers have become popular since Docker democratized access to the core Linux primitives that make a “docker run” possible. One reason is that containers are not tied to a specific infrastructure or
技術部セキュリティグループの水谷（@m_mizutani）です。最近はPCゲーム熱が再燃しており、今はCities: Skylinesに時間を溶かされ続けています。 クックパッドでは レシピサービス の継続的なサービス改善の他にも、生鮮食品販売プラットフォームの クックパッドマート やキッチンから探せる不動産情報サイト たのしいキッチン不動産 をはじめとする新しいサービス開発にも取り組んでいます。さらに内部的なシステムも多数あり、動かしているアプリケーションの数は300以上に及びます。これらのアプリケーションには多くのOSSパッケージが利用されており開発を加速させますが、同時にOSSパッケージのアップデート、とりわけ脆弱性の修正にも向き合う必要があります。 これまでクックパッドでは（重大な脆弱性が見つかった場合を除いて）各サービスを担当するエンジニアが事業や開発の状況にあわせてパッケージの
CircleCI API v2で自由自在に業務ワークフローのタスクを実行する - KAYAC engineers' blog
ごきげんよう、CI日和ですね。技術部の谷脇です。 先日Jenkinsでテストを実行したり、Slack Botからトリガーして実行していた業務ワークフローの必要なタスクをえいやっとCircleCIに持っていったのでその話をします。 長いので要約すると ヘビーにJenkins使ってたのを全部CircleCIに持っていきました。自動テストとSlack Botからトリガーされるジョブです CircleCI 2.1の機能をつかって設定を書きました。いい感じです テスト以外でBotからキックするようなジョブはそのままだと難しいので、プレビューリリースのCircleCI API v2を使いました。必見です 自前運用のJenkinsさんお疲れ様でした テストを継続的に動かす環境といえばJenkinsです。カヤックでも多くのプロジェクトでテストや、その他様々なタスクを実行する環境として利用されてきました。
AWSを活用するAutify、ZOZO、dipが、AWSコスト削減についての事例を発表するオンラインイベント「AWSコスト削減事例祭り」。3社それぞれが事例を発表しました。オーティファイ株式会社からは松浦隼人氏が登壇。同社における、AWSのコストの削減の事例について発表しました。 もともとはインフラを担当していた松浦隼人氏 松浦隼人氏（以下、松浦）：オーティファイの松浦から、当社でのAWSのコストの削減の事例について発表したいと思います。よろしくお願いします。 今日のトピックは、タイトルのとおりですが、オーティファイでAWSのコストを見直すきっかけになったことと、その時の見直しの手法、それから当社にとってインパクトのあったコストの削減策について紹介したいと思います。 まず自己紹介からします。オーティファイの松浦と申します。今、機械学習とQAのチームのエンジニアリングマネージャーをしています
なるべく楽したいAWSセキュリティ
Leaner 開発チームの黒曜(@kokuyouwind)です。 先日開催された AWS Starup Community スタートアップ事例祭り 〜監視・モニタリング・セキュリティ編〜 に登壇させていただき、「なるべく楽したい AWS セキュリティ」と題して Leaner Technologies での AWS セキュリティ設定事例を紹介しました。 今回は発表内容のポイントとともに、発表で省いた話をいくつか記事にまとめていきます。 発表スライド 口頭での補足を前提としたスライド構成になっているため、スライドのみだと少々分かりづらい部分があります。 発表時の動画がアップロードされているので、そちらをご覧いただくとよりわかりやすいです。 発表内容のおおまかなまとめ スライドだけだと分かりづらいし、動画だと見るのに時間がかかるなぁ… という方もいそうなので、発表内容のポイントを以下にまとめます
Next.jsアプリケーションを動かす環境をaws-cdkを使って構築する(with CloudFront/S3/Fargate) - $shibayu36->blog;
Next.jsをproduction環境で使うために外観を掴んでおきたいと思い、Next.jsアプリケーションを動かすAWS環境をaws-cdkを使って構築するサンプルを作ってみた。だいぶ荒削りだけど、参考になる例にはなったと思う。 https://github.com/shibayu36/nextjs-on-ecs 利用した技術 AWS CloudFront S3 ECR ECS aws-cdk Docker Next.js + TypeScript 今回作ったアーキテクチャ 全てのリクエストをCloudFrontに通すフルCDNアーキテクチャ フルCDNアーキテクチャ実験 / Minami Aoyama Night #1 - Speaker Deck フルCDNアーキテクチャでサービス設計した話 - Speaker Deck next buildで生成した静的ファイルはS3から配信
こんにちは、エムスリーエンジニアリンググループの福林 (@fukubaya) です。 さいたまスーパーアリーナは、埼玉県さいたま市中央区にある多目的アリーナ。本文には特に関係ありません。 最近、Terraformを書くことが多く、知見が貯まりつつあった時にちょうどディレクトリ構成に関する記事を読んでタイミングがよかったので、 今回はTerraformのディレクトリ構造の実例を晒したいと思います。 結構固まってきたからうちのチームの構成も晒してみようかな。 | Terraformのディレクトリ構成の模索 - Adwaysエンジニアブログ https://t.co/31FMkcCJOo— Yuichiro Fukubayashi (@fukubaya) July 3, 2020 クラウド化推進 なぜ定番が決まらないのか 前提となる条件 本番環境と検証環境はほぼ同じ構成 レポジトリとtfstat
Kaggleの学習から投稿までをAWS, GitHub Actionsを使って自動化する - kanayamaのブログ
金山（@tkanayama_）です。先日終了したKaggleの"M5 Forecasting"というコンペに参加した際、クラウドやCI/CDの勉強も兼ねて、AWS, GitHub Actionsを使って遊んでみました。 免責 N番煎じだったらすみません。一応、同じことをやっているネット記事は見つかりませんでした。 私はクラウドなど勉強中の身分ですので、もっといいやり方がある or 説明が間違っている、などありましたら教えてください。 私がこのシステムを使って参加したコンペの順位は5,558チーム中1,000,000,000位だったので、Kaggleで勝てるかどうかは別問題のようです :pien: この記事のゴール 下記のようなシステムを構築することをゴールとします。 ユーザーがやることは2つ（図中でユーザーから伸びている黄色矢印）で、 実装したコードをgit pushし、 AWSコンソール
こんにちは！SREチームの松嶋です。 こちらは「dely #2 Advent Calendar 2020」の20日目の記事です。 adventar.org delyのアドベントカレンダーは#1もあるので、こちらもぜひ。 adventar.org 昨日は、maseoさんの「Google Optimizeでテストをしてる話」という記事でした。A/BテストでGoogle Optimizeを導入するか検討しているフロントエンジニアの皆さんはぜひ読んでみてください！ tech.trilltrill.jp はじめに 私は昨年の11月にdelyへ入社しましたが、もう既に1年が過ぎてしまいました。体感的にまだ半年しか経っていない気持ちですが、そんな時間が過ぎるスピードの速さもdelyならではかもしれないと感じる今日この頃です。 delyのSREチームは、2020年9月までの約3年間、最大2人体制でなんとか
あけましておめでとうございます。SREチーム(新卒)の市川恭佑です。 カヤック技術ブログでは本記事が2023年初エントリですが、Happy Lunar New Year!の方が違和感のない時期になってしまいました。 本年、新たにカヤックSRE連載と題した企画を始めるので、概要についてご報告します。 連載企画を始める経緯 カヤックの技術ブログといえば毎年恒例のアドベントカレンダー企画が人気ですが、これは12月限定のため、それ以外の時期にブログの更新が激減する傾向がありました。 ブログ過疎化の対策として、カヤックでは去年からSREチームで毎月1本のペースでブログ記事を出していました。 実のところ、内部的にはこれを「SRE連載」と読んでいました。 「とりあえずやってみよう」というノリで始まった連載でしたが、結果的には「12月を除くすべての期間において記事を出す」という実績を作れたので、本年は正式
【MPTCP】ライブ配信の通信安定化に向けて MultiPath TCP を試験導入している話 - Mirrativ Tech Blog
こんにちは ハタ です。 今回は Mirrativ の本番サーバの一部に試験導入している MultiPath TCP (MPTCP) について紹介させていただきたいなと思います。 MultiPath TCP といえば、iOSの Siri で利用していることなどで一時有名になりました 今回紹介するMPTCPも同じ技術を使っており、通信の安定化に向けて取り組んでいる事項の紹介になります MPTCP の概要と各OSの実装について MPTCPのイメージ MultiPath TCP (以降 MPTCP)は、複数の経路を通じて同じホストに対して通信が行えるTCP拡張です。 従来のTCP通信では、単一の通信パスしか使えなかったものが、複数の通信パスを利用できるようになります。 例えばスマートフォンでは 4G 回線と WiFi ネットワークが用意されているため、それぞれから同一のコネクション張り、どちらか
モノタロウがGoとprotobufで進める爆速マイクロサービス開発とそれを支えるプロセス - MonotaRO Tech Blog
こんにちは。モノタロウのTechBlog編集チームです。 モノタロウではECサイトでのお客様体験の向上を目指して、日々改善に取り組んでいます。 商品の出荷目安などの出荷関連情報は重要な要素の1つになります。 今回は、出荷関連情報の正確性を改善するとともにシステムの変更容易性を向上させるためにマイクロサービス化に取り組んだ活動をインタビューしました。 自己紹介 納期表示を高度化する サプライヤ在庫連携機能開発のつらみ AVLのマイクロサービス開発のすすめ方 リリース・監視・その後の展開 おわりに 今回インタビューしたみなさん 自己紹介 山崎 章裕 ECシステムエンジニアリング部門 開発生産性グループ、プラットフォームエンジニアリング部門 CTO-Officeグループ AVLチーム兼務 2019年8月に入社し、主にECサイトの注文・配送周りのプロジェクトにテックリードとして関わる。またECサイ
はじめに こんにちは、インフラエンジニアの 高山 です。 この記事は Enigmo Advent Calendar 2021 の 9 日目の記事です。 現在、BUYMAをオンプレからAWSへ移行するプロジェクトを進めています。 テスト環境の移行は完了し、本番環境の移行をしようというところです。 本番環境の移行をする前に 性能的に問題ないことを確認するため、本番環境と同程度のスペックで検証環境を構築し負荷テストを実施しました。 まだ終わっていませんが、今の時点で得た知見を記事にしようと思います。 負荷テストツール選定 詳細は割愛しますが、 以下のような要件からAWSの分散負荷テストのソリューション(正式名称はDistributed Load Testing on AWS 以下、AWS負荷テストソリューションと呼ぶ)を使うこととしました。 大規模な負荷テストができること 複雑なテストシナリオが
こんにちは、エムスリーエンジニアリンググループの福林 (@fukubaya) です。 先日の中村の記事で宣言してしまったので、 今回は「医師版Stack Overflow」(仮名) のSpringBootのdockerイメージを 必要最小限にまで小さくする際に試したことをまとめました。 なお、ちょっと検索すると先人の記事が色々出てきますが、 当時はまだなかったdockerイメージや、JDKの機能の違いにより、今ではちょっと古い部分もあります。 今回の記事も、半年もしないうちに古くなると思うので、2019年9月時点での方法だと思って読んでいただけると幸いです。 メットライフドームは埼玉県所沢市にあるドーム球場。本文には特に関係ありません。 小さいdockerイメージのメリット イメージのサイズを小さくしたいと書きましたが、 そもそも、そのメリットをネットで調べてみてもあまり明確な答えは見つか
Next.js 製 Web フロントエンドの CI ビルド時間を 1/3 にした話 - スタディサプリ Product Team Blog
こんにちは、 Web フロントエンドエンジニアの @progfay です。 今回は PR に紐づいたプレビュー環境のビルドに 10 分半かかっていたところを 3 分半ほどまでに短縮した改善活動についてお話しします。 技術改善 Day 私の所属するスタディサプリ中学講座の開発プロジェクト (通称: tara) では「技術改善 Day」を 2 週間に 1 回実施しています。 「技術改善 Day」とは、案件開発を進めていく中で出てきた技術的負債の解消に丸 1 日チームで集中して取り組む日です。 tara 内の Web フロントエンドメンバーで解消したい技術的負債を考えたところ、その中の一つに Web フロントエンドアプリケーションのビルドに時間がかかっている問題 が挙がりました。 tara プロジェクトではデバッグや QA を効率的に行うために PR ごとに紐づいたプレビュー環境を用意しています
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSで構築するSelenium自動テスト環境とその運用 - ZOZO TECH BLOG
EKSは本当にECSより難しいのか？ | DevelopersIO
初心者でもわかるコンテナ / Docker / ECS 話 | DevelopersIO
セキュリティ診断ツール "Dastardly" を WSL2 上で実行してみた - Qiita
10TB超えのBigQuery巨大データを高速にS3に同期する - ZOZO TECH BLOG
EC2からFargateへの移行 ~shadow proxyとカナリアリリース~ | GREE Engineering
Trivy + AWSによるコンテナイメージ脆弱性検査パイプラインの構築 - クックパッド開発者ブログ
新サービス開発で右肩上がりになってしまったAWSコスト “塵も積もれば山となる”インフラコスト削減策
Terraformなにもわからないけどディレクトリ構成の実例を晒して人類に貢献したい - エムスリーテックブログ
システム管理者に贈る「運用改善に役立った！」AWSの機能4選 - dely Tech Blog
SRE連載が始まります！ - KAYAC engineers' blog
AWS移行のため、大規模で複雑な負荷テストをやった話 - エニグモ開発者ブログ
SpringBootのdockerイメージを必要最小限に絞りたい(2019年9月版) - エムスリーテックブログ