Puppeteer +Lighthouse +GitHubActionsで認証付きWebアプリのWebperfを定期計測
Puppeteer + Lighthouse + GitHub Actions を使って Web アプリのフロントエンドパフォーマンスを定期計測するプロジェクトを作ってみたら良い感じだったので紹介です。 何を作った？ このように GitHub Actions 上で 認証付きの Web アプリに対して Puppeteer 介し Lighthouse を定期実行し、結果を Datadog に送信するプロジェクトを作りました。 実際にそのプロジェクトの計測値を使った Datadog のダッシュボードはこちらです。 Webperf の主要指標をページ別に時系列で表示しています。 サンプルプロジェクトはこちらにあります。 以降で実装について簡単に解説します。 Puppeteer + Lighthouse によるパフォーマンス計測 Puppeteer + Lighthouse によるパフォーマンス計測
Software Design 2024年5月号 連載「レガシーシステム攻略のプロセス」第1回 ZOZOTOWNリプレイスプロジェクトの全体アーキテクチャと組織設計 - ZOZO TECH BLOG
はじめに 技術評論社様より発刊されているSoftware Designの2024年5月号より「レガシーシステム攻略のプロセス」と題した全8回の連載が始まりました。 本連載では、ZOZOTOWNリプレイスプロジェクトについて紹介します。2017年に始まったリプレイスプロジェクトにおいて、ZOZO がどのような意図で、どのように取り組んできたのか、読者のみなさんに有益な情報をお伝えしていければと思いますので、ご期待ください。第1回目のテーマは、「ZOZOTOWNリプレイスプロジェクトの全体アーキテクチャと組織設計」です。 目次 はじめに 目次 ZOZOTOWNリプレイスの背景、目的 背景 目的 柔軟なシステム 開発生産性 技術のモダン化 採用強化 ZOZOTOWNリプレイスの歴史とアーキテクチャの変遷 アーキテクチャの変遷 2004年〜2017年：オンプレミス（リプレイス前） 2017年〜20
こんやっぴー👾 カバー株式会社 技術開発本部のSです。カバー株式会社では組織横断的にSRE(Site Reliability Engineering)やサーバーサイドのエンジニアをしています。 2023年5月に入社し3ヶ月ほどホロプラスのパフォーマンスチューニングや開発環境の整備をしてきましたので、今回はそちらについてご説明します。 ホロプラスとは？ホロプラスは「推しをもっと好きになる！」がコンセプトの、ホロライブプロダクション公式アプリです。先日8月29日に正式リリースされました。主に、以下の二つの体験を提供します。 ホロライブプロダクションの最新情報が公式アプリならではの機能で手軽に逃さずチェックできる 共感でつながるファンコミュニティで投稿やいいねを通じたコミュニケーションが楽しめる ※画面は開発中のイメージですホロプラスのシステム構成ホロプラスは図のようなシンプルな構成でGo言語
※本記事は、技術評論社「Software Design」(2024年1月号)に寄稿した連載記事「Google Cloudを軸に実践するSREプラクティス」からの転載1です。発行元からの許可を得て掲載しております。 はじめに 前回はDatadogによるクラウド横断のモニタリング基盤について解説しました。 今回はCloudflareとは何か、なぜ使っているのか、各サービスとポイント、キャディでの活用例を紹介します。 ▼図1 CADDiスタックにおける今回の位置付け Cloudflare とは 本記事では、Cloudflare社が提供しているプラットフォーム全体を「Cloudflare」とします。 Cloudflareは、ひと昔前までは数あるシンプルなCDN(Contents Delivery Network)サービスの1つでした。CDNとは、コンテンツの配信を最適化するためのネットワークです。
2ヶ月でCore Web Vitals, Lighthouseスコアを大幅改善するために行ったこと - SMARTCAMP Engineer Blog
こんにちは!!！スマートキャンプでエンジニアをしている吉永です！ 自己紹介記事はこちら 前回の記事はこちら 私は現在、スマートキャンプの主力サービスであるBOXIL SaaS（以下、BOXIL）の開発にフロントエンド、バックエンド問わず携わっています。 恐らく新年一発目になる弊社テックブログの記事は私の記事ということで、今年もよろしくお願いいたします。 はじめに なぜパフォーマンス改善を行ったのか Core Web Vitals(以下: CWV), Lighthouseとは？ CWVとは Lighthouseとは CWV & Lighthouseの改善結果 サービスページ(改善前) サービスページ(改善後) レビューページ(改善前) レビューページ(改善後) 改善をするにあたってチームで行ったこと コミュニケーション的なお話 タスクの洗い出し、調査方法 優先順位付け DatadogやSea
Kubernetesが標準プラットフォームであるクラウドネイティブの世界でアプリケーションを開発し運用する方法を解説する書籍です。 はじめに、Kubernetesの概要と背景、ソフトウェアの開発と運用にKubernetesがもたらす変化、コンテナの動作原理、コンテナの構築および管理方法、クラウドネイティブなサービスおよびインフラの設計方法などの基礎を紹介します。 そしてKubernetesアプリケーションの作成とデプロイ、Kubernetesクラスタの設定と運用、クラウドインフラの自動化、Helmなどのツールを用いたデプロイについてサンプルコードを使って学習します。ロールベースのアクセス制御（RBAC）をはじめとした、セキュリティ、認証、パーミッションなどに対するKubernetesのサポートや、本番でコンテナとKubernetesの安全性を確保するためのベストプラクティスについても学びま
GitHub Actions Self-hosted Runner の導入と安定運用に向けた軌跡 - スタディサプリ Product Team Blog
こんにちは。SRE の @int128 です。 Quipper では GitHub Actions Self-hosted Runner を一部のジョブで導入しています。本稿ではその目的と具体例を紹介します。 背景と解決したい課題 Quipper では以下の CI サービスを用途に合わせて利用しています。 CircleCI（テストやデプロイなど） GitHub Actions（テストやデプロイなど） AWS CodeBuild（主に Terraform など AWS リソースにアクセスする場合） Google Cloud Build（主に Google Cloud のリソースにアクセスする場合） Jenkins（定期実行や手動実行に特化したジョブ） このうち GitHub Actions は以下の点が優れていると感じています。 monorepo 構成の場合にマイクロサービスごとに独立して
データプラットフォーム統合プロジェクトの紹介 - KADOKAWA Connected Engineering Blog
KADOKAWA Connected / ドワンゴの @saka1 です。 少し前までは株式会社ドワンゴのWebバックエンドエンジニア的な仕事をしていたのですが、最近は出向1してKADOKAWAグループのDXを推進する戦略子会社である株式会社KADOKAWA Connected（以下KDX）でデータ分析周りのお仕事をしています。この世界はジョブチェンジが激しいですね。 しばらく開発に関与していたドワンゴ・KADOKAWA向け新データプラットフォームの初期リリースに成功したので、この記事ではその話を書きます。KDXのデータエンジニアリングに関する取り組みのほんの一端ではあるのですが、なんとなく雰囲気が伝わればいいなと思っています。 この記事は全体概要編のようなものです。 移行プロジェクトとしての事例紹介を中心にして書きました。プロジェクトの置かれたコンテキストや、出てくる課題にどう判断をつけ
こんにちは、Finatextの六つ葉と申します。現在、グループ会社のナウキャストが開発中の新サービスのAWSインフラを担当しております。 本稿では、AWS CloudWatchシリーズでアプリを監視する方法について延べます。 まず、アプリ本体の仕組みを紹介します。 アプリの仕組みこのアプリは、一般的なSPAによるフロントとWebAPIのバックエンドによる構成になります。Fargateに関してはAuto Scalingを設定しています。 アプリの監視システム監視システムは、ログ・通知・死活監視・ダッシュボードの4つの部分で構成されています。 X-Ray、CloudWatch LogsからのアクセスログCloudWatch AlarmsとSNS、ChatbotでのSlack、メール通知Synthetics Canaryからの死活監視CloudWatch Logs InsightやMetrics
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
EKS環境下でコストが増大する事例とfreeeのアプローチ - freee Developers Hub
はじめまして。freee の SRE チームに所属している nkgw （Twitter） です。 普段はエンジニアリングマネージャーをしつつ、開発チームの新規プロダクトリリースサポートをやっています。 我々のチームは大部分のプロダクトのコンピューティングリソース (CPU / Memory など) を Amazon Elastic Kubernetes Service (EKS) で実行できるようにインフラ基盤移行 (EC2 → EKS) を進めてきました。 移行プロジェクトの大部分は 2021 年 7 月に無事終わったのですが、移行スケジュールを最優先としたため割り当てている各リソースはかなり保守的 & 過剰でした。 (移行後の性能劣化が怖かったため、EC2 時代と比較し、1.5 倍のバッファを積むなど... etc) コスト増大したグラフ その結果、 去年と比較して、コストが倍以上に跳
MySQLの約30億レコードをRedshiftにDMSでニアリアルタイム同期した - クラウドワークス エンジニアブログ
概要 こんにちは。クラウドワークス SREチームの@kangaechuです。最近好きなラジオ番組は空気階段の踊り場です。 企業にとってデータは非常に重要です。さまざまなデータを組み合わせて分析を行うことにより、ユーザをより深く知ることができ、それによりサービスやビジネスモデルを継続的に変革することが可能になります。 クラウドワークスでも同様に、施策やマーケティング、新サービスの開発など、さまざまな取り組みの源泉としてデータを活用しています。 crowdworks.jpではマスタデータベースにAWS RDSで稼働するMySQLを使用し、分析系のデータベースにはAmazon Redshiftを使用しています。Redshiftに同期されたテーブルは約270テーブル、レコードにして約30億件あり、1か月に1.5億件のレコードが同期されています。 今回はMySQLからRedshiftへの同期の仕組み
技術発信やその他の研鑽ではなく、業務という形式にこだわったのは、座学に偏りがちな私自身の性格を踏まえてのことです。 また、業務形態を問わず、ひとりのエンジニアとして何ができるのかを認知され、裏付ける実績があり、いい形でコラボレーションできる状態でありたいと思うこともあり、Offersに登録して、複業を探し始めました。 詳しい経緯は私のブログ記事「旗を立てる2021年」にまとめています。 > まずは「Offers」で副業オファーを受けてみる 小さいスコープで技術選定 最初に取り組んだのは、ツールやコンポーネントの導入でした。最初のタスクということもあって、「xxxというツールを導入してほしい」というタスクベースのものが主でした。 コンテナ管理にKubernetesを選択しており、運用をいかに信頼性高く効率的に行っていくかという課題がありました。それまでの基盤へのコンポーネント導入や移行の設計
はじめにTIG DXユニット真野です。 CNCF連載の2本目はクラウドネイティブなフィーチャーフラグの標準とAPI、SDKを提供するOpenFeatureについてです。 フィーチャーフラグとはフィーチャーフラグとはコードを変更せずに、フラグを使って機能を有効/無効化する開発/デプロイ手法のことです。一般的なユースケースとしては、特定のユーザーに対して再起動とか再デプロイをせずに、新機能を有効化したいといった場合に役立ちます。信頼度が高くなったらより段階的に広範囲に対象を広げていくと安心ですね。この使い方だけであれば、カナリアリリースを想像しますが、他にも次のようなユースケースが考えられます。 初期から契約している特別な顧客（あるいはプレミアムプランに契約している顧客）に向けて開発した機能を提供する バグが見つかったので、該当機能を無効化してアプリの振る舞いをロールバックする 繁忙期にシステ
ZOZOテクノロジーズSRE部の市橋です。普段は主にAWSを用いて複数プロダクトのシステム構築、運用に携わっています。今回は2020年2月にリリースされたZOZOMATについて、システム構成と開発時に直面した課題、その課題を解決するために工夫した点について紹介します。 ZOZOMATではEKSやgRPCを新規に採用しており、これによって仕様の変更に強くなる、通信のオーバーヘッドを削減できるなど様々なメリットを享受できました。しかし導入時に一筋縄ではいかないことがあったため、今回苦戦した点についてご紹介できればと思います。 ZOZOMATとは お客様の足を3Dで計測するために開発された計測用マットです。ZOZOMATでの計測情報をもとに、靴の推奨サイズを参照するなどのサービスをご利用いただくことが可能です。ご興味のある方はこちらをご確認ください。 ZOZOMATのシステム構成 システムの全体
Author Thomas Dohmke GitHub Copilot Chatの一般提供（GA）の開始と、新たなGitHub Copilot Enterpriseのサービスプレビュー、AIを活用した新しいセキュリティ機能、GitHub Copilotパートナープログラムを発表しました。 2023年3月、私たちはGitHub Copilot Xについての発表で、AIが開発者のライフサイクルのあらゆるステップに浸透することと、ソフトウェア開発の新しい未来のビジョンを共有しました。それ以来、私たちは基盤技術の拡張と成熟に取り組んでおり、その過程でさらに大きなものを生み出しました。私たちのビジョンは、世界の開発者にとっての新しい現実として現れました。 GitHubがGitという仕組みの上に構築されたように、今日私たちはCopilotの上に「再構築」されました。オープンソースとGitは、ソフトウェ
The 5-hour CDN Author Name Kurt Mackey @mrkurt @mrkurt The term “CDN” (“content delivery network”) conjures Google-scale companies managing huge racks of hardware, wrangling hundreds of gigabits per second. But CDNs are just web applications. That’s not how we tend to think of them, but that’s all they are. You can build a functional CDN on an 8-year-old laptop while you’re sitting at a coffee sho
はじめまして。Gaudiyでエンジニアをしているあんどう（@Andoobomber）です。 クラウドネイティブ全盛の世の波に乗り、この度 Gaudiy では Cloud Run から Google Kubernetes Engine (GKE) への移行を行いました。 この記事では、その移行プロセスの全体像を共有し、得られた教訓と今後の展望を探ってみたいと思います。 1. Before After: 移行の概観 1-1. Before 1-2. After 2. なぜGKE環境に移行したのか 3. 移行のプロセス 3-1. Kubernetesを学ぶ (1週間: 2023/10/01~) 3-2. Dev on GKE環境作成 (2-3週間) 3-3. Staging on GKE環境作成 (2日) 3-4. Private Clusterへの移行 (1-2週間) 3-5. Prod on
こんにちは。@chaspy です。プロダクト開発部の技術戦略グループのマネージャをしています。 技術戦略グループでは、日頃開発する上での課題の投げ込みや議論、解決するための計画をボトムアップで行っています。技術戦略グループの活動については過去のアウトプットもご覧ください。 blog.studysapuri.jp また、本稿のテーマである、組織やシステムの状況を把握するための Fact 収集については技術戦略 DevOps WG が担当しています。以前発表した資料もご覧ください。 このように、技術戦略グループではエンジニア1人1人が課題だと思うことを表明、宣言し、その課題をトリアージすること、および課題を評価するための Fact の発見・提供を行う仕組みが組織としてボトムアップで行える状態になっています。一方、開発部長として、事業戦略と結びつける形で技術戦略を策定する際には、現場のエンジニア
［速報］Google Cloudが「Gemini Code Assist」発表。最新のAIによるコーディング支援、Stack Overflowのナレッジも統合。Google Cloud Next '24
Google Cloudは、日本時間4月10日未明から開催中のイベント「Google Cloud Next '24」で、最新のAIによるコーディング支援サービス「Gemini Code Assist」を発表しました。 Gemini Code Assistは、GitHub CopilotやAWS CodeWhispererなどと競合するサービスと位置づけられます。 Gemini Code Assistは最新AIモデル「Gemini」採用 Google Cloudは昨年（2023年）12月にAIによるコード補完やコード生成などを実現する「Duet AI for Developers」を正式リリースしています。今回発表されたGemini Code Assistは、同社の最新AIモデルである「Gemini」を採用したDuet AI for Developersの進化版だと説明されています。 参考：
弁護士ドットコムライブラリーのフロントエンドのアーキテクチャ（Next.js + TypeScript） - パンダのプログラミングブログ
弁護士ドットコムライブラリーのフロントエンドのアーキテクチャを紹介します この記事は弁護士ドットコム Advent Calendar 2020、2日目の記事です。2020年12月に執筆された記事です。 私は弁護士ドットコムライブラリーというサービスを開発しています。これは法律書籍をネットで読める弁護士向けのサブスクリプションサービスです。 フロントエンドの採用技術はNext.js + TypeScriptで、要件定義から設計、実装は私が担当し、現在も運用しています。 この記事では、2020年5月にリリースしてから半年間、Next.jsで上記サービスを運用した知見の中から、フロントエンドでのアーキテクチャについてご紹介します。 弁護士ドットコムライブラリーの特徴は以下の通りです。 画面数は10画面ほどの中規模アプリケーション（OOUIの考え方を取り入れたら画面数が減りました） 基本的にバック
はじめに こんにちは、Classiの佐々木（@sasata299）です。前回の投稿からだいぶ間が空いてしまい、季節はすっかり秋になってしまいました。 この期間、Classiでは外部の攻撃者による不正アクセス（4月）があり、また、サービスの高負荷によるアクセス障害（4月・5月）が続くなど、利用者の方々には多大なるご心配とご迷惑をおかけしました。この9月までClassiのCTOとしてサービスとお客様に向き合ってきた立場として、改めてお詫びを申し上げます。 本記事では、この2つの問題について改めて振り返りると共に、当時の状況と今我々がどのように対策を進めているのかについてお伝えします。 （※当社のCTOの変更については、後日改めて記事を出す予定です） 外部の攻撃者による不正アクセスが発覚（4月） 「Classi」は、学校現場の多様なシーンで活用されるクラウドサービスです。スマートフォン・タブレッ
こんにちは、生産性向上チームです。今回は、私たち「生産性向上チーム」について紹介いたします。 生産性向上チームとは サイボウズの技術領域と生産性向上チームの立ち位置 生産性向上チームは主に、次のような業務を行っています。 チームを横断した開発効率を高める基盤の整備 開発チームの業務の自動化や効率化の支援 最新の生産性向上に関わる技術のキャッチアップ、探求 などなど、一言でいうと「サイボウズのエンジニアがつらいと思っている部分を最高にしていく」ために活動しているチームです！ メンバー 生産性向上チームメンバーで記念撮影 生産性向上チームのメンバー数は現在5名です。そのうち3名は他のチームと兼務しており、そのつながりを活かして業務に取り組んでいます。 各メンバーについて、簡単に紹介いたします。 宮田 Twitter: @miyajan 出身：東京 得意なこと、好きなこと CI/CD とか自動化
こんにちは、ティアフォーでSREを担当している宇津井です。 2019年9月にSite Reliability Engineering(SRE)として入社して以来行ってきたことをざっと振り返った上で、自動運転の社会実装においてWeb系のエンジニアには何が求められるのかという答えを探っていきたいと思います。スタートアップ企業でどのようにSREの文化を作っていくのかという面でも何かの参考になるのではないかと考え筆を取っています。 と言いつつも重要なことなので最初に書いておきますが、ティアフォーのSREは私が一人目で入社して以来専任としてはずーっと一人でその役割を担ってきました。ようやく一緒に働く方を募集できる状態になりました。そのような背景もあってこのエントリーを書いています。もしご興味がある方は以下のCareersページからご連絡をお待ちしております。 tier4.jp ※SRE編とタイトルに
SRE伝道師としてMicroservices SRE チームが取り組んでいる事例 | メルカリエンジニアリング
※この記事は、"Blog Series of Introduction of Developer Productivity Engineering at Mercari" の一環で書かれています。 著者: Microservices SREチーム @k-oguma（ktykogm） 本記事の内容は、前日の記事である "Embedded SRE at Mercari "の具体的な事例等の紹介となります。私自身が実際にEmbedded SREsとしてプロダクトチームに参加し、その中で発見したプロダクトチームの課題とそれに対して行った取り組みをいくつか紹介したいと思います。最後に具体的な活動を通して見えてきたEmbedded SREsのメリットなどについてまとめます。 本記事内の用語 SRE Site Reliability Engineering の略 信頼性における方法論、概念、ベストプラク
はじめに こんにちは。マイグレーションチームの藤本です。 この記事では、先日のリニューアルに伴って導入したBackends For Frontends（以下、BFF）で、Redisを使ったキャッシュの事例をご紹介します。キャッシュを導入する際に起きる問題とその回避策について、サーバーサイドのアプリケーションで行った対策をもとに紹介していきます。 ZOZOTOWNリニューアルとBFF ZOZOTOWNで導入したBFFは、複数のAPIのレスポンスをフロントエンドが必要とする形式に集約して返却することを主な目的としています。これまでの実績から、大規模セール時のアクセス数は通常時の何倍にもなることがわかっており、BFFもそれに耐えられるパフォーマンスが必要です。 しかし、BFFに来たすべてのアクセスをそのままAPIに流すと、パフォーマンスに影響する恐れが出てきました。そのため、APIからのレスポン
国内最大規模の医療データベースを扱う開発本部が徹底する“守り”と“攻め”のハイブリッド環境 - JMDC TECH BLOG
JMDCのCTO 兼 開発本部長の小森谷です。 今回は、JMDC開発本部の事業内容や技術スタック、開発体制についてお伝えしていきます。特に、技術スタックに関しては、医療分野の特殊なビッグデータを扱っていることから、当社ならではのインフラや開発環境を構築しているのが特徴です。 小森谷 一生（こもりや かずなり）株式会社JMDC CTO 開発本部長 営業・SIerを経験した後、Web系エンジニアへ転向。livedoor社およびGREE社において大規模コンシューマー向けサービスの中で基盤開発から事業KPIの推進など幅広い業務とエンジニアチームのマネジメントに従事。その後、メタップス社にて執行役員としてデータ統合管理や開発組織構築を経験。2018年にJMDCに参画し、2021年より現職。 医療システムの最適化を目指して 1000万人のレセプトデータが最大の強み JMDCは「データとICTの力で、持
Puppet、ローコードで運用監視やDevOpsを自動化する「Relay」を正式リリース。AWSやAzure、Terraform、Slack、JIRA、DataDogなど多数のツールをイベントドリブンに連携
Puppet、ローコードで運用監視やDevOpsを自動化する「Relay」を正式リリース。AWSやAzure、Terraform、Slack、JIRA、DataDogなど多数のツールをイベントドリブンに連携 Puppetは、DevOpsや運用監視を実現するうえで関連するさまざまな関連サービスをローコードで連携させ、作業の自動化を実現する新サービス「Relay」の正式リリースを発表しました。 Relay is here. Puppet's #cloudnative workflow #automation platform is now generally available! Ditch the digital duct tape and get started with Relay: https://t.co/8xUgPihitr pic.twitter.com/aWc2edp0fP —
電通デジタルでSite Reliability Engineer(SRE)をしている齋藤です。 電通デジタルアドベントカレンダー20202日目の記事になります。前回の記事は「Dentsu Digital Tech Advent Calendar 2020開始します！」でした。 本記事では2020年にSREチームで作ったDevOps内製ツールについてご紹介させていただきたいと思います。内部プロダクトのユーティリティーなど細々したものは色々あるのですが、今回は日常的に利用頻度の高い以下2つのツール ・Auth0をIdPにしたAWSマルチアカウントSSOのクレデンシャル取得ツール(auth02aws) ・オンデマンドでBastionホストを起動して使うツール(bastion-session.sh) を紹介させていただきます。 Auth0をIdPにしたAWSマルチアカウントSSOのクレデンシャル取
企業は製品開発や新機能の追加、収益増加に向けた戦略開発といったさまざまなプロジェクトを立ち上げており、その管理アプローチは企業ごとにさまざまです。「世界的な大手IT企業はどのようにプロジェクトを管理しているのか？」という疑問について、ソフトウェアエンジニア・マネージャーとしてSkypeやUber、Microsoftなどの大手IT企業で働いてきたGergely Orosz氏が解説しています。 How Big Tech Runs Tech Projects and the Curious Absence of Scrum - by Gergely Orosz - The Pragmatic Engineer https://newsletter.pragmaticengineer.com/p/project-management-in-tech まず、Orosz氏は100社を超えるさまざまな企
こんにちは。SRE の近藤（@chaspy）です。 先日、より高い信頼性でサービスを提供するために、スタディサプリ小中高大のサービスの最後の砦であるデータベース、MongoDB のインスタンスクラスのスケールアップを行いました。また、スケールアップをするにあたり、負荷試験を行いました。 本記事では、データベースインスタンスのスケールアップの際に行なった負荷試験に対する考え方と、得た学びを紹介します。 なぜスケールアップするのか サービスの急成長に伴い、アクセス数もデータ量も増加しています。数年前に「しばらくは大丈夫」と判断できるインスタンスクラスにスケールアップをしたデータベースも、高負荷時には性能が劣化してしまう問題に遭遇しました。 私たちの MongoDB は AWS 上に EC2 インスタンスとしてセルフホストしており、MongoDB Cloud Manager を使って運用の一部を
メルペイの Infrastructure as Code について、 HashiCorp Certified: Terraform Associate を受験した SRE に聞いてみた | メルカリエンジニアリング
メルペイの Infrastructure as Code について、 HashiCorp Certified: Terraform Associate を受験した SRE に聞いてみた こんにちは。メルペイ Engineering Office チームの kiko です。先月、 HashiCorp Certified: Terraform Associate がリリースされましたね。早速 @tjun さん（メルペイ SRE, Engineering Manager ）と @keke さん（メルペイ SRE ）が受験していました。というわけで、今回はこのお二人に、試験の話とメルペイの Infrastructure as Code について聞いてみました。 サマリー メルペイでは、クラウドのリソースや Datadogのダッシュボードなど様々なことをTerraformでコード化して管理している
Amazon LinuxのEOLに伴いバッチをサーバレス化しFargateに移行した話 - クラウドワークス エンジニアブログ
はじめまして、2020年3月に中途入社したSREチームの @bayashiok です。 今回は入社後、Fargateでサーバレスバッチ基盤を構築した話を書いていきます。 目次 目次 経緯 Fargateを選んだ理由 1. リソースの見積もりがCPU/Memoryだけですむ 2.スケーリングを考えなくて良くなる 3. セキュリティレベルの向上につながり管理負荷が減る 現行システムで発生している問題点の解消 構成 FargateのトリガーとしてRundeckを採用 理由1： バッチ実行が行われる場所でログを見たかった 理由2： ジョブ失敗やSlack通知の仕組み、リトライ方法やジョブ連携などの作り込みを簡単にしたかった ecs-taskとの連携について デプロイ 1. wrapperコンテナのデプロイ 2. バッチのデプロイ Fargateタスク実行について 移行後の総括 よかった点 悪かった
これは、とある僕のチームが運用しているWebアプリケーション (Go製) の、ヘルスチェック用エンドポイントの (リクエストハンドラーの) コードです。リクエストがきたら200 OKを返すだけの、シンプルな実装です。 func health(w http.ResponseWriter, _ *http.Request) { w.WriteHeader(http.StatusOK) } ところが、たったこれだけの処理しかしていないエンドポイントのレイテンシが、ある時からピーク時に著しく劣化するようになり、ひどい時には最大3.4秒もかかるようになってしまったのです。 なぜこのようなことになってしまっていたのか、またそれをどのように調査し、解決したのかについて解説します。 システム概要 今回問題となったWebアプリケーションはGoで書かれています。実行環境は Kubernetes (GKE) で
2019年7月24日、ヤフー株式会社が主催するサーバーサイドエンジニア向けの勉強会「Bonfire Backend #3」が開催されました。第3回となる今回のテーマは「モバイル決済の裏側」。急速に成長するモバイル決済分野でサービスを展開する企業が一堂に会し、自社サービスの仕組みや技術スタックなど、知られざる裏側を語ります。プレゼンテーション「Kyashの今とこれから 〜Walletの学びとDirectの挑戦〜 」に登壇したのは、株式会社Kyashの松田優貴氏。toCのWalletサービス「Kyash」の仕組みと、新たに発表されたtoBの決済プラットフォーム事業「Kyash Direct」における挑戦について語ります。 Kyashの今とこれから 松田優貴氏（以下、松田）：こんばんは。Kyashの松田です。「Kyashの今とこれから 〜Walletの学びとDirectへの挑戦〜」ということで発
Security-JAWS DAYSに「ECS on Fargate のセキュリティ対策は何をやるべき？ 開発者目線で考える」というタイトルで登壇しました #secjaws #secjawsdays | DevelopersIO
はじめに CX事業本部アーキテクトチームの佐藤智樹です。 今回は以下のイベント「Security-JAWS DAYS」で登壇させていただきました。 以下のSpeakerDeckで資料を公開しました。今回話しきれなかった内容として、NIST SP-800 190の中で対象外として内容の紹介やコンテナランタイムという場合の種類などについて書いたのでよければご覧ください。 登壇のモチベーション 今回の登壇ではNIST SP800-190をベースにECS on Fargateだと何をやるべきか考えてみました。これを日本中のいろんな会社で個別にやっていると時間がもったいないので、自分なりに読み解いて関連部分を切り出して対応方法を話させてもらいました。ECS on Fargateには関連ない部分と判断したものは省いたりしています。もしこの部分はこの方がよいなどあればどんどん改善していきたいので、Twi
freeeの社内異動制度「異動戦国」のチーム紹介を一挙公開 - freee Developers Hub
こんにちは、DevBrandingのellyです。 先日ブログでご紹介したfreeeの社内異動制度「異動戦国」、この時期になると社内では毎年、異動希望者を募集するために各チームの熾烈なPR合戦が繰り広げられます。 今回は、その際のSlackや社内WikiでのPR合戦の様子をご紹介します。募集期間中の社内の雰囲気やfreeeの開発組織にはどんな仕事があるのか、どんな魅力があるのかを知ってもらうきっかけになれば嬉しいです。 Slack上で繰り広げられた今年のPR合戦の様子 チーム紹介 SREチーム DBREチーム DXチーム IAM （認証認可基盤開発）チーム サービス基盤チーム 課金基盤チーム ERP基盤チーム データ基盤チーム コアエンジン（外部サービス連携）チーム AIラボチーム 会計チーム LEGO（Public API・アプリストア開発）チーム 人事労務チーム 金融チーム プロジェク
背景 こんにちは！Hanoi Dev Centerでバックエンドエンジニアをしているminhquangです。この記事では、私がAI事業本部のある新規プロダクト開発に参画した際に経験したパフォーマンスチューニングについて話したいと思います。 皆さんはサービスのローンチ(サービスを世の中に初めて出すリリース)をやったことがありますか。サービスローンチするときに、リクエストのスパイクや、ユーザー数の増加によるサーバー負荷増加など、様々な未知な課題が存在します。 私のチームでは数百万人の利用が見込まれるサービスにおいて、18000RPSを実現するべく負荷試験とパフォーマンスチューニングを実施しました。 本記事では、上記のサービス要件を満たすために私たちが取り組んだ負荷試験やパフォーマンスチューニングについて説明しつつ、これらの経験から得られた学びを共有したいと思います。 前提 技術スタック サーバ
本記事は 【プルリクウィーク】 2日目の記事です。 💻 1日目 ▶▶ 本記事 ▶▶ 3日目 📚 はじめに Git と インフラ屋 と IaC そもそもインフラ屋が管理するコードとは？ IaC インフラ関連の設定ファイル CI/CD周りの設定ファイル PRレビューで難しいと思うこと 何を持ってOKとするか そもそも検証が難しい 網羅性が判断つかない PRレビューで意識していること 静的チェックの導入 コメントには意向を示す略語を付ける コメントがFixすればリアクションしてクローズする 対面レビューの時間を設ける リリースとの親和性が高い さいごに はじめに こんにちは、加藤です。 普段、私はインフラエンジニア（以下インフラ屋）としてシステム運用に携わっています。 最近はIaCの普及もあり、インフラチームでもプルリクエスト(以下PR)レビューを実施しているチームが多いのではないでしょうか
New – A Shared File System for Your Lambda Functions | Amazon Web Services
AWS News Blog New – A Shared File System for Your Lambda Functions July 1, 2020: Post updated to take care that Amazon EFS increased file system minimum throughput, when burst credits are exhausted, to 1 MiB/s. I am very happy to announce that AWS Lambda functions can now mount an Amazon Elastic File System (Amazon EFS), a scalable and elastic NFS file system storing data within and across multipl
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SREがカバー株式会社に入社して3ヶ月でおこなったこと｜カバー株式会社 公式note
第10回:Cloudflareの紹介と運用のポイント - CADDi Tech Blog
Kubernetesで実践するクラウドネイティブDevOps
AWS CloudWatchシリーズでアプリを監視する
【2024年】AWS全サービスまとめ | DevelopersIO
複業SREとして広げる課題解決の幅と深さ。期待値以上の成果を上げるまでに何をしたか | Offers Magazine
フィーチャーフラグを管理するためのOpenFeature | フューチャー技術ブログ
ZOZOMATにおけるEKSやgRPCを用いたシステム構成と課題解決 - ZOZO TECH BLOG
Universe 2023: CopilotがGitHubをAIを駆使した開発者プラットフォームへと変貌させる
The 5-hour CDN
Kubernetes初学者が担当したGKE移行プロセスの全貌 - Gaudiy Tech Blog
技術戦略策定のための Fact 収集術 - スタディサプリ Product Team Blog
Classiで発生した2つの問題を繰り返さないために我々が取り組んでいること - Classi開発者ブログ
生産性向上チームの紹介 - Cybozu Inside Out | サイボウズエンジニアのブログ
自動運転を支えるWeb技術 - 信頼性への取り組み (SRE編) - TIER IV Tech Blog
ZOZOTOWNリニューアルで実施したCache Stampede対策 - ZOZO TECH BLOG
2020年に作ったDevOps内製ツール｜Dentsu Digital Tech Blog
大手IT企業はどのように社内の開発プロジェクトを管理しているのか？
負荷試験との向き合い方 - スタディサプリ Product Team Blog
Goエンジニアがk8sクラスタでノイジーネイバー問題に遭遇し、解決するまでの記録
“Visa決済”ができるウォレットサービス「Kyash」の技術スタックと目指すべき場所
大規模サービスのローンチに向け、パフォーマンスチューニングした話 #go #aws
とあるインフラ屋のプルリクエストレビュー奮闘記 - NRIネットコムBlog