shunmatsuのブックマーク - はてなブックマーク

数百 shard のデータベース運用を最適化する手法 | BLOG - DeNA Engineering

はじめにインフラエンジニアの天野です。 DeNA Advent Calendar 2021 の1日目として、ここでは DeNA TechCon 2021 Autumn で登壇させていただいた、「数百 shard のデータベース運用を最適化する手法」についてお話していきます。録画は冒頭に挙げた YouTube に上がっていますので、よろしければそちらもご覧ください。スライドは以下にございます。 DeNA では様々なインフラの運用を自動化してきましたが、データベースの運用にはまだ一定の工数がかかっています。ここでは、大規模ゲームを例に、DeNA が今まで取り組んできたデータベースの運用最適化の手法について紹介していきます。大規模ゲームにおけるデータベースの特徴 MySQL 互換リリース直後の膨大なリクエストを捌くために数百 shard の水平分割台数が増えると故障台数も増えて運用負

shunmatsu 2023/09/26

リンク

次世代データベース TiDB の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering

※こちらは先日実施された DeNA インフラエンジニア / SRE MEETUP で話した内容を Blog 記事化したものです！こんにちは！IT基盤部の熊谷です。IT基盤部にて大規模ゲームのインフラを見ている新卒２年目のインフラエンジニアです。この記事では “DeNA でのデータベース運用とそのツラミ” と、“TiDB導入への検証・検討” をご紹介させていただきます。データベースの最適解 DeNA のデータベース構成は最適解を求めて改良を積み重ねてきました。最初期の構成、(便宜上、第１世代と呼びます) では VM Instance 上に MySQL を構築し管理する MySQL on EC2 構成。続く第２世代では、マネージドサービスを駆使した Aurora MySQL 構成。この２世代の中で生じた “ツラミ” を解消する次の世代、言わば第３世代に該当する新しいデータベース構成を現

shunmatsu 2023/09/25

リンク

DeNA 的 GKE 運用 ~ Pod 集約率編 ~ [DeNA インフラ SRE] | BLOG - DeNA Engineering

はじめにこんにちは。インフラエンジニアの松浦です。 IT 基盤部に所属し、全世界向けのゲームタイトルのインフラ運用を担当しています。先日あるプロジェクトで Google Kubernetes Engine (以降 GKE) でインフラを構築することになり、そこで GKE のコスト削減のために、ノード数削減すなわち Pod 集約率の向上 (1台のノードで出来るだけ多くの Pod を動かす) に取り組みました。今回はそこで行ったことをご紹介します。概要今回のプロジェクトでは、 Kubernetes (以降 K8s) の Horizontal Pod Autoscaler 使用してアプリケーション Pod をオートスケールさせます。このため、スケールアウト・スケールイン後 (Pod の増減によりクラスタオートスケーラー (以降 CA) がノードを増減させた後) でも、Pod 集

shunmatsu 2023/06/23

kubernetes

リンク

T 系 EC2 インスタンスのクレジットが回復しないので困った話 [DeNA インフラ SRE] | BLOG - DeNA Engineering

2023.05.16 技術記事 T 系 EC2 インスタンスのクレジットが回復しないので困った話 [DeNA インフラ SRE] by negimaq #infrastructure #sre #aws #ec2 #cost はじめにこんにちは、IT 本部 IT 基盤部第一グループの横田です。私の所属する IT 基盤部では、組織横断的に複数のサービスのインフラ運用を行っており、インフラの安定的な稼働やコスト削減に取り組んでいます。今回は、DeNA TechCon2023 LIGHTNING TALKS 1 でも発表させていただいた AWS の EC2 インスタンスにおけるコストコントロールで困った事例をご紹介します。 T 系 EC2 インスタンスとは AWS の EC2 インスタンスには、高い CPU 使用率が持続しない用途において安い料金で利用できる特徴があるバーストパフォーマンス

shunmatsu 2023/05/17

aws_EC2

リンク

リアルタイムネットワークグループとOSS | BLOG - DeNA Engineering

こんにちは。 castaneai です。ゲームサービス事業本部内のリアルタイムネットワークグループという部署に属しており、主にゲームのリアルタイム通信部分の開発・運用を担当しています。 2021年12月にDeNAに中途入社し、現在の勤務歴は1年ちょっとです。入社後に私が行ったリアルタイムネットワークグループの業務内容について一部紹介できればと思います。リアルタイムネットワークグループについてはじめにリアルタイムネットワークグループについて軽く紹介します。リアルタイムネットワークグループは主にゲーム分野におけるリアルタイム通信（協力プレイや対戦など、ゲーム内の状況がリアルタイムに変化する遊びの部分）の開発と運用を担当するチームです。リアルタイム通信がかかわる箇所は、他の機能にはない固有の知識が求められます。高頻度なデータのやり取りが必要な中でどのように遅延や通信量の削減をできる

shunmatsu 2023/05/15

リンク

Pocochaで実践するAgile Testing | BLOG - DeNA Engineering

こんにちは、SWETグループ兼PocochaでQAエンジニアを担当しているkariadです。 Pocochaではよりフロー効率を高めていくため、アジャイル開発体制への移行を進めています。今回はその中でもテストについて、Pocochaでの取り組みについて紹介します。また、PocochaではSAFeという大規模アジャイルフレームワークも採用しており、本記事でもSAFeの用語が出てくることがあります。可能な限り用語がわからなくても意図が伝わるように書いていますが、Pocochaで取り組むSAFeそのものについては別記事にて後日紹介したいと思います。いつテストをするのか？アジャイル開発でフロー効率を高めていく上で考えなくてはいけないのはいつテストをするかです。従来のPocochaでは開発終盤にまとめてQAを実施していました。このときはバグの件数もそれなりにあり、仕様に関わる不具合が見

shunmatsu 2023/03/20

アジャイル開発

リンク

ProxySQL を利用した Aurora MySQL の課題解決 [DeNA インフラ SRE] | BLOG - DeNA Engineering

2022.11.01 技術記事 ProxySQL を利用した Aurora MySQL の課題解決 [DeNA インフラ SRE] by yayohei #infrastructure #sre #database #aws #aurora #mysql #proxysql #stabilization #livestreaming-infrastructure #infra-quality こんにちは、 IT 本部 IT 基盤部第一グループの山本です。今回は ProxySQL を利用した Aurora MySQL の新規接続の遅延問題の解消方法について紹介したいと思います。 Aurora MySQL のメリット Aurora MySQL のメリットとしては本稿で詳しく語るまでもないですが、Writer の自動 Failover、Snapshot の取得の容易さ、Storage 故障の

shunmatsu 2022/11/03

リンク

新サービス Aurora Serverless v2 の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering

2022.06.16 技術記事新サービス Aurora Serverless v2 の検証とその評価 [DeNA インフラ SRE] by Keijun Kumagai #infrastructure #aurora #aws #database #technical-verification #game-infrastructure #infra-quality こんにちは！IT基盤部の k-jun です。IT基盤部にて大規模ゲームのインフラを見ているインフラエンジニアです。この記事では、2022/04/21 に GA となった AWS の新サービス Aurora Serverless v2 に対して行った技術検証とその調査結果をご紹介させて頂きます。 Aurora Serverless v2 とは Aurora Serverless v2 は Amazon Aurora のオンデマン

shunmatsu 2022/06/18

リンク

安心・安全・安価な日中間接続~Alibaba Cloud CEN~ | BLOG - DeNA Engineering

こんにちは、IT基盤部第三グループのジュンヤと申します。DeNAに入社してちょうどこの9月で丸9年になります。入社当初はネットワークエンジニアとして着任しましたが、それから、金融系・EC系システムのインフラに携わり、現在は社内システムのインフラエンジニアのマネージャをしています。ちなみに、FirstNameを名乗っている理由は、同じ部署に同じ名字のメンバーがいるためであり、様々な事故防止が理由であって、それ以上でも以下でもありません。社内システムのインフラエンジニアとは？当たり前ですが、インフラエンジニアと一口に言っても、担当しているシステムによって必要なスキルセットは異なります。その中でも、社内システムのインフラエンジニアというポジションは、雑多な幅広いテクノロジーに触れることができます。管理しているサーバOSという面ではLinuxはもちろん、WindowsServerOS（いま