はてなブックマーク

2024.11.26 技術記事 Terraform を活用した効率的な S3 バケット管理手法 [DeNA インフラ SRE] by Tatsuki Mutsuro #infrastructure #sre #aws #s3 #terraform #infra-quality #infra-delivery はじめに こんにちは。 IT 基盤部第四グループの無津呂です。 全世界向けゲームタイトルのインフラ運用を担当しています。 当グループでは、複数のゲームタイトルのインフラを開発環境・検証環境・本番環境にわたって管理しています。 AWS の S3 は、当グループが管理しているインフラリソースの 1 つです。 その S3 のバケットは、合計数百個になります。 当グループはこれまで、大量の S3 バケットをうまく管理できていませんでした。 Terraform を利用して IaC 化してはいたの

はじめに こんにちは。IT基盤ネットワークグループの守屋と申します。 主に社内のネットワーク、CDN (Content Delivery Network)関連の業務を担当しています。 今までのブログではネットワークグループで採用しているサービスや、ネットワーク移行についてご紹介してきましたが、 今回は DeNA のネットワーク運用監視で使用してるツールをご紹介いたします。 AWS BYOIP を使った自社 IPv4 運用手法 DeNA での GCP ネットワーク運用 DeNA 本社移転でネットワーク構築・移行作業を実施しました DeNA のネットワークについて ネットワークは障害や品質が悪いと複数のサービスやユーザに影響を与えます。 そのため、24/365体制で、業務を円滑に進められるようなネットワークを運用監視することがネットワークグループの基本方針となります。 ただし、リソースは有限な

はじめに はじめまして。24卒でデータ基盤部に配属されたMLエンジニアの大泉です。この記事では、DeNA の社内生成 AI サービス「SAI」のバックボーンとして用いられているオープンソースの LLM アプリ開発プラットフォームである Dify を DeNA でどのように運用しているかをお話しします。 Dify を本記事の構成で Google Cloud 上で立ち上げるためのコードを GitHub 上で OSS として公開しております。Google Cloud 環境をお持ちの方はぜひお試しください。 背景 4月の共通研修を終えた新卒エンジニアの中で、有志で集まった8名の新卒が、 「DeNA が日本で一番生成 AI を活用している企業になる！」という Vision を掲げ、社内プロダクトを作る新卒エンジニア研修のプロダクトのひとつとして社内生成 AI サービス SAI の開発に取り組みました

はじめに こんにちは、IT 戦略部システム基盤グループの井戸です。 当グループは社内向けに様々なサービス（GitHub、Jira、Confluence など）を提供し、それらの運用を担当しています。最近では社内向けサービスに SaaS を活用する機会が増え、その数も増加しています。 SaaS を利用することは、従来のオンプレミスのサービスと比較していくつかのメリットがあると言われており、概ねその通りだと思います。 物理サーバーを購入する必要がないため、導入コストが低い 月額利用が一般的なため、利用開始や解約のハードルが低い ベンダーがセキュリティ対策を担当するため、ユーザーはセキュリティを意識する必要がない クラウド上でサーバーの管理が行われるため、物理的なスペースを確保する必要がない 障害時の対応はベンダーが行うため、自ら対応する必要がない ただし、「障害時の対応はベンダーが行うため、自

この記事について DeNAでは2023年の中頃にそれまで外部委託を中心に運営していた社内ITのヘルプデスク機能を内製化しました。 以降は社内をよく知るメンバを中心にヘルプデスクの運営を行っています。 伴っていくつかの従業員体験向上の施策を実施しましたが、その中でも2024年4月から実施している「即レス」化の施策について紹介します。 「即レス」化というのはそのままの意味で、営業時間内（10:00-18:00）の間であれば、何らかの意味のある返事をすぐにするというのを運用として維持するというものです。 グループのこと IT本部IT戦略部エンプロイーエクスペリエンスグループの片桐です。 現在、主に社内ITヘルプデスクとPC端末管理・トラブル対応を行っています。 エンプロイーエクスペリエンスグループですが、ユーザーサポートグループを前身としており、2023/4に名称変更され発足したグループです（社

はじめに こんにちは、IT戦略部システム基盤グループの酒井と申します。 システム基盤グループは2023年4月にIT基盤部からIT戦略部に所属部門が代わり、社内システムのインフラやGithubやJira/Confluenceなどの運用を担当しています。 このタイトルに見覚えがある方は熱心なDeNA Engineering blogの読者だと思います。 私の上長が過去に同じタイトルでblog投稿をしていました。 まだ見ていない方は今回の内容とも関連するため、以下からご覧ください！ VPN との終わりなき戦い 〜怒濤の全社テレワーク編〜 VPN との終わりなき戦い 〜Cloud Journey 編〜 今回もタイトル通りVPNに関するお話となります。 DeNAのリモートワークの状況 本題に入る前に弊社のリモートワークの状況をご説明します。 DeNAではコロナが落ち着いてからもハイブリッドワークを継

こんにちは！DeNAでソリューション本部クライアントエンジニアリング部モバイルアプリグループに所属する早川（sokume）です。 先日（2024年5月14日）、Google I/O 2024がオンライン配信されました。2019年以降、Google I/Oはオンライン形式で開催されていますが、今回のGoogle I/O 2024にはオフラインの会場に参加する招待を頂き、現地に参加してきましたので、会場の雰囲気などをご報告します！ Google I/O とは？ Google I/O 2024 Googleが開催する年次開発者向けカンファレンスで、Googleのテクノロジー、製品、ツールの発表に加えて、技術セッションや展示などが行われ、新情報が共有される場となっています。今回は、2024年5月14日10:00〜（日本時間5月15日2:00〜）に基調講演が行われました。 会場 会場はGoogle

2024.05.14 技術記事 Cloud Spannerを使う大規模アプリケーションの負荷試験におけるアプローチとチューニング by tomohiro.katsukura #loadtest #google-cloud #spanner ゲームサービス事業本部の勝倉です。 この投稿では、Cloud Spanner を使う大規模アプリケーション 1 での負荷試験の方法論と、チューニング方法について記述しています。 前半は、従来的な負荷試験の手法が抱える課題を整理し、それらを解決する新しい方法論を紹介しています。 後半は、Cloud Spanner で秒間500万超のクエリ(5M+ QPS)の負荷を捌くまでに出てきたボトルネックの見つけ方と潰し方について紹介しています。 1. 負荷試験の悩みどころ バックエンドアプリケーションの開発において、負荷試験は重要なチェックポイントになります。 これ

こんにちは、ぎもちんです。 音声ライブ配信アプリ Voice Pococha の Flutter アプリ開発をしています。 Voice Pococha では昨年、 C 言語による低レイヤな音声処理を行うための音声基盤を導入・リリースしました。 この記事では、そのような音声基盤をアプリに導入した背景や、技術選定、実装手法についてお話しします。 音声基盤とは 音声基盤とは Voice Pococha アプリで音声処理を行うためのフレームワークを指します。 Voice Graph と呼ばれており、カラオケ機能追加に伴って実装・導入されました。 以下の3点を主軸に、 C 言語で開発されています Kotlin/Swift との相互運用 低いメンテナンスコスト 高い拡張性とパフォーマンス カラオケ機能要件 音声基盤の説明をする前に、まずは音声基盤を導入する理由となった、カラオケ機能の要件について説明し

2024.02.27 技術記事 Percona XtraBackup: 高性能DBバックアップツール [DeNA インフラ SRE] by Kohei Okazaki #infra-quality #infra-delivery #stabilization #technical-verification #datastore #portability #pxb #mysql はじめに こんにちは、IT基盤部にてインターンとして活動している岡崎です。現在、私はパブリッククラウドチーム (以下、PCA)に所属しており、いくつかの施策に携わっています。 現代のビジネス環境において、クラウドリソースの柔軟な移動と管理は、事業継続性と革新性の両立に不可欠です。この重要なニーズに応えるべく、私たちPCAチームでは、クラウドリソースのポータビリティに関する総合的な施策を進めています。これは、アプリケー

みなさま初めまして！だったり、知っている人もいるかもしれませんが初めまして！ DeNAのデジタルエンタテインメント事業部でWeb3担当しているten3でーす！ 本日は自分が開発担当していた NFTリテラシー検定 リリースということでエンジニアブログ書かせていただくことになりました！ NFTリテラシー検定ってなんなんじゃい！ みなさん！NFTってご存じですか？ ご存知の方、そうでない方いらっしゃると思います。 NFTと聴いてどんなことを想像されますでしょう？ 名前くらい聞いたことがある方だと、デジタルアートだとか、デジタルアートの売買だとかを想像されるかもしれません。 また、Blockchainに詳しい方であれば、Blockchainの改竄に強い特徴と持続性を利用したデジタル証書を想像されるかもしれません。 そして、NFT取引に絡む投機性だったり、詐欺などの犯罪について想像される方もいらっし

はじめに 初めまして、2023年の9月から12月にかけて、DeNAの就業型インターンシップに参加した佐藤 創太です。 普段は、大学院でネットワークの研究をしたり、少数のチームで受託開発を行ったりしています。 突然ですが、学生の皆さまは以下のような点に悩んだことはありますでしょうか？ 強いエンジニアになりたいけど、そもそも強いエンジニアとは何だろう？ 私はインターンに参加する前、この点について悩み、どうやってエンジニアとして能力を高めていけば良いのかがわかりませんでした。 しかし、インターンで強いエンジニアたちと共に開発を行うことで、自分なりに進む方向性が見えてきました。 そこで、私と同じような悩みを抱える方に向けて、本記事では以下の内容についてお話ししたいと思います。 インターンに応募した理由 業務の概要と働く環境 インターンを通して感じた強いエンジニアとは 是非お付き合いいただければ幸い

2023.12.15 技術記事 ALB TargetGroup を切り替えて S3 上の静的ページを表示する(HaMaMo! ハマスタモバイルオーダーの事例）[DeNA インフラ SRE] by yuto.ota #ydb #hamamo #aws #infrastructure はじめに こんにちは，IT 本部 IT 基盤部第一グループの大田です． IT 基盤部では，DeNA のグループ子会社等も含めて横断的に複数のサービスのインフラ運用を行っています． 今回は，横浜DeNAベイスターズ（以下，YDB）の HaMaMo! というサービスについて，IT 基盤部が関わっているインフラ部分の構成について一部ご紹介します． HaMaMo! とは HaMaMo!（ハマスタモバイルオーダー）は、 ハマスタオリジナルフードを、スマホでオーダーして、完成通知を受信後に、 受け取りに行くだけの便利なオーダ

こんにちは、IT戦略部システム開発グループ所属のyoshiiです。 私は学生時代ひたすら個人開発をしており、就活もこの活動一本で行なってDeNAに入社しました。 今回はほとんど個人開発しか経験していなかった私が、研修や実際の業務の中で、チームで働いて失敗したことや成長できたことなどをゆるく書けたらいいなと思っています。 誰得な記事になるかもですが、どうか最後まで読んでいただけると幸いです。 特に読んで欲しい人 趣味開発はやってきたけど、仕事でコード書いた経験はなくて不安な学生さんに特に読んで欲しいと思って書いています。 もちろんそれ以外の人も読んでいただければ嬉しいですが…！ 個人開発に対するスタンスとこの会社に入った決め手 今回のお話をする前に、私がどういうスタンスで趣味の個人開発と向き合ってきたかを説明しておきます。 私にとって個人開発をするスタンスは「自分が面白ければなんでも良い」し

gem の概要 database_rewinder という gem があります。 これを使うとテストケースを実行するたびに DB の中身が初期化されて、しかも超速いというすごい gem です。 弊社でもヘビーユースさせていただいていたのですが、あるプロダクトの自動テストにおいて適切にデータが初期化されないケースがあり、 Flaky test の原因となっていました。 今回ご紹介する mysql_rewinder は、この問題を解決するために database_rewinder の代替を目指して開発した gem です。 使用例 Ruby on Rails / RSpec と組み合わせる場合、以下のように利用します。 RSpec.configure do |config| # MysqlRewinder の初期設定 config.before(:suite) do db_configs = A

はじめに はじめまして！2023年9月にAIスペシャリストのインターンシップに参加させていただきました、柳（ @ynt0485 ）と申します。普段は数理最適化や機械学習関連の研究を行っています。 今回のインターンでは、DeNAが運営するX（旧Twitter）アカウントの投稿文を自動生成するというタスクに取り組みました。この記事では、どのような工夫によって生成の精度を上げることができたのかについて紹介します ！ 課題内容 概要 初めに、今回のタスクの概要についてお話します。 近年の大規模言語モデルの発展により、文章の自動生成は様々な分野での活用が期待されています。特に、ある分野に特化させた文章の生成はクリエイティブの制作やサービス専用のチャットボットの構築に利用することが できます。 そのため、今回は特定分野に特化させた文章生成の1つとして、あるX（旧Twitter）アカウントの過去の投稿文

2023.09.29 技術記事 Tencent Cloud と AWS のライブ配信基盤の比較 [DeNA インフラ SRE] by negimaq #infrastructure #sre #aws #tencent-cloud #live-streaming #pococha はじめに こんにちは、IT 本部 IT 基盤部第一グループの横田です。 IT 基盤部では、組織横断的に複数のサービスのインフラ運用を行っており、インフラの安定的な稼働やコスト削減に取り組んでいます。 今回は、ライブ配信基盤のためのマネージドサービスである Tencent Cloud の Tencent Real-Time Communication (TRTC) と Cloud Streaming Services (CSS)、AWS の Amazon Interactive Video Service (IVS

はじめに こんにちは！エンジニアリング室の太田です。 DeNA では「DeNA TECH STUDIO」という、世の中の技術向上に貢献する勉強会やイベントを積極的に支援することを目的とし、エンジニアリングに関する勉強会サポートプログラムを運営しています。 2017年9月から始動し、数多くの勉強会やイベントをサポートしてきました。今回はその「DeNA TECH STUDIO」について少しお話したいと思います。 DeNA TECH STUDIO とは アウトプットしたい技術ネタがあるけど、 発表するための場所がない、、、 そもそも準備するまでの手間がかなり、、、 というようなことが億劫で、情報発信したいのにできないことはよくあると思います。 そのような課題を解決して「外にもっと発信したい！」というWILLに対して、それをより実現しやすくするための制度として開始したプログラムです。 DeNAのエ

スクラムチームの構成 私たちのスクラムチームは以下のような構成で開発を行いました。 開発者 4人 プロダクトオーナー 2人 スクラムマスター 1人（私） プロダクトオーナーが2人というのは通常のスクラムで考えるとあまりないのですが、今回ビジネスサイドから参加したメンバーが通常業務との兼任だったため、なかなか時間を割きにくいという特殊な事情もあり、このような体制をとっていました。 スクラム開発で起こった問題 「スクラムわからん」 これが僕たちのチームに最初に立ちはだかった、最大にして最難関の壁でした。 スクラムの講義やスクラムガイドに目を通しただけではスクラムを理解することは難しく、何を取り組むにしても「これはスクラムのやり方に則っているのだろうか？」という疑問にぶつかってしまい、みんながモヤモヤしているし、物事も前に進まないということがスプリント1では起きていました。 スプリント1のスプリ

こんにちは、23卒の ojun です！ 2023年9月1日（金）から3日（日）までオンライン・オフラインのハイブリッド形式で開催された iOSDC Japan 2023 にて、DeNA はゴールドスポンサーとして協賛しました！ また、DeNA は iOSDC Japan 2023 の「スポンサーブース」に出展し、iOS App エンジニアたちが考えた企画である「SwiftUI 脳内プレビュー大会」を実施しました！！ SwiftUI 脳内プレビュー大会の様子 当日はたくさんの方々にご参加いただき、大盛況となりました。「SwiftUI 脳内プレビュー大会」で集めた解答用紙は、なんと243枚にものぼりました！ このブログでは、「SwiftUI 脳内プレビュー大会」の問題とその答え、さらに解説を行います。 *本問題の動作環境はiOS 14.8以上となっています。 Question1の問題と解説 Q

2023.08.24 技術記事 Prometheus, Grafana, Alertmanager 高可用性構成への挑戦[DeNA インフラ SRE] by Keijun Kumagai #infrastructure #prometheus #infra-quality #monitoring #stabilization こんにちは！k-jun です。IT基盤部にて大規模ゲームのインフラに携わっているインフラエンジニアです。この記事では、モニタリングコンポーネントの Prometheus、Grafana、Alertmanager を冗長化した事例をご紹介させて頂きます。 モニタリングとは モニタリングとは、システムやコンポーネントの振る舞いを観察し出力をチェックすることです。システムはコンポーネントで構成され、各コンポーネントの状態は絶えず変化しています。モニタリングとは、この刻一刻と

はじめに こんにちは。インフラエンジニアの松浦です。 IT 基盤部に所属し、全世界向けのゲームタイトルのインフラ運用を担当しています。 先日あるプロジェクトで Google Kubernetes Engine (以降 GKE) でインフラを構築することになり、そこで GKE のコスト削減のために、 ノード 数削減すなわち Pod 集約率の向上 (1台のノードで出来るだけ多くの Pod を動かす) に取り組みました。 今回はそこで行ったことをご紹介します。 概要 今回のプロジェクトでは、 Kubernetes (以降 K8s) の Horizontal Pod Autoscaler 使用してアプリケーション Pod をオートスケールさせます。 このため、スケールアウト・スケールイン後 (Pod の増減により クラスタオートスケーラー (以降 CA) がノードを増減させた後) でも、Pod 集

上記の表から実際の稼働率は以下のようになります。 (式が長くなるためメトリクス名を省略しています。） ELBxxxのメトリクスはELBの応答ステータス、Targetxxxのメトリクスはターゲット(APIサーバ)の応答ステータスになるので、 それぞれどのステータスもELBとTarget両方を合算する必要があります。 $$\mathrm{稼働率} = \frac{ELB3xx + ELB4xx + Target2xx + Target3xx + Target4xx}{ELB3xx + ELB4xx + ELB5xx + Target2xx + Target3xx + Target4xx + Target5xx}$$ このうち、ELB4xx,ELB5xxに含まれているステータスに関しては考慮が必要なため以下で補足します。 メトリクスについて HTTPCode_ELB_4XX_Count ロードバ

2023.05.16 技術記事 T 系 EC2 インスタンスのクレジットが回復しないので困った話 [DeNA インフラ SRE] by negimaq #infrastructure #sre #aws #ec2 #cost はじめに こんにちは、IT 本部 IT 基盤部第一グループの横田です。 私の所属する IT 基盤部では、組織横断的に複数のサービスのインフラ運用を行っており、インフラの安定的な稼働やコスト削減に取り組んでいます。 今回は、DeNA TechCon2023 LIGHTNING TALKS 1 でも発表させていただいた AWS の EC2 インスタンスにおけるコストコントロールで困った事例をご紹介します。 T 系 EC2 インスタンスとは AWS の EC2 インスタンスには、高い CPU 使用率が持続しない用途において安い料金で利用できる特徴があるバーストパフォーマンス

こんにちは！！技術統括部プロダクト開発部の畔柳(くろやなぎ)です！！ DeNAでは社内外で多くの勉強会を開催しており、その中でも最近は特に「ハイブリッド勉強会」の必要性が増えました。 そこで、今回はDeNAで行っているハイブリッド勉強会の運用についてご紹介します。 なぜハイブリッド勉強会が必要か ここ数年で働き方が多様化し、DeNAではリモートワークを積極的に推進しています。 しかしオフィスで顔を合わせてコミュニケーションを取る重要性などもあり、自由に出社してコミュニケーションを取りながら働く「ハイブリッド出社」を推奨しています。 このような働き方の変化を受け、勉強会もハイブリッド形式が求められるようになりました。 ハイブリッド勉強会は、オンライン会場とオフライン会場を用意し、互いの知識やスキルを共有する場を提供します。 このようにハイブリッドで開催することで、参加者の働き方やライフスタイ