DeNA 的 GKE 運用 ~ Pod 集約率編 ~ [DeNA インフラ SRE] | BLOG - DeNA Engineering
はじめに こんにちは。インフラエンジニアの松浦です。 IT 基盤部に所属し、全世界向けのゲームタイトルのインフラ運用を担当しています。 先日あるプロジェクトで Google Kubernetes Engine (以降 GKE) でインフラを構築することになり、そこで GKE のコスト削減のために、 ノード 数削減すなわち Pod 集約率の向上 (1台のノードで出来るだけ多くの Pod を動かす) に取り組みました。 今回はそこで行ったことをご紹介します。 概要 今回のプロジェクトでは、 Kubernetes (以降 K8s) の Horizontal Pod Autoscaler 使用してアプリケーション Pod をオートスケールさせます。 このため、スケールアウト・スケールイン後 (Pod の増減により クラスタオートスケーラー (以降 CA) がノードを増減させた後) でも、Pod 集
![DeNA 的 GKE 運用 ~ Pod 集約率編 ~ [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/1252489982a7fafcf1805c0cb00d4c02b4ee5b92/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2023%2F06%2Fgke-optimization%2Fcover.png)
AWS ECS on Fargate + FireLens で大きなログが扱いやすくなった話 | BLOG - DeNA Engineering
はじめに コンテナオーケストレーションサービスの一つである AWS ECS on Fargate (以下 ECS on Fargate) では、FireLens を利用することで、コンテナが出力するログを簡単に任意のログ基盤へ送信できます。 しかし、FireLens を通じてコンテナのログをルーティングする場合、16 KB 以上のログは分割された状態でログルーティング用のコンテナに到達します。構造化ログを実現するためにアプリケーションが JSON などの形式でログを出力している場合、ログを分割される前の状態に復元する必要があります。 この記事では、FireLens とは何かをおさらいした上で、上記の問題の背景を解説します。また、この問題の解決策についてこれまで知られてきた方法と、最近の ECS on Fargate のアップデートにより利用できるようになった方法を解説します。それにより、読
DeNA 本社移転でネットワーク構築・移行作業を実施しました | BLOG - DeNA Engineering
はじめに こんにちは、IT 基盤部ネットワークグループの片桐です。 DeNA グループ全体のネットワークの管理、運用等を行っています。 今年8月、DeNAは本社拠点を渋谷ヒカリエから、WeWork渋谷スクランブルスクエアに移転しました。 この移転は我々としても、大きなプロジェクトでした。せっかくなので、オフィスネットワークにおける移転の裏側を紹介致します。 DeNAオフィス移転におけるネットワーク WeWorkへの移転であれば、ネットワークもWeWorkの設備を使うのでは、と考えられた読者もおられるのではないかと思います。 最初に移転プロジェクトメンバーと新オフィスのネットワークについて議論しましたが、 渋谷ヒカリエで運用していたネットワークと同じレベルの帯域・ネットワークの安定性・クラウドとの内部通信・ネットワークセキュリティ・ネットワーク運用体制の維持、 これら全てが必須要件でした。
CTOが訊く#2 Rails Committer と DeNA | BLOG - DeNA Engineering
CTOが訊く#2 Rails Committer と DeNA 「CTOが訊く」は、DeNA CTO の @nekokak（ねこかく）こと小林 篤が、社内のメンバーに、その人となりや仕事っぷり、そして野望を訊く、というコーナーです。 第2回の対談ゲストは、@kamipo（かみぽ）こと上薗 竜太。 Full-Time Rails Committer としての入社 ▲左から、@kamipo：上薗 竜太、@nekokak：小林 篤 @nekokak 今日は「CTOが訊く」へ、Rails Committer である kamipo さんに来ていただきました。よろしくお願いします。 @kamipo お願いします。 @nekokak この「CTOが訊く」は、DeNA で活躍しているスペシャリティの高いエンジニアの人から色々と話を訊きながら、DeNA でどういう活躍をしているか伺って深堀りをしていく、とい
大規模Email配信システムのクラウドジャーニー | BLOG - DeNA Engineering
こんにちは、AI 基盤部の大谷です。 最近は兼務で MLOps 以外にも様々なシステムを構築しています。 弊社では全社的にオンプレミスからクラウドに、よりマネージドに寄せていこうという大きな指針が定められています。 (参考: フルスイングの記事 ) しかし、古くから運用されているサービスなどでは、未だにオンプレミスで構築されているものも少なくありません。 また、クラウドにホストされている場合でも、マネージドサービスを完全に活用しきれていない場合もあり、EC2 ベースの IaaS な構成はまだまだ多く存在しています。 とあるサービスでも、クラウド化はされているものの、マネージドサービスを活用しきれていないメール配信システムが運用されていました。 一般にメール配信システムは、挙動の違う複数のメールプロバイダにスムーズに配信するために多くのことを気にする必要があり、その分管理コストも高くなりがち
Python - クラス理解への道（罠にはまらないために） | BLOG - DeNA Engineering
システム本部CTO室のeveresです。 今年は、とあるインタビュー記事でディスクリプターについて触れてから、remote.py、PyConJP 2020 Onlineと、続けてPythonの属性について話してきました。 締めくくり…と気合を入れたいところですがAdvent Calendarですので、本エントリーではあまり踏み込まずさわりだけを紹介します。 読んでみて動作を理解していなかった人やクラス生成のカスタマイズなど踏み込んで知りたい方は、PyConJP 2020 Onlineの資料をたどってみてください。末尾にリンクを記載しておきます。 このエントリーは DeNA Advent Calendar 2020 の5日目のエントリーです。 では、始めましょう。 動作環境など 本エントリに登場するサンプルのコードは次の環境で動作を確認しています。 macOS: 11.0.1 Python:
同期に打ちのめされてから、立ち直るまでの話 （研修振り返りレポート） | BLOG - DeNA Engineering
― 「人と比べるな。なりたい自分を目指せ」 目次 入社当日 エンジニア研修で同期の実力に驚愕 人と人は比べられない 自分で目標を立て、その達成のために全力を注ぐ 考えが変わったあと 研修を振り返って 入社当日 「人と比べるのだけはやめなさい。私の新人時代は人と比べて2年間無駄にした」 入社当日に南場さんにいわれた一言です。当時の私は「ふむふむ、なるほど」と、相槌を打って理解し、納得したような顔で聞いていました。 でも、実行に移せるかどうかはまた別問題で、この言葉の重みを思い知ったのは後のエンジニア研修でした。 エンジニア研修で同期の実力に驚愕 入社前から、何人かのエンジニアとは話をしたことがあったので、同期のレベル感はなんとなく察していました。総じて高いだろう、と。 その予想は大きく裏切られました。驚愕するレベルで同期の技術レベルが高かったのです。 起業経験があったり、 サービスをほとんど
未経験者が不明点を徹底的に潰し、SREとして急速成長した話 | BLOG - DeNA Engineering
こんにちは。IT 基盤部の小池です。 2020年8月5日(水) に開催された、 bit valley 2020 プレイベント | bit valley 2020 プレイベント 20代で圧倒的成長を目指すエンジニア ～これが私のグロース戦略～ に登壇してきたので、その報告をします。 発表内容 上記が、当日の発表資料です。 以下で簡単に内容を紹介したいと思います。 開発経験なしからどのようにキャッチアップしてきたか 入社当時から “開発経験もない” “年齢も高い” と、自分にはネガティブな点が多いと思っていたので、 成果を出しつつ効率的にキャッチアップしていかなければならないと思っていました。 そこで、「積極的に手をあげる」-> 「わからないを徹底的に潰す」->「タスクの完成度を上げる」というサイクルでタスクを回していました。 こうすることで、成果を出すこととキャッチアップすることを並列でこな
VPN との終わりなき戦い 〜怒濤の全社テレワーク編〜
こんにちは、IT 基盤部第三グループのジュンヤと申します。 前回 は、日本と中国の間の VPN 接続に発生した問題とその解決について紹介しました。あれから約1年が経とうとしていますが、今回も VPN がテーマです。そうです、偶然にもまたも VPN です。 DeNA の テレワーク状況 DeNA は6月19日現在、出社率がなんと5%！という、ほぼ全社テレワーク状態で稼働を続けています。この背景には、ごく短期間で、VPN 接続数が150から2500へと約16倍に急増した、という事実がありこの記事はその戦いの記録を綴ったものになります。(なお、5月の出社率は2%でした) DeNA の VPN 構成 VPN とは Virtual Private Network の名の通り、仮想的な専用線(プライベートネットワーク)を構成する技術です。この VPN を使うことで自宅や外出先であっても安全に社内 LA
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
