wonder-wallのブックマーク - はてなブックマーク

次世代データベース TiDB の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering

※こちらは先日実施された DeNA インフラエンジニア / SRE MEETUP で話した内容を Blog 記事化したものです！こんにちは！IT基盤部の熊谷です。IT基盤部にて大規模ゲームのインフラを見ている新卒２年目のインフラエンジニアです。この記事では “DeNA でのデータベース運用とそのツラミ” と、“TiDB導入への検証・検討” をご紹介させていただきます。データベースの最適解 DeNA のデータベース構成は最適解を求めて改良を積み重ねてきました。最初期の構成、(便宜上、第１世代と呼びます) では VM Instance 上に MySQL を構築し管理する MySQL on EC2 構成。続く第２世代では、マネージドサービスを駆使した Aurora MySQL 構成。この２世代の中で生じた “ツラミ” を解消する次の世代、言わば第３世代に該当する新しいデータベース構成を現

wonder-wall 2022/01/20

データベース

リンク

DeNA 本社移転でネットワーク構築・移行作業を実施しました | BLOG - DeNA Engineering

はじめにこんにちは、IT 基盤部ネットワークグループの片桐です。 DeNA グループ全体のネットワークの管理、運用等を行っています。今年8月、DeNAは本社拠点を渋谷ヒカリエから、WeWork渋谷スクランブルスクエアに移転しました。この移転は我々としても、大きなプロジェクトでした。せっかくなので、オフィスネットワークにおける移転の裏側を紹介致します。 DeNAオフィス移転におけるネットワーク WeWorkへの移転であれば、ネットワークもWeWorkの設備を使うのでは、と考えられた読者もおられるのではないかと思います。最初に移転プロジェクトメンバーと新オフィスのネットワークについて議論しましたが、渋谷ヒカリエで運用していたネットワークと同じレベルの帯域・ネットワークの安定性・クラウドとの内部通信・ネットワークセキュリティ・ネットワーク運用体制の維持、これら全てが必須要件でした。

wonder-wall 2021/11/25

ネットワーク

リンク

大規模Email配信システムのクラウドジャーニー | BLOG - DeNA Engineering

こんにちは、AI 基盤部の大谷です。最近は兼務で MLOps 以外にも様々なシステムを構築しています。弊社では全社的にオンプレミスからクラウドに、よりマネージドに寄せていこうという大きな指針が定められています。 (参考: フルスイングの記事 ) しかし、古くから運用されているサービスなどでは、未だにオンプレミスで構築されているものも少なくありません。また、クラウドにホストされている場合でも、マネージドサービスを完全に活用しきれていない場合もあり、EC2 ベースの IaaS な構成はまだまだ多く存在しています。とあるサービスでも、クラウド化はされているものの、マネージドサービスを活用しきれていないメール配信システムが運用されていました。一般にメール配信システムは、挙動の違う複数のメールプロバイダにスムーズに配信するために多くのことを気にする必要があり、その分管理コストも高くなりがち

wonder-wall 2021/05/14

リンク

若手から見たリモートワーク時代のチームビルディング | BLOG - DeNA Engineering

2020 年 4 月にコロナの影響による緊急事態宣言が発令されて久しい今日この頃ですが、多くの会社でリモートワークが余儀なくされ働き方が大きく変わりました。 DeNA がリモートワーク可能な体制へと迅速に切り替えていく中で、私自身リモートワークによる業務が9割以上を占めました。私や私の所属するチームだけでなく日本中でも働くことに対する考え方が大きく変わるタイミングだったのではないでしょうか。（DeNAでは緊急事態宣言が発令される前には全社的にリモートワークがすでに可能なレベルにまで整備され、とてもスピーディーにリモートワークへと移行できました。制度や勤務体制など様々な整備をしてくださったことにとても感謝しています。）その中で、私たちがチームのコミュニケーションや課題を改善するためにどう工夫したのかをお伝えすることで読んでくださる方のチームのチームビルディングの一助にして欲しいと願っていま

wonder-wall 2021/01/14

開発

リンク

VimConf 2019参加レポート | BLOG - DeNA Engineering

MOV のサーバサイドエンジニアをしている古舘( @178inaba_ )です。 11月3日に行われた VimConf 2019 に参加しましたので参加レポートをお届けします。 VimConfとはテキストエディタ Vim の国際会議で2013年から開催されているカンファレンスです。今年のキーノートスピーカーは vim-lsp 、 async.vim 、 asyncomplete.vim の作者である Prabir Shrestha さんと Neovim のリードメンテナーである Justin M. Keyes さんのお二人でした。国際会議なのでスライドはすべて英語でした。また、公式サイトを見てもらうと分かる通り英語のセッションが日本語より多かったです。ですが同時翻訳がしっかり完備され、英語があまり得意でなくてもセッションの内容はわかるようになっていました。 DeNAとVimCon

wonder-wall 2019/11/08

vim

リンク

Hadoop環境のクラウド移行 | BLOG - DeNA Engineering

IT基盤部の nodoka です。私の業務はWebサービスの運用が中心でしたが、数年前からHadoopを中心とした分散基盤環境のインフラも見るようになりました。当初は巨大なHadoop環境の管理を体系化して引き継ぐことと、運用における属人性を排除することが喫緊の課題でした。それが落ち着くと、ご多分に漏れずクラウド化を検討・推進するようになったので、その流れをまとめてみようと思います。 DeNAのHadoop環境と改善策 Hadoopが抱える課題 GCPへの移行 embulk利用におけるTips DeNAのHadoop環境と改善策 DeNAにおけるHadoop環境の歴史は古く、DeNAのほとんどのサービスが利用しています。各サービスでは分析したいログやDBのスナップショットをHadoopのファイルシステムであるHDFSに一旦置きます。そのHDFSに置かれたファイル群をHadoopを