AWS ECS on Fargate + FireLens で大きなログが扱いやすくなった話 | BLOG - DeNA Engineering
はじめに コンテナオーケストレーションサービスの一つである AWS ECS on Fargate (以下 ECS on Fargate) では、FireLens を利用することで、コンテナが出力するログを簡単に任意のログ基盤へ送信できます。 しかし、FireLens を通じてコンテナのログをルーティングする場合、16 KB 以上のログは分割された状態でログルーティング用のコンテナに到達します。構造化ログを実現するためにアプリケーションが JSON などの形式でログを出力している場合、ログを分割される前の状態に復元する必要があります。 この記事では、FireLens とは何かをおさらいした上で、上記の問題の背景を解説します。また、この問題の解決策についてこれまで知られてきた方法と、最近の ECS on Fargate のアップデートにより利用できるようになった方法を解説します。それにより、読
SWET | TEAM - DeNA Engineering
SWETグループの属する品質本部は、ゲーム・ソーシャルライブ・ヘルスケア・スポーツなど様々な事業を展開し続けるDeNAグループ全体の様々な品質にコミットしている部署です。その中で、SWET（SoftWare Engineer in Test の略）グループは、ソフトウェアテストを起点とした、「DeNA サービス全般の品質向上」と「DeNA エンジニアの開発生産性向上」の両方により、価値あるものを素早く提供できるようにすることをミッションとしています。 近年、アプリケーションには高機能さが求められるようになり、かつ開発サイクルは徐々に短くなってきています。それに伴い、ソフトウェアの品質を担保するための「テスト自動化」の重要性が高まっています。テスト自動化をすることで、バグを早期に発見して取り除き高い開発生産性を実現できます。 そのため、開発現場の中に入り込んでいき、開発者と共に早期にバグを検
次世代データベース TiDB の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering
※こちらは先日実施された DeNA インフラエンジニア / SRE MEETUP で話した内容を Blog 記事化したものです！ こんにちは！IT基盤部の熊谷です。IT基盤部にて大規模ゲームのインフラを見ている 新卒２年目のインフラエンジニアです。この記事では “DeNA でのデータベース運用とそのツラミ” と、“TiDB導入への検証・検討” をご紹介させていただきます。 データベースの最適解 DeNA のデータベース構成は最適解を求めて改良を積み重ねてきました。最初期の構成、(便宜上、第１世代と呼びます) では VM Instance 上に MySQL を構築し管理する MySQL on EC2 構成。続く第２世代では、マネージドサービスを駆使した Aurora MySQL 構成。この２世代の中で生じた “ツラミ” を解消する次の世代、言わば 第３世代に該当する新しいデータベース構成を現
![次世代データベース TiDB の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7a9ef2e383cbfc8885ee9e5572b0b143267e771/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2022%2F01%2Finfra-meetup-tidb%2Fcover.png)
DeNA 本社移転でネットワーク構築・移行作業を実施しました | BLOG - DeNA Engineering
はじめに こんにちは、IT 基盤部ネットワークグループの片桐です。 DeNA グループ全体のネットワークの管理、運用等を行っています。 今年8月、DeNAは本社拠点を渋谷ヒカリエから、WeWork渋谷スクランブルスクエアに移転しました。 この移転は我々としても、大きなプロジェクトでした。せっかくなので、オフィスネットワークにおける移転の裏側を紹介致します。 DeNAオフィス移転におけるネットワーク WeWorkへの移転であれば、ネットワークもWeWorkの設備を使うのでは、と考えられた読者もおられるのではないかと思います。 最初に移転プロジェクトメンバーと新オフィスのネットワークについて議論しましたが、 渋谷ヒカリエで運用していたネットワークと同じレベルの帯域・ネットワークの安定性・クラウドとの内部通信・ネットワークセキュリティ・ネットワーク運用体制の維持、 これら全てが必須要件でした。
CTOが訊く#2 Rails Committer と DeNA | BLOG - DeNA Engineering
CTOが訊く#2 Rails Committer と DeNA 「CTOが訊く」は、DeNA CTO の @nekokak（ねこかく）こと小林 篤が、社内のメンバーに、その人となりや仕事っぷり、そして野望を訊く、というコーナーです。 第2回の対談ゲストは、@kamipo（かみぽ）こと上薗 竜太。 Full-Time Rails Committer としての入社 ▲左から、@kamipo：上薗 竜太、@nekokak：小林 篤 @nekokak 今日は「CTOが訊く」へ、Rails Committer である kamipo さんに来ていただきました。よろしくお願いします。 @kamipo お願いします。 @nekokak この「CTOが訊く」は、DeNA で活躍しているスペシャリティの高いエンジニアの人から色々と話を訊きながら、DeNA でどういう活躍をしているか伺って深堀りをしていく、とい
大規模Email配信システムのクラウドジャーニー | BLOG - DeNA Engineering
こんにちは、AI 基盤部の大谷です。 最近は兼務で MLOps 以外にも様々なシステムを構築しています。 弊社では全社的にオンプレミスからクラウドに、よりマネージドに寄せていこうという大きな指針が定められています。 (参考: フルスイングの記事 ) しかし、古くから運用されているサービスなどでは、未だにオンプレミスで構築されているものも少なくありません。 また、クラウドにホストされている場合でも、マネージドサービスを完全に活用しきれていない場合もあり、EC2 ベースの IaaS な構成はまだまだ多く存在しています。 とあるサービスでも、クラウド化はされているものの、マネージドサービスを活用しきれていないメール配信システムが運用されていました。 一般にメール配信システムは、挙動の違う複数のメールプロバイダにスムーズに配信するために多くのことを気にする必要があり、その分管理コストも高くなりがち
若手から見たリモートワーク時代のチームビルディング | BLOG - DeNA Engineering
2020 年 4 月にコロナの影響による緊急事態宣言が発令されて久しい今日この頃ですが、多くの会社でリモートワークが余儀なくされ働き方が大きく変わりました。 DeNA がリモートワーク可能な体制へと迅速に切り替えていく中で、私自身リモートワークによる業務が9割以上を占めました。私や私の所属するチームだけでなく日本中でも働くことに対する考え方が大きく変わるタイミングだったのではないでしょうか。（DeNAでは緊急事態宣言が発令される前には全社的にリモートワークがすでに可能なレベルにまで整備され、とてもスピーディーにリモートワークへと移行できました。制度や勤務体制など様々な整備をしてくださったことにとても感謝しています。） その中で、私たちがチームのコミュニケーションや課題を改善するためにどう工夫したのかをお伝えすることで読んでくださる方のチームのチームビルディングの一助にして欲しいと願っていま
Python - クラス理解への道（罠にはまらないために） | BLOG - DeNA Engineering
システム本部CTO室のeveresです。 今年は、とあるインタビュー記事でディスクリプターについて触れてから、remote.py、PyConJP 2020 Onlineと、続けてPythonの属性について話してきました。 締めくくり…と気合を入れたいところですがAdvent Calendarですので、本エントリーではあまり踏み込まずさわりだけを紹介します。 読んでみて動作を理解していなかった人やクラス生成のカスタマイズなど踏み込んで知りたい方は、PyConJP 2020 Onlineの資料をたどってみてください。末尾にリンクを記載しておきます。 このエントリーは DeNA Advent Calendar 2020 の5日目のエントリーです。 では、始めましょう。 動作環境など 本エントリに登場するサンプルのコードは次の環境で動作を確認しています。 macOS: 11.0.1 Python:
自然言語処理の最先端Transformerを集合生成に応用する【逆転オセロニア】 | BLOG - DeNA Engineering
はじめまして。9月初旬より約半月にわたり、AIエンジニアコースのインターンに参加させていただいた清水と申します。大学院は情報系の専攻で、最近は幾何学的な深層学習に関する研究に取り組んでいます。その過程で言語的なタスクを出口に用いることも多く、副次的に深層学習を利用した自然言語処理にも多少明るかったりします。 題目にあるTransformerとは、そうした分野にてここ数年にわかに注目を集めている仕組みの名です。自然言語処理の最先端研究ではまず流用されないことなどない、いわば伝家の宝刀レベルのモデルといってよいでしょう。 本記事ではこれを『逆転オセロニア』というゲームのデッキ編成に特化させ、現行手法よりも表現力に富んだ編成システムを実現した経緯についてお話しできればと思います。『日進月歩で強力になっていく機械学習手法の恩恵に与りたいけれど、所望の問題設定にドンピシャな手法なんてそうそうなくて思
Cloud Functions をローカル環境で統合テスト可能にした話 | BLOG - DeNA Engineering
はじめまして。AIシステム部MLエンジニアリンググループ で学生インターンをしている 早坂( @takemioIO ) です。 普段はパケット処理などをやっているのですが、縁あってここでは MLOps の通常業務に携わっております。 私は二ヶ月間インターンとして開発に取り組んでいました。ここではその実装物の一つを紹介します。 この AI システム部 のとあるプロジェクトでは、 Cloud Functions と Cloud Pub/Sub を利用したデータパイプライン を構築しております。 そのプロジェクトは毎日のように変更が取り込まれ、非常に開発が盛んですが一方それゆえに破壊的な変更で足を撃ち抜いてしまいそれによって悩まされることがありました。 さらにはクラウドサービスを利用してるという部分からローカルでの検証環境がありませんでしたので、毎回 GCP に デプロイするしかなく、トライアン
同期に打ちのめされてから、立ち直るまでの話 （研修振り返りレポート） | BLOG - DeNA Engineering
― 「人と比べるな。なりたい自分を目指せ」 目次 入社当日 エンジニア研修で同期の実力に驚愕 人と人は比べられない 自分で目標を立て、その達成のために全力を注ぐ 考えが変わったあと 研修を振り返って 入社当日 「人と比べるのだけはやめなさい。私の新人時代は人と比べて2年間無駄にした」 入社当日に南場さんにいわれた一言です。当時の私は「ふむふむ、なるほど」と、相槌を打って理解し、納得したような顔で聞いていました。 でも、実行に移せるかどうかはまた別問題で、この言葉の重みを思い知ったのは後のエンジニア研修でした。 エンジニア研修で同期の実力に驚愕 入社前から、何人かのエンジニアとは話をしたことがあったので、同期のレベル感はなんとなく察していました。総じて高いだろう、と。 その予想は大きく裏切られました。驚愕するレベルで同期の技術レベルが高かったのです。 起業経験があったり、 サービスをほとんど
未経験者が不明点を徹底的に潰し、SREとして急速成長した話 | BLOG - DeNA Engineering
こんにちは。IT 基盤部の小池です。 2020年8月5日(水) に開催された、 bit valley 2020 プレイベント | bit valley 2020 プレイベント 20代で圧倒的成長を目指すエンジニア ～これが私のグロース戦略～ に登壇してきたので、その報告をします。 発表内容 上記が、当日の発表資料です。 以下で簡単に内容を紹介したいと思います。 開発経験なしからどのようにキャッチアップしてきたか 入社当時から “開発経験もない” “年齢も高い” と、自分にはネガティブな点が多いと思っていたので、 成果を出しつつ効率的にキャッチアップしていかなければならないと思っていました。 そこで、「積極的に手をあげる」-> 「わからないを徹底的に潰す」->「タスクの完成度を上げる」というサイクルでタスクを回していました。 こうすることで、成果を出すこととキャッチアップすることを並列でこな
研修生が開催したTech Talk「今後の業務で皆に役立ちそうな技術」ベスト4を紹介します! | BLOG - DeNA Engineering
2020.07.21 新卒研修振り返りレポート 研修生が開催したTech Talk「今後の業務で皆に役立ちそうな技術」ベスト4を紹介します! by Naoto Ishida Kenichi Ebinuma Takuto Sato Yuto Teruya Yaya Watanabe 20新卒エンジニア研修を終えた渡部椰也です。 この記事では、先日まで行われていたエンジニア研修にて行った Tech Talk と呼ばれる勉強会についてご紹介します！ 今後の業務で皆にとって役立ちそうな話題であること 縦横のエンジニア社員とのつながりを作るという目的のもと、各現場のエンジニアに事例をヒアリングしながら資料を作ること Tech Talk では、これらを条件にトークの内容を考え、新卒エンジニア24名がプレゼンを行いました。 テーマ一覧をみてみると、多種多様なテーマが集まっていることが分かると思います。
VPN との終わりなき戦い 〜怒濤の全社テレワーク編〜
こんにちは、IT 基盤部第三グループのジュンヤと申します。 前回 は、日本と中国の間の VPN 接続に発生した問題とその解決について紹介しました。あれから約1年が経とうとしていますが、今回も VPN がテーマです。そうです、偶然にもまたも VPN です。 DeNA の テレワーク状況 DeNA は6月19日現在、出社率がなんと5%！という、ほぼ全社テレワーク状態で稼働を続けています。この背景には、ごく短期間で、VPN 接続数が150から2500へと約16倍に急増した、という事実がありこの記事はその戦いの記録を綴ったものになります。(なお、5月の出社率は2%でした) DeNA の VPN 構成 VPN とは Virtual Private Network の名の通り、仮想的な専用線(プライベートネットワーク)を構成する技術です。この VPN を使うことで自宅や外出先であっても安全に社内 LA
DeNAのマシンラーニングをささえるアノテーションシステム | BLOG - DeNA Engineering
この記事では、DeNAでのコンピュータービジョン関連の機械学習のためのデータ生成処理方法について説明します。 主に、内製のアノテーションシステム「Nota」の開発とそのシステムと全体のMLワークフローに統合する方法について取り上げます。現在のソリューションに到達するため、私たちが行ったいくつかの決断、および解決しなければならなかった課題について説明します。 はじめまして、アラマ・ジョナタンです。現在DeNAのシステム本部で、分析推進部ソリューションエンジニアリンググループとAIシステム部MLエンジニアリンググループを兼務しているメンバーです。小さいチームでデータ関連の課題を解決するためのアプリケーションやツールの開発と運用をしています。 正確なデータを取得する問題 近年、AIには多くの進歩があり、それらの多くはコンピュータビジョンに関連しています。コンピュータは画像や動画にある内容を理解で
Auroraの高速フェイルオーバーと無停止での切り替え | BLOG - DeNA Engineering
こんにちは、IT基盤部の川原﨑です。 私の所属する第四グループでは、超大規模ゲームタイトルおよびゲームプラットフォームのインフラを運用しております。 そこでのAuroraの高速フェイルオーバーの仕組みと、実際に無停止で切り替えを行った手順について紹介させていただきます。 はじめに 第四グループでは、コストコントロールの一環でInstance数の増減・Instance Typeの変更を頻繁に実施しています。 例えば、 イベントなどでリクエスト増加が見込まれるときにInstance数を増やす、またはInstance Typeを1つ上のものに変更する リクエストが減少傾向にあれば、Instance数を減らす、またはInstance Typeを1つ下のものに変更する などです。 これはWebサーバだけにとどまらず、DBサーバについても同様です。 EC2上でMySQLを運用している環境では、フェイル
メールを送信する話 | BLOG - DeNA Engineering
こんにちは、IT基盤部の中村です。 主に社内システムのインフラを担当しています。 現在の業務内容とは少しずれてしまいますが、最近までメール系のインフラには深く携わっていたこともあり、今回はメールシステムについてお話します。 今どきSMTPなどレガシーな話かもしれませんね。しかしながら良くも悪くも枯れたSMTPはインターネット基盤の根底に位置する息の長い技術でもあります。 きっとみんなまだ使ってるはずなのに、あまりノウハウが出回っていないのが辛いと感じているそこの担当者の方、よろしければ少しの間お付き合いください。 サービスでのメールの利用用途 我々がサービスとしてメールを取り扱うとき、その主だった利用用途は下記の2つです。 メールマガジンなどの情報発信 入会・ユーザ登録時などのユーザ存在確認 メールマガジンはユーザーに情報を新たに届けたり、あらたに弊社の別のサービスに触れて頂く機会を提供す
オンプレとクラウドのネットワークの話 | BLOG - DeNA Engineering
IT基盤部エンジニアブログリレー第4回目。 こんにちは、IT基盤部ネットワークG torigoe です。 オンプレとクラウドのネットワークをどう繋げるのか、クラウド内のネットワークをどうするのか考えた話を書きます。 多くの内部サービスを持っていて、オンプレからクラウドに移行を検討しているネットワークエンジニアの人に読んで頂ければと思います。 はじまり 2018年ある日、mtgに呼ばれて急に DeNAのインフラ全てをオンプレからパブリッククラウド(しかもマルチ)に変えようと思うがどうよ？ と言われました。正直その日まであまりパブリッククラウドサービスを触った事がありませんでしたが、説明された内容には納得できたのでそんな事は噯にも出さず同意し、次の日からオンプレ-クラウド移行の為に必要なネットワークの検討を開始する事になりました。(元々Openstackは触ってました) まずはAWSを色々と触
ISUCON8予選問題においてPerl実装で25万点を突破する方法 | BLOG - DeNA Engineering
この記事は DeNA Advent Calendar 2018 の15日目の記事です。遅刻! こんにちは、 @karupanerura です。今日はDeNAが問題提供したISUCON8予選に関する話です。 ISUCONとは ISUCON はIiknajini Speed Up CONtestのことで、Webアプリケーションのチューニング技術を競うコンテストです。 競技開始時刻にそれまで秘密にされていたあるアプリケーションがチームごとにサーバーごとまるっと渡されて、それを制限時間内にどこまでチューニングできるかを競います。 サーバーでは参照実装としてある仕様を満たしたアプリケーションが動いていて、その外部仕様を崩さずに（外見上）同様の挙動をするアプリケーションをそれぞれのチームがチューニングしていきます。 そして、ベンチマーカーをチームごとに実行すると仕様や整合性のチェックとパフォーマンス計
サブカルのためのword2vec | BLOG - DeNA Engineering
はじめに AIシステム部AI研究開発グループ アルバイトの五十嵐です。（ @bonprosoft, ポートフォリオ：http://vbcpp.net/about/ ） 現在、東北大学大学院の修士1年で、大学院では（自然言語ではなく）高速な文字列処理アルゴリズムに関する研究を行っています。 私は2017年9月上旬から3週間ほど、アルバイト兼インターンとしてハッカドールチーム内のNLPのタスクに取り組んでいました。 その後はアルバイトとして、期間中にできなかった追加実験と実際の製品への適用に取り組んでいます。 取り組んだタスク 突然ですが、みなさま、ハッカドールはインストールされていますか？ ハッカドールは、主にサブカルチャーに関する記事に特化した、ニュースアプリケーションです。 アプリケーション内のユーザーのクリックや「ホシイ/イラナイ」などのアクションを通して、ハッカドールがユーザーの好み
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
