Apache Beamの概観を理解する | BLOG - DeNA Engineering
こんにちは！@karupaneruraです。 自分のことはPerlの人として知ってもらっている方が多いかと思いますが、今回はJavaの記事を書いてみます。 今回の記事では、「Apache Beamについて調べたけどよくわからなかった」「Apache Beamはなんとなく分かるような気がするけどサンプルコードを多少書き換える範囲から抜け出しきれない」「理解をもう一歩進めて複雑なパイプラインも記述できるようになりたい」という方に向けて、どのようにBeam SDKをつかってどのようなことができるのか、その概観を掴んでもらえるようなところを目標にしています。 なお、分かりやすさのために説明を一部端折ることで不正確な部分が一部出てくるかと思いますが、この概観を掴んだあとに公式ドキュメントを読むなどして補完・修正していただけますと幸いです。 Apache Beamのご紹介 特にApache Beamを
JJUG CCC 2022 fallに登壇してきました | BLOG - DeNA Engineering
はじめに こんにちは。ソリューション事業本部ゲームアライアンス事業部プラットフォーム開発部の金川( @orekyuu )です。 先日 JJUG CCC 2022 fall で「Fargate上のJVMからCPUを認識するまで 〜正しく認識されないCPUの謎を追え〜」というタイトルで、JVMがコンテナ内からどのようにCPU数を認識しているのかを話しました。 この記事では発表の内容のまとめと、2022年12月現在のコードでの違いについて紹介します。 直面した課題 JavaアプリケーションをECS on Fargateで運用を始めるに当たり1タスクでどれだけの負荷を捌けるかのテストを行うために JavaFlightRecorder を使って詳細なメトリクスを取っていたところ、G1GCになっていることを期待していましたが意図せずSerial GCが有効になっていることに気付きました。 Serial
自然言語処理の最先端Transformerを集合生成に応用する【逆転オセロニア】 | BLOG - DeNA Engineering
はじめまして。9月初旬より約半月にわたり、AIエンジニアコースのインターンに参加させていただいた清水と申します。大学院は情報系の専攻で、最近は幾何学的な深層学習に関する研究に取り組んでいます。その過程で言語的なタスクを出口に用いることも多く、副次的に深層学習を利用した自然言語処理にも多少明るかったりします。 題目にあるTransformerとは、そうした分野にてここ数年にわかに注目を集めている仕組みの名です。自然言語処理の最先端研究ではまず流用されないことなどない、いわば伝家の宝刀レベルのモデルといってよいでしょう。 本記事ではこれを『逆転オセロニア』というゲームのデッキ編成に特化させ、現行手法よりも表現力に富んだ編成システムを実現した経緯についてお話しできればと思います。『日進月歩で強力になっていく機械学習手法の恩恵に与りたいけれど、所望の問題設定にドンピシャな手法なんてそうそうなくて思
DeNAのリアルイベントの舞台裏〜ネットワーク構築編 | BLOG - DeNA Engineering
はじめに こんにちは、IT基盤部の兵藤です。 主に社内ネットワークのインフラを担当しています。 弊社では、DeNA TechConなどの技術系イベント、Pocochaで開催しているリアルイベントなどを主催しており そのイベント会場のネットワーク構築は我々（IT基盤部ネットワークグループ）が行っています。 今回のブログでは、そのイベントの舞台裏となる 会場ネットワーク構築の手順などをお伝えしていこうと思います。 イベントのネットワーク構築の流れ イベントのネットワーク構築は ざっとこのような手順で行っていきます。 イベント会場のネットワーク状況の把握 ネットワーク設計 キッティング 当日の構築 一つずつ簡単に説明していきます。 1.イベント会場のネットワーク状況の把握 まずはイベント会場のネットワーク状況について把握する必要があります。 会場によって既設の設備も様々であり、利用させてもらえる
メールを送信する話 | BLOG - DeNA Engineering
こんにちは、IT基盤部の中村です。 主に社内システムのインフラを担当しています。 現在の業務内容とは少しずれてしまいますが、最近までメール系のインフラには深く携わっていたこともあり、今回はメールシステムについてお話します。 今どきSMTPなどレガシーな話かもしれませんね。しかしながら良くも悪くも枯れたSMTPはインターネット基盤の根底に位置する息の長い技術でもあります。 きっとみんなまだ使ってるはずなのに、あまりノウハウが出回っていないのが辛いと感じているそこの担当者の方、よろしければ少しの間お付き合いください。 サービスでのメールの利用用途 我々がサービスとしてメールを取り扱うとき、その主だった利用用途は下記の2つです。 メールマガジンなどの情報発信 入会・ユーザ登録時などのユーザ存在確認 メールマガジンはユーザーに情報を新たに届けたり、あらたに弊社の別のサービスに触れて頂く機会を提供す
ISUCON8予選問題においてPerl実装で25万点を突破する方法 | BLOG - DeNA Engineering
この記事は DeNA Advent Calendar 2018 の15日目の記事です。遅刻! こんにちは、 @karupanerura です。今日はDeNAが問題提供したISUCON8予選に関する話です。 ISUCONとは ISUCON はIiknajini Speed Up CONtestのことで、Webアプリケーションのチューニング技術を競うコンテストです。 競技開始時刻にそれまで秘密にされていたあるアプリケーションがチームごとにサーバーごとまるっと渡されて、それを制限時間内にどこまでチューニングできるかを競います。 サーバーでは参照実装としてある仕様を満たしたアプリケーションが動いていて、その外部仕様を崩さずに（外見上）同様の挙動をするアプリケーションをそれぞれのチームがチューニングしていきます。 そして、ベンチマーカーをチームごとに実行すると仕様や整合性のチェックとパフォーマンス計
JSONデータ圧縮方式をSnappyからzstdに切り替えた事例紹介 | BLOG - DeNA Engineering
JSONデータ圧縮方式をzstdに切り替えデータ量を38.3%削減した事例、及びマイクロサービスの無停止アップデート事例について紹介したいと思います。 はじめに JPRゲーム事業本部開発基盤部の池田周平です。先日 Rails5対応についてDeNA techブログに投稿 した@namusyakaと同じチームで働いています。 JSON文字列をRDBに格納する際の圧縮フォーマットをSnappyからzstdに切り替え、データ量を削減した事例を紹介したいと思います。本対応を実施した目的はDB負荷対策です。DBで扱うデータをより小さくすることで、DBサーバのDiskI/O負荷とMaster-Slave間のレプリケーション遅延対策を目的としています。 「Sakasho」は、DeNAが持つモバイルゲームのためのプラットフォームです。複数タイトルのゲームを取り扱っており、一部データはゲーム毎の仕様差を吸収し
「入門Jenkins」を執筆しました | BLOG - DeNA Engineering
こんにちは太田と申します。 DeNA内でも様々なチームで活用されているCIツールであるJenkinsに関する書籍「入門Jenkins」を執筆いたしました。本日9/24から発売中です。 http://www.shuwasystem.co.jp/products/7980html/3530.html 元々、JenkinsはJavaで開発されていることからJavaEEを始めとするエンタープライズ・アプリケーション開発の分野で広く利用されていましたが、現在はAndriodやiOSのようなスマートフォン・クライアント・アプリケーション、PerlやRubyのようなLeightweight Languageでのサーバーサイド・アプリケーションなどの開発でも広く利用されています。 しかし、上記のJavaEE以外の領域では情報がWeb上に散在している状態でまとまったものがなく、私自身も社内でPerlやJav
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
