こんにちは、FANTECH本部の山下(@takecy)です。 エンジニアリング活動の計測や可視化、難しいですよね。 そもそもそんな事が可能なのか？と思いつつも、自分たちはこんだけやっているぜ、1年前と比べてこんだけ改善したぜ、というのが見えるのは、ドラクエのレベルアップと同じような楽しさがあります。(ドラクエ3予約しました) 紆余曲折を経てエンジニアリング活動を計測/可視化した後、開発フローなどを見直したら、結果的に指標が思った以上に伸びたのが目に見えて、テンションが上がったお話をご紹介します。 計測と可視化方法 エンジニアリング活動の計測方法は色々ありますが、まずは王道のFourKeysを使ってやってみることにしました。 2022/03月ごろからこの試みを開始しました。 FourKeysとは 色々なところで言及されているので詳細な説明は省略しますが、ソフトウェア開発チームのパフォーマンス

目次 はじめに Colocation を意識した設計方針 Parallel Routes と Intercepting Routes を用いた設計パターン サーバー側に処理を寄せたことによる恩恵と課題 Next.js が抱える課題 おわりに 参考文献 はじめに ジャンプTOON のWeb版（以降、ジャンプTOON Web）の開発を担当している浅原昌大（@assa1605）です。 5 月にサービスを開始した「ジャンプTOON」は、オリジナル縦読みマンガ作品や人気作品のタテカラー版を連載する、ジャンプグループ発の新サービスです。 ジャンプTOON のフロントエンドには、Next.js を採用し開発をしています。 本記事では、Next.js の最新機能や設計パターン、Next.js を採用した恩恵と現在の課題について紹介します。 Colocation を意識した設計方針 Parallel Rou

目次 はじめに Next.js × GraphQL のサーバー間通信 Fastly でのコンテンツ配信とキャッシュ方針 vanilla-extract の採用とスタイリングシステム Chromatic による UI テスト / UI レビュー Datadog でのサービスモニタリング ジャンプTOON の CI/CD リリース戦略とブランチ運用の工夫 おわりに はじめに ジャンプTOON の Web 版（以降、ジャンプTOON Web）の開発を担当している2024年度新卒入社の鏑木 俊樹（かぶらき としき） @tosssssy_ です。 5 月にサービスを開始した「ジャンプTOON」は、オリジナル縦読みマンガ作品や人気作品のタテカラー版を連載する、ジャンプグループ発の新サービスです。 ジャンプTOON Web では Next.js App Router （v14.2）を採用して開発をしてお

ジャンプTOON アプリチーム 2024 年新卒の西峰です。 5 月にサービスを開始した「ジャンプTOON」は、Flutter を採用し Android, iOS, iPadOS 向けのアプリを提供しています。 本記事では、ジャンプTOON モバイルアプリのために独自に開発されたマンガビューワについて紹介したいと思います。 マンガビューワとは マンガ作品を閲覧できる機能です。 本アプリでは、快適に縦マンガを閲覧いただけるよう、スクロールや拡大縮小操作に工夫を加えています。また、作品の転載防止のため、画面録画、ミラーリングの禁止機能も存在します。（本記事では解説しません） ビューワを自作した目的 本アプリではビューワ機能を自作していますが、その目的はいくつかあります。まず、柔軟に独自の機能を追加しやすくするためです。連続して話を読んだり、お気に入りやコメント、いいね、拡大縮小といった要件を全

AWSのBYOIPがJPNICの割当IPアドレスに対応したので最速(?)でIPアドレスをAWSに持ち込んでみた CTO統括室の黒崎です。AWSのBYOIP(Bring Your Own IP Address)がJPNICの割当IPアドレスに対応したので、実際にIPアドレスを持ち込んで使ってみました！ 今回は社内ゼミ制度のインターネットゼミの活動の一環として検証しました。 ゼミの環境は商用環境と完全に分離されているため、わざとヘンな設定を入れてみたらどうなるのかも実験しました。 インターネットゼミについては以下をご参照ください。 インターネットゼミ開講のお知らせ ダークファイバーでOPEN.ad.jpと接続してみた #インターネットゼミ AWSのBYOIPとは BYOIP(Bring Your Own IP Address)とは、自社で割り当てを受けているIPアドレスを持ち込めるサービスです

背景 こんにちは！Hanoi Dev Centerでバックエンドエンジニアをしているminhquangです。この記事では、私がAI事業本部のある新規プロダクト開発に参画した際に経験したパフォーマンスチューニングについて話したいと思います。 皆さんはサービスのローンチ(サービスを世の中に初めて出すリリース)をやったことがありますか。サービスローンチするときに、リクエストのスパイクや、ユーザー数の増加によるサーバー負荷増加など、様々な未知な課題が存在します。 私のチームでは数百万人の利用が見込まれるサービスにおいて、18000RPSを実現するべく負荷試験とパフォーマンスチューニングを実施しました。 本記事では、上記のサービス要件を満たすために私たちが取り組んだ負荷試験やパフォーマンスチューニングについて説明しつつ、これらの経験から得られた学びを共有したいと思います。 前提 技術スタック サーバ

AI事業本部の協業リテールメディアdivでソフトウェアエンジニアをしている 中澤 といいます。直近では、プロダクト開発以外にAI 事業本部の新卒研修の運営を行なったりもしていました。 私が所属しているチームで最近、定期バッチを行うワークフロー管理ツールを AWS Step Functionsへ移行したので、移行の背景や得た知見を記事として公開します。 移行前の構成 私たちのチームでは、ワークフロー管理ツールを AWS Step Functions に置き換える前には、Prefect を使っていました。 Prefect に関しては、弊社ブログの別記事があるので、Prefect について知りたい方はそちらも参考にしてみてください。 Prefect を利用している時の構成では、Prefect 側でワークフローのスケジュール管理やワークフロー内のタスク実行を Prefect、実際のワークフローのタ

はじめに 近年、様々な分野で機械学習の利用が進む中、モデルの品質を担保し、継続的な学習を行うための施策が重要視されています。そのため、機械学習のためのDevOpsであるMLOpsの必要性が高まっており、AI事業本部でも研修内容に取り入れています。 より良いMLOpsを構築するためには、アプリケーションやインフラの知識も必要です。そのため、今年は昨年までと異なり、MLエンジニアだけでなくソフトウェアエンジニアも講義に参加しました。また、新たに実践編が加わり、より業務を意識した講義が追加されました。 Container編 基礎編 応用編 実践編 そこで、今回は研修で行われた各講義の資料を公開したいと思います。 Container編 Container編では、コンテナにまつわる技術に対しインデックスを張ることと、イメージ作成や運用時のTipsを学び実業務に役立てることを目的としています。 そのた

AI事業本部 協業リテールメディア Div. の青見 (@nersonu) です。2023年11月に中途で入社したため、5月でようやく入社半年を迎えました。社内 Slack の times で有給休暇が付与されて喜んでいる(？)様子を御覧ください。 有給休暇に喜ぶ筆者 そんな社歴半年のペーペーですが、普段は機械学習エンジニアと強い気持ちで名乗ってお仕事をしています。特にうまい繋ぎも思いつかないので、記事の本題に入りましょう。 近年、 LLM に関する話題は尽きることはありません。研究領域やビジネス領域といった概念にとらわれず、わたしたちの生活のすぐそばで、今まさに違和感が少しずつ取り除かれながら社会に溶け込んでいっていると感じます。そんな LLM ですが、自然言語というデータの枠に収まらず、様々なタスクへの適用の試みが日夜行われています。そんな挑戦的な数多あるトピックの中から「表形式データ

こんにちは．協業リテールメディアdivでデータサイエンティストをしています須ヶ﨑です．本日はLLMを用いて専門性の高いデータを読み解くというトピックをご紹介します． また，実際にオープンデータである気象データと，NYCタクシーデータを読み解く例をご紹介します． 専門性の高いデータの読み解きがスケールする嬉しさ 今回の記事での「専門性の高いデータ」とは，気象データや株価推移，POSデータ，時系列行動データ，車の運転データ，センサーデータなど，データ自体が直感的に理解しにくく，理解するためには一定の分析，及び，その読み解きを必要とするようなデータを指しています． さまざまなビジネスにおいて，色々な分野のデータが当たり前に集められるようになり，データの価値やその活用がとても重視されるようになってきています．これらのデータを基軸としたデータ分析によって、顧客のニーズを的確に把握し、効果的なマーケテ

AWS CodeBuildのGitHub Actions runnerサポートでLambdaが実行できるようになったので検証しました CTO統括室の黒崎(@kuro_m88)です。本日早朝に面白そうな発表を目にしました👀 AWS CodeBuild now supports managed GitHub Action runners AWS CodebuildがGitHub Actionsに対応したという内容ですが、要するにAWSがホストするGitHub Actions Runnerが出たということですね🎉 AWSがマネージしてくれることで、EC2(x64, arm)はもちろん、GPUとカスタムイメージも利用できるようです。 さらに注目したのはGitHub Actions RunnerとしてAWS Lambdaが使えるようです。Lambdaが使えると嬉しいポイントはActionsのjo

Cloud Run サイドカーで Fastly の Prometheus Metrics を収集して Grafana で可視化する はじめに こんにちは！ FANTECH 本部所属の川口です。 我々のチームでは、Google Cloud, AWS, Azure といったクラウドサービスの他、さまざまな XaaS を利用しています。 これらの metrics はそれぞれのサービスで可視化できるようになっている一方、それらを一元管理したいというモチベーションとコストパフォーマンスの観点から Grafana を自前で Cloud Run 上で運用しています。 Grafanaでは、主要なサービスであれば Grafana data sources を用いて簡単に連携することができますが、こちらに存在しない場合は別途どのように連携するかを考慮しなければなりません。 Fastly も、その内の一つで 2

はじめに 2023年12月より協業リテールメディアdiv.にてインターンシップをしています。早稲田大学大学院1年の澤木陽人です。大学院ではパターン認識や機械学習を専攻しており、今回のインターンでもML/DS職として参加しました。 本記事では、配属部署の取り組みと、私が実際に取り組んだ効果検証手法について紹介します。 アプリ運用カンパニーの取り組み インターンで配属されたのは、協業リテールメディアdiv.の中のアプリ運用カンパニーという部署のチームでした。アプリ運用カンパニーの役割は、大まかに言えば「小売業とタッグを組みながら効率的に広告配信を行うためのブレインとなる部署」です。 小売店舗では様々なメーカーが作った商品が販売されているため、当然メーカーは「自社の製品がよく売れて欲しい」と考えています。 ここで、小売業とサイバーエージェントが協力して作られた販売促進のためのデータ基盤が役に立ち

CTO統括室の黒崎(@kuro_m88)です。サイバーエージェントのエンジニアを中心に直近の半年で「みんなで金塊堀太郎」という施策を行い半年で億単位のコスト削減を実現できたので、どんなことをしたのか紹介します。また、社内の半期に一度の全社表彰で表彰されたので、サイバーエージェントの表彰の文化についても触れたいと思います。 「みんなで金塊掘太郎」とは？ メディア事業管轄で「金塊堀太郎」という施策を過去実施しており、それを全社に展開したのが「『みんなで』金塊堀太郎」という施策です。具体的には、社内のエンジニアが主体となって主にシステムコスト削減のアイデアを出し合い、それを実行するものです。 「金塊堀太郎」という名前の由来は把握していませんが、社内Slackに絵文字があり一定の知名度があったと思われるため、全社展開においてもこの名前が採用されました。 社内の偉い人たちが真顔で「金塊堀太郎が〜」と

この記事は CyberAgent Developers Advent Calendar 2023 21日目の記事です。 こんにちは、CyberAgentのシステムセキュリティ推進グループ（以下、SSG）に所属している小笠原です。 本記事では生成AIをセキュリティの業務に導入し運用課題を改善していった取り組みについて共有させて頂きます。 生成AI x セキュリティ 生成AIというテクノロジーはセキュリティ業界でも非常に注目されています。 今年の10月に発表されたガートナーのセキュリティハイプ・サイクルでは、黎明期に「サイバーセキュリティ向け生成AI」が登場しました。 https://www.gartner.co.jp/ja/newsroom/press-releases/pr-20231018 私が所属している技術チームでは、「テクノロジーでセキュリティの課題解決を行う」ことをミッションにし

はじめに ABEMAは、配信するコンテンツのジャンルや作品数が多いことが特徴です。 それらのコンテンツをどのように構造化し、モデリングするかは、UIの表現や使いやすさに大きな影響を与えます。 2016年に開局して以来7〜8年が経過し、複雑化した概念モデルとUIを改善するためにコンテンツモデルに焦点を当てました。 本プロジェクトのリードとデザイナーを務めた @skskeee が記事を執筆しています。 従来のコンテンツモデル ABEMAは元々地上波テレビのようなリニア型の編成を実現していました。その後にビデオオンデマンド型の配信を追加し、近年ではPPVなどの新たな配信形態も生まれています。 当初設計した構造としては、シリーズ、シーズン、エピソードといったシンプルなコンテンツモデルでした。 しかしながらABEMAの配信コンテンツはアニメやドラマなどの「ストーリーもの」だけではなく、バラエティ、ス

この記事は CyberAgent Developers Advent Calendar 2023 12日目の記事です。 はじめに CIU (CyberAgent group Infrastructure Unit) の西北（@nishi_network）です。 普段はプライベートクラウド (Cycloud) や機械学習基盤の運用、それに伴う開発業務に従事しています。 今回は、サイバーエージェントの生成AI開発を支える裏側にフォーカスを当て、機械学習基盤の設計や運用、また最新のNVIDIA H100 機械学習基盤構築プロジェクトの裏側について紹介していきます。 サイバーエージェントの機械学習基盤 サイバーエージェントでは、社内向けにAI用途向け機械学習基盤をパブリッククラウド環境だけではなくオンプレミス環境でも運用しています。これらは全社組織であるCIUが運用しており、データセンターの運用か

はじめに 2023年9月の1ヶ月間、AI事業本部協業リテールメディアディビジョンにて、「CA Tech JOB」というインターンシップに参加した東京大学大学院経済学研究科修士1年の西田鴻志です。 本記事では、インターンシップ中に取り組んだ、短期で観測できる指標を活用した長期的な処置効果の推定と、その小売データ分析への応用について紹介します。 背景 施策の効果検証において、その長期的な影響について関心があることは多いと思います。例えば、あるマーケティング施策について、施策直後の売上といった短期の影響だけでなく、顧客生涯価値（LTV）といった長期的な影響を知りたいというニーズがあります。協業リテールメディアディビジョンにおいても、施策の長期的な効果を評価するための分析は行われていました。 長期的な効果を分析するときには、分析に必要なデータを観測するために時間がかかるという課題があります。これに

ML監視は従来のソフトウェア開発の監視要素に加え、モデルや予測値、データに関する監視が必要とされています。 監視の優先順位 上述のようにML監視項目は数多くあり、いきなり全ての監視項目を導入するのは難しいです。 クラウドベンダー各社のMLOpsの成熟度モデル [3]のように、ML監視も段階的に取り組んでいくことが望ましいと言えます。 A Comprehensive Guide on How to Monitor Your Models in Productionの記事ではGoogleのMLOps成熟度モデルに合わせた監視項目を取り上げています。 引用: A Comprehensive Guide on How to Monitor Your Models in Production [4] EVIDENTLY AIが公開してるMonitoring ML systems in product

CTO統括室の黒崎(@kuro_m88)です。今回はAWS Lambdaの高速なコンテナロードの仕組みについて紹介します。 AWS Lambdaはサーバレスなマネージドサービスであり、難しいことを知らなくてもユーザ(私たち)は簡単にアプリケーションをホストでき、簡単にスケールします。 ユーザから見るとシンプルですが、その裏側では様々な仕組みがあったり最適化が行われたりしています。 マネージドサービスの裏側を必ずしも知る必要はありませんが、仕組みを知っておくとより使いこなせるはずですし、自信を持って技術選定ができるはずです。(そして何より裏側を知ることは楽しい！🤗) 本記事はUSENIX ATC 2023で発表された論文「On-demand Container Loading in AWS Lambda」の内容に基づいて、読んでいて面白かったポイントをまとめています。 On-demand