サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
掃除・片付け
developers.cyberagent.co.jp
協業リテールメディアdivでデータエンジニアをしている千葉です。 本日は、広告プロダクトにおけるデータ基盤を効率よく活用することを目指したこの1年間を振り返って、データ基盤から広告プロダクトの価値を高めるための試行錯誤をご紹介します。 目次 データ基盤の構成紹介 データ基盤の活用および運用方法 手動作業での事故が起きないCI/CD構築 実験ができる環境の提供 コストの確認および監視 定期的な棚卸し データ基盤の民主化をした結果と課題 まとめ データ基盤の構成紹介 以前弊社のイベントに登壇した際の設計思想をもとに構築をしています。 このデータ基盤の利用目的としては、各広告媒体の配信結果を分析するための基盤となっています。 基盤の構成としてはStorageにRaw Dataを格納し、Datalake、DWH,Datamartの3層構造で基盤を構築しています。 主に使用しているツール/サービスと
こんにちは.協業リテールメディアdivでデータサイエンティストをしています須ヶ﨑です.本日はLLMを用いて専門性の高いデータを読み解くというトピックをご紹介します. また,実際にオープンデータである気象データと,NYCタクシーデータを読み解く例をご紹介します. 専門性の高いデータの読み解きがスケールする嬉しさ 今回の記事での「専門性の高いデータ」とは,気象データや株価推移,POSデータ,時系列行動データ,車の運転データ,センサーデータなど,データ自体が直感的に理解しにくく,理解するためには一定の分析,及び,その読み解きを必要とするようなデータを指しています. さまざまなビジネスにおいて,色々な分野のデータが当たり前に集められるようになり,データの価値やその活用がとても重視されるようになってきています.これらのデータを基軸としたデータ分析によって、顧客のニーズを的確に把握し、効果的なマーケテ
こんにちは。協業リテールメディアdivでデータサイエンティスト、プロダクトマネージャーをしております早川です。本日はABテストにまつわるトピックを紹介します。 はじめに とあるマーケティングコミュニケーションを介入とみなしたとき、一つの介入が異質性を持っていたり、複数のアウトカムに影響を及ぼすことは容易に考えられます。例えば缶ビールのクーポンを配布して、各消費者の缶ビールの平均購買点数が増えるかを検証する状況を考えます。このとき、ビールを好む消費者の購買点数が増えた、普段飲酒をしない消費者の購買点数は0本のままで影響がなかった、という状況が直感的に想像がつきます(異質性)。また、ビールの購買点数に加えて、おつまみ類の購買点数も増えるかもしれません(複数アウトカムへの影響)。 この介入の効果検証をABテストを通じて行うとき、異質性や複数アウトカムへの変化を含む、なるべく多くの変化を正確に捉え
AWS CodeBuildのGitHub Actions runnerサポートでLambdaが実行できるようになったので検証しました CTO統括室の黒崎(@kuro_m88)です。本日早朝に面白そうな発表を目にしました👀 AWS CodeBuild now supports managed GitHub Action runners AWS CodebuildがGitHub Actionsに対応したという内容ですが、要するにAWSがホストするGitHub Actions Runnerが出たということですね🎉 AWSがマネージしてくれることで、EC2(x64, arm)はもちろん、GPUとカスタムイメージも利用できるようです。 さらに注目したのはGitHub Actions RunnerとしてAWS Lambdaが使えるようです。Lambdaが使えると嬉しいポイントはActionsのjo
こんにちは、CyberFight DX 事業本部で web フロントエンドエンジニアをしている久保です。CyberFight DX 事業本部は複数のエンタメサービスを開発、運用するFANTECH本部に所属しています。今回は、管理画面を対象に WebAssembly ( Wasm ) を導入した事例をご紹介します。 FANTECH 本部では技術ブログでの発信を強化しており、最近では下記のような記事を投稿しています。ぜひご一読ください。 Cloud Run サイドカーで Fastly の Prometheus Metrics を収集して Grafana で可視化する reminder-lintでFeature Flagsの削除漏れを防ぐ マルチリージョンで稼働する内製Feature Flagsの実装 私たちのプロダクト WRESTLE UNIVERSE では、ユーザー対象のキャンペーンを実施す
Cloud Run サイドカーで Fastly の Prometheus Metrics を収集して Grafana で可視化する はじめに こんにちは! FANTECH 本部所属の川口です。 我々のチームでは、Google Cloud, AWS, Azure といったクラウドサービスの他、さまざまな XaaS を利用しています。 これらの metrics はそれぞれのサービスで可視化できるようになっている一方、それらを一元管理したいというモチベーションとコストパフォーマンスの観点から Grafana を自前で Cloud Run 上で運用しています。 Grafanaでは、主要なサービスであれば Grafana data sources を用いて簡単に連携することができますが、こちらに存在しない場合は別途どのように連携するかを考慮しなければなりません。 Fastly も、その内の一つで 2
こんにちは、FANTECH本部の前田(@arabian9ts)です。 以前、マルチリージョンで稼働する内製Feature Flagsの実装で、Feature Flagsをどのように利用しているかをご紹介しました。 今回は、Feature Flags自体の運用をどうしているか?について、ちょっとした工夫を紹介します。 使わなくなったFeature Flagsを消し忘れると? 削除を忘れると、大まかに次の課題が発生します。 コード上の認知負荷が上がる ネットワークI/Oが発生するFeature Flagsシステムの場合、システムパフォーマンスに影響する つまり、Feature Flags自体の運用にも配慮する必要があります。 また、Feature Flagsの管理システムと、クライアントとなるコードベースが分離されている場合だと、使われているフラグなのかを認識するのが大変になります。 管理方法
はじめに 2023年12月より協業リテールメディアdiv.にてインターンシップをしています。早稲田大学大学院1年の澤木陽人です。大学院ではパターン認識や機械学習を専攻しており、今回のインターンでもML/DS職として参加しました。 本記事では、配属部署の取り組みと、私が実際に取り組んだ効果検証手法について紹介します。 アプリ運用カンパニーの取り組み インターンで配属されたのは、協業リテールメディアdiv.の中のアプリ運用カンパニーという部署のチームでした。アプリ運用カンパニーの役割は、大まかに言えば「小売業とタッグを組みながら効率的に広告配信を行うためのブレインとなる部署」です。 小売店舗では様々なメーカーが作った商品が販売されているため、当然メーカーは「自社の製品がよく売れて欲しい」と考えています。 ここで、小売業とサイバーエージェントが協力して作られた販売促進のためのデータ基盤が役に立ち
CTO統括室の黒崎(@kuro_m88)です。サイバーエージェントのエンジニアを中心に直近の半年で「みんなで金塊堀太郎」という施策を行い半年で億単位のコスト削減を実現できたので、どんなことをしたのか紹介します。また、社内の半期に一度の全社表彰で表彰されたので、サイバーエージェントの表彰の文化についても触れたいと思います。 「みんなで金塊掘太郎」とは? メディア事業管轄で「金塊堀太郎」という施策を過去実施しており、それを全社に展開したのが「『みんなで』金塊堀太郎」という施策です。具体的には、社内のエンジニアが主体となって主にシステムコスト削減のアイデアを出し合い、それを実行するものです。 「金塊堀太郎」という名前の由来は把握していませんが、社内Slackに絵文字があり一定の知名度があったと思われるため、全社展開においてもこの名前が採用されました。 社内の偉い人たちが真顔で「金塊堀太郎が〜」と
こんにちは。ABEMA 開発本部バックエンドチームで2ヶ月間、内定者バイトをしていた2024卒内定者の石上敬祐(@kei01234kei)です。 本記事では、私が内定者バイトのタスクの中で Redis リソースをチューニングし、あるワークロードの Redis コストを3割削減した話をご紹介します。 目次 タスク背景 スレッド数とスループットの関係 Redis インスタンス台数と CCU(同時接続ユーザ数)の関係 参考: Memorystore for Redis のリソース設計における注意点 まとめ 最後に タスク背景 ABEMA では Redis のマネージドサービスとして、Google Cloud の Memorystore for Redis を使用しています。 Memorystore for Redis ではインスタンス1台当たりのメモリ容量が増える(正確には容量ティアが上がる)に
約1カ月の研修期間でエンジニア社員がLLMを組み込んだ機能を大量に実装出来た理由 ー「生成AI徹底理解リスキリング」の第二弾について 目次 この記事の投稿者について 「生成AI徹底理解リスキリング for Developers」とは 本題 「for Developers」の目的とゴール チーム for Developers 「for Developers」のカリキュラム 「for Developers」の結果 約1カ月の研修期間でエンジニア社員がLLMを組み込んだ機能を大量に実装出来た理由 この先の「生成AI徹底理解リスキリング」 この記事の投稿者について こんにちは。株式会社サイバーエージェントの経営推進本部という組織に所属している片岡です。 2005年に中途入社し、最近は「リスキリングセンター」という全社横断施策で、主にエンジニア社員の育成施策を企画設計運用する仕事に大半の時間を費やし
こんにちは、株式会社MG-DXでフロントエンドエンジニアをしています、小林です。 MG-DXでは、医療や薬局におけるDXの支援を目的として「薬急便(やっきゅうびん)」というサービスを提供しています。薬急便とは、薬局でのお薬の受け取りをオンラインで予約・受付できる「処方せん事前送信」の機能や、オンライン服薬指導などの機能を提供するサービスです。 私たちは、2023年秋頃より薬急便のアクセシビリティ改善への取り組みを強化しています。 この記事では、これまでに対応してきた改善内容の一部について、スクリーンリーダーとキーボード操作に対する改善に焦点を当ててご紹介します。 なぜやるのか 改善内容を述べる前に、まずはなぜ薬急便でアクセシビリティを強化していくことになったのかについてお話しします。 薬急便のユーザー層は、サービスの性質上、年配の方や身体に障害のある方などが比較的多くなっていると考えられま
先日リリースされたGitHub Copilot Enterprise の最速レビュー!〜進化したGitHub Copilotを使ってみた〜 サイバーエージェント Developer Productivity室の小塚です。みなさんはGitHub Coilotを利用しているでしょうか?弊社ではGitHub Copilot Businessを昨年から全社導入し、日本国内ではプロンプト送信行数と提案受け入れ数が1位(2023年12月時点)となるなど、現在約8割のエンジニアが積極的に実際のプロダクト開発において日々利用しています。 弊社ではUS時間の2/27にリリースされた生成AIを利用した機能群であるGitHub Copilot Enterpriseのクローズドベータに1月から参加させていただいておりました。クローズドベータ参加にあたり、GitHub社のVP of Product Manageme
こんにちは、インターネットゼミの小障子(@The_Ko_Show_)です。 インターネットゼミは「インターネット」について日々研究を行っているゼミです。 「インターネット」には多くの意味合いが思い浮かぶと思いますが、ゼミとしては特定の定義に限定せず広く各個人のインターネットについて研究を進めています。 インターネットゼミについてはこちらの記事をご覧ください。 インターネットゼミ開講のお知らせ 現在はオフィス近郊にラックを借りた上でAS63790を取得し、そのAS番号を用いて実験や研究を行いつつ、その結果を社内にフィードバックしています。もしピアリングやネットワーキングに興味がある方がいらっしゃればぜひご連絡ください。 インターネットゼミのインターネット構成 インターネットゼミの「Public ASプロジェクト」ではパブリックなAS番号 (AS63790) を取得し、我々が利用しているThe
今回、Dark Canaryリリースの仕組みを拡張し、Pull RequestごとにDark Canary(以後PR Dark Canary)環境を作成する仕組みを整備しました。これにより、本番と同じURLでPull Requestごとの環境に接続して動作確認ができるようになりました。本記事ではその技術構成や運用について紹介します。 開発プロセス上の課題 WINTICKET Webの開発プロセスは、フィーチャーフラグを用いたトランクベース開発を中心に行われています。しかし、複雑なリファクタリングや大規模な機能追加の場合など、フィーチャーフラグでは管理しきれないケースも存在します。 このような場合、Pull Requestに連動したプレビュー環境での品質管理(QC)を試みますが、ドメインの違いやCDNの非配置など、開発環境との差異によって動作検証が困難なケースがあります。この場合、開発環境(
この記事は CyberAgent Developers Advent Calendar 2023 19日目の記事です。 本日はメディア統括本部 Data Science Center の山本が担当します。 サイバーエージェントではAzure OpenAI ServiceやGoogle CloudのVertex AIなど様々なクラウドサービスのプラットフォームを利用したコンテンツ生成のPoC作成やそれを発展させた形での実サービスへの展開を行なっております。 このようなプラットフォームは気軽にやりたいことを試せる点では非常に便利ではあります。 一方、APIリクエストへの即応性やコスト等々の観点で、画像生成や言語生成のモデルを、用意したマシンインスタンスに展開して推論を行いたい状況も存在します。 このとき問題になるのはマシンインスタンスのスペックです。 高性能なGPUが載っていて、CPU、メモリ
はじめに こんにちは、Amebaマンガでモバイルエンジニアをしている内定者バイトの成尾 嘉貴(@naruogram)です。Amebaマンガの取り組みの一環として、E2Eテストの導入しました。 本記事では、FlutterアプリにおいてのE2Eテスト導入までの流れについてご紹介させていただきます。 ※ 本記事では、個人的見解であり、特定のサービスを優遇するものではありません 目次 1. なぜE2Eテストを導入検討をしたのか 2. FlutterアプリでのE2Eテストの選択肢について 3. チームに最適なツール選定について 4. AutifyとMagicPod検証 5. E2Eテストを運用開始するために 1. なぜE2Eテストを導入検討をしたのか 弊チームがE2Eテスト導入する理由は大きく二つあります。 1. 手動テストによる時間とコストの負担を軽減 大規模なリリースや中規模のリリースの度に手動
この記事は CyberAgent Developers Advent Calendar 2023 21日目の記事です。 こんにちは、CyberAgentのシステムセキュリティ推進グループ(以下、SSG)に所属している小笠原です。 本記事では生成AIをセキュリティの業務に導入し運用課題を改善していった取り組みについて共有させて頂きます。 生成AI x セキュリティ 生成AIというテクノロジーはセキュリティ業界でも非常に注目されています。 今年の10月に発表されたガートナーのセキュリティハイプ・サイクルでは、黎明期に「サイバーセキュリティ向け生成AI」が登場しました。 https://www.gartner.co.jp/ja/newsroom/press-releases/pr-20231018 私が所属している技術チームでは、「テクノロジーでセキュリティの課題解決を行う」ことをミッションにし
はじめに ABEMAは、配信するコンテンツのジャンルや作品数が多いことが特徴です。 それらのコンテンツをどのように構造化し、モデリングするかは、UIの表現や使いやすさに大きな影響を与えます。 2016年に開局して以来7〜8年が経過し、複雑化した概念モデルとUIを改善するためにコンテンツモデルに焦点を当てました。 本プロジェクトのリードとデザイナーを務めた @skskeee が記事を執筆しています。 従来のコンテンツモデル ABEMAは元々地上波テレビのようなリニア型の編成を実現していました。その後にビデオオンデマンド型の配信を追加し、近年ではPPVなどの新たな配信形態も生まれています。 当初設計した構造としては、シリーズ、シーズン、エピソードといったシンプルなコンテンツモデルでした。 しかしながらABEMAの配信コンテンツはアニメやドラマなどの「ストーリーもの」だけではなく、バラエティ、ス
これはCyberAgent Developers Advent Calendar 2023の13日目の記事です よければ他の記事も見てみてください はじめに Developer Productivity室(DP室)のuncle__koです。 DP室ではサイバーエージェントグループにおける事業開発の開発生産性(主にソフトウェアデリバリー領域)を大きく前進させるための開発に従事してます。 OpenAI社が2022年11月30日に公開したChatGPTを皮切りに、いまでは生成AIを聞かない日はないムーブメントになっているかと思います。 ChatGPTやGitHub Copilotの登場によって、日々の開発業務もかなり効率的に生産性が上がっていることかと思います。 今回は生成AI x Developer Productivityをテーマに、開発生産性があがりそうな、個人的に気になっている生成AIを
この記事は CyberAgent Developers Advent Calendar 2023 12日目の記事です。 はじめに CIU (CyberAgent group Infrastructure Unit) の西北(@nishi_network)です。 普段はプライベートクラウド (Cycloud) や機械学習基盤の運用、それに伴う開発業務に従事しています。 今回は、サイバーエージェントの生成AI開発を支える裏側にフォーカスを当て、機械学習基盤の設計や運用、また最新のNVIDIA H100 機械学習基盤構築プロジェクトの裏側について紹介していきます。 サイバーエージェントの機械学習基盤 サイバーエージェントでは、社内向けにAI用途向け機械学習基盤をパブリッククラウド環境だけではなくオンプレミス環境でも運用しています。これらは全社組織であるCIUが運用しており、データセンターの運用か
はじめまして、CyberAgent AI Lab Intaractive Agentチームの技術研究員の大平といいます。 この記事は CyberAgent Developers Advent Calendar 2023 1日目の記事です。 ChatGPTの登場以降、自然なチャット対話はAPI呼び出しだけで簡単に実装できるようになりました。 更に人間のようなインタラクションを実現しようとすれば、音声対話に発展させたいと思う方も多いかと思われます。 しかし実際にLLMを使って音声対話システムを構築してみると、そのレスポンスの遅さに不満を感じることになります。 この記事ではよくあるシンプルなLLMを用いた音声対話に対していくつかの工夫を施し、その応答速度をできるだけ早めてみようという試みになります。 よくある構成として、以下を用います。 音声認識 Google STT LLM ChatGPT 3
はじめに 2023年9月の1ヶ月間、AI事業本部協業リテールメディアディビジョンにて、「CA Tech JOB」というインターンシップに参加した東京大学大学院経済学研究科修士1年の西田鴻志です。 本記事では、インターンシップ中に取り組んだ、短期で観測できる指標を活用した長期的な処置効果の推定と、その小売データ分析への応用について紹介します。 背景 施策の効果検証において、その長期的な影響について関心があることは多いと思います。例えば、あるマーケティング施策について、施策直後の売上といった短期の影響だけでなく、顧客生涯価値(LTV)といった長期的な影響を知りたいというニーズがあります。協業リテールメディアディビジョンにおいても、施策の長期的な効果を評価するための分析は行われていました。 長期的な効果を分析するときには、分析に必要なデータを観測するために時間がかかるという課題があります。これに
はじめに こんにちは。学際的情報科学センターの高野(@mtknnktm)と申します。当社のプロダクトにおけるデータ分析・計算社会科学の研究を業務としています。また、当社の「Tech DE&Iプロジェクト」においてアンケート調査・文献調査なども行っています。 Tech DE&Iプロジェクトではいくつかの場面で社内アンケートを実施しております。 社内アンケートの質問・意見の中に、ジェンダーギャップが発生する理由やその問題点、対抗措置としてのアファーマティブ・アクションに関するものが少なからずありました。 例えば、「ジェンダーギャップは重要な問題であることはわかるが、アファーマティブ・アクションも賛否両論でどのように考えて良いのかよくわからない」などです。 本記事はそれらに対する回答として作成した社内ドキュメントに加筆修正したものです。 なお筆者は計算社会科学の領域で研究活動をしておりますが、多
ML監視は従来のソフトウェア開発の監視要素に加え、モデルや予測値、データに関する監視が必要とされています。 監視の優先順位 上述のようにML監視項目は数多くあり、いきなり全ての監視項目を導入するのは難しいです。 クラウドベンダー各社のMLOpsの成熟度モデル [3]のように、ML監視も段階的に取り組んでいくことが望ましいと言えます。 A Comprehensive Guide on How to Monitor Your Models in Productionの記事ではGoogleのMLOps成熟度モデルに合わせた監視項目を取り上げています。 引用: A Comprehensive Guide on How to Monitor Your Models in Production [4] EVIDENTLY AIが公開してるMonitoring ML systems in product
CTO統括室の黒崎(@kuro_m88)です。今回はAWS Lambdaの高速なコンテナロードの仕組みについて紹介します。 AWS Lambdaはサーバレスなマネージドサービスであり、難しいことを知らなくてもユーザ(私たち)は簡単にアプリケーションをホストでき、簡単にスケールします。 ユーザから見るとシンプルですが、その裏側では様々な仕組みがあったり最適化が行われたりしています。 マネージドサービスの裏側を必ずしも知る必要はありませんが、仕組みを知っておくとより使いこなせるはずですし、自信を持って技術選定ができるはずです。(そして何より裏側を知ることは楽しい!🤗) 本記事はUSENIX ATC 2023で発表された論文「On-demand Container Loading in AWS Lambda」の内容に基づいて、読んでいて面白かったポイントをまとめています。 On-demand
こんにちは!2023 年 7 月より 約 2ヶ月間、株式会社 AbemaTV Cloud Platform チームにて内定者バイトをしていた 24 卒 SRE 内定者の 後藤 廉(X(Twitter) : @ren510dev)です。 内定者バイト期間では、主に、ABEMA を構成するマイクロサービスのデプロイ状況を可視化するべく、独自のモニタリングツールの開発に従事しました。 また、既存の運用・監視体制への導入・統合、開発組織への推進等を実施し、プラットフォームエンジニアリングに挑戦しました。 今回のブログでは、配属部署やチーム内ミッションステートメントの紹介を交えつつ、私が内定者バイト期間中に取り組んだこと、成果を紹介します。 目次 ABEMA Cloud Platform チームの紹介 ABEMA が抱える運用課題 仕様策定 アーキテクチャ 処理フロー マルチリージョン展開 デプロイ
iOS開発におけるGitHub Actions self-hosted runnerを利用したオンプレ CI/CD のすゝめ 昨今のiOSのCI /CD環境において、マシンスペックと実行コストのトレードオフや、それに伴うクレジット管理に悩まされることが増えています。 6月27日〜28日にかけて開催した「CyberAgent Developer Conference 2023」では「iOS開発におけるGitHub Actions self-hosted runnerを利用したオンプレ CI/CD のすゝめ」というタイトルで下記についてご紹介しました。本ブログでは、そのセッションの様子をお届けします。 ————————— サイバーエージェントではCyberAgent group Infrastructure Unit(CIU)がMac OSの物理マシンを運用管理し、GitHub Action
CTO統括室の黒崎(@kuro_m88)です。 つい最近AWSからIPv4の料金体系の変更が発表されました。 新着情報 – パブリック IPv4 アドレスの利用に対する新しい料金体系を発表 / Amazon VPC IP Address Manager が Public IP Insights の提供を開始 AWSのパブリックIPv4アドレスの料金体系の変更後の影響、コスト削減のための対応策の検討、サイバーエージェントグループにおけるIPv6の推進活動についてご紹介いたします。 変わること 今までは VPC 内のリソース、Amazon Global Accelerator、AWS Site-to-Site VPN トンネルに割り当てられた、使用中のパブリック IPv4 アドレス(AWSが提供するパブリック IPv4 アドレスおよび Elastic IP アドレスを含む) という条件であれば
次のページ
このページを最初にブックマークしてみませんか?
『CyberAgent Developers Blog』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く