電通デジタルでデータサイエンティストを務める吉田です。 本記事では、機械学習においてモデル学習時点でのデータと推論時点でのデータが経時的に乖離を起こしていく、いわゆるデータドリフトの検知を自動化するために構築したワークフローについてご紹介いたします。 データドリフトによる機械学習モデルの劣化とは機械学習モデルを実運用していく際に課題になる事象の1つとして、データドリフトの問題があります。 一般的に、機械学習ではいくつかの特徴量Xに対する目的変数Yとの隠れた関係を定式化します。XとYの関係は時間が経つにつれて変化していくことがしばしばあり、これに伴って一度作成したモデルの推論精度も低下していきます。 簡単な例として、あるWebサービスにおいてサイト上の行動ログを元にユーザーごとにコンバージョンの発生を予測する機械学習モデルを作成したとします。このモデルは、「平均的に10分以上閲覧しているユー

電通デジタルでSREをしている神田です。突然ですが、みなさんAWS CLI短縮構文をご存知でしょうか？ awsコマンドを使っているときに、コマンドのオプションとしてfoo=bar や foo,bar,baz といった構造を持ったパラメータを要求されることがあります。このパラメータを記述するための構文が短縮構文(shorthand)です。 本記事では、普段なんとなくお世話になっている短縮構文をシェルスクリプトから使ったときに陥りやすい罠を紹介します。 AWS CLI短縮構文の簡単な例 短縮構文は、JSONと等価な値を簡潔に表現するための構文です。JSONとの対応をみると内容を理解しやすいです。 例えば、 ["foo","bar","baz"]というJSONの配列は、短縮構文では、 foo,bar,bazと書くことができます。 また、 {"key1": "val1", "key2": "val

Appleの新しいクロスサイト計測規制：Private Click Measurement（PCM）の内容と運用型広告に与える影響 「アンチトラッキング」の潮流電通デジタルでソリューション開発のプロマネをしている三谷です。Ads Data HubをはじめとしたData Clean Roomを活用した分析パッケージの開発であったり、ADとCRMデータを連携した新しい広告運用”X-Stack”や広告の因果推論評価を行う新指標”True Lift Model®”の考案など、広告主の事業成果を向上させるための新規ソリューションの開発を担当しています。 今回は10年に1度の大変動であるアンチトラッキングの実情と電通デジタルの対応についてご紹介します。 近年、Cookieやモバイル広告ID（ADID/IDFA）の利用に制限がかかる、というニュースが多く報じられています。デジタルマーケティング業界内では

ExcelのPythonJupyter Notebook JupyterをMicrosoftExcelに埋め込み、VBAの代わりにPythonを記述します 以前は、ExcelとPython JupyterNotebooksの間の「どちらか/または」の選択でした。PyXLL-Jupyterパッケージの導入により、両方を並べて使用できるようになりました。 この記事では、Excel内で実行されるJupyterNotebookをセットアップする方法を紹介します。2つの間でデータを共有し、ExcelワークブックからJupyterノートブックに記述されたPython関数を呼び出すこともできます。 入門 まず、ExcelでPythonコードを実行するには、PyXLLアドインが必要です。PyXLLアドインを使用すると、PythonをExcelに統合し、VBAの代わりにPythonを使用できます。PyXLL

スクラムとアジャイル開発の本を12冊一気に読んでみた！その中から初心者、中級者、上級者向けのおすすめを紹介 こんにちは電通デジタル開発部エンジニアのリチャードです。弊社で開発している社内プロダクトEASIではスクラム開発を採用しており、開発部内には認定スクラムマスターも在籍しています。一方で私個人はこれまでスクラム開発を経験してはいたものの、断片的な知識と経験で乗り切っていた部分が強く、改めてスクラムやアジャイル開発の基本を学び直そうと思い立ち、12冊の本を一気読みしました。ちょうど数ヶ月前に電通デジタルへと転職したばかりだったので、よい機会だったと思います。 今回読んだ本の一覧はこちらです！過去に読んで改めて今回読み直した本もあるため、冊数は多くなっています。 初心者向け 1. いちばんやさしいアジャイル開発の教本 2. SCRUM BOOT CAMP THE BOOK 中級者向け 3.

電通デジタルでバックエンドの開発をしている平沼です。 Dentsu Digital Advent Calendar 2020 の 18 日目の記事になります。前回の記事は「Micro Frontends 導入の覚書」でした。 弊社では、社内 / グループ会社向けのデジタル広告運用実績管理システムのバックエンドサービスに gRPC を利用しています。また Web などから HTTP によるアクセスができるように、 gRPC から HTTP に変換して API を提供する grpc-ecosystem/grpc-gateway も利用しています。 grpc-gateway を利用するとき、 README.md 通りの使い方ではサービス運用上困ることがあります。今回はそのうち下記 3 点を取り上げて対応方法を紹介します。 ・grpc-gateway サーバ自身のヘルスチェックをしたい ・認証情報

電通デジタルでバックエンド開発をしている長内です。 本記事では電通デジタル内で開発されている業務アプリケーション内において、セグメントを取扱う仕組みを改善したのでその内容をご紹介します。 弊社の業務の中に広告出稿のプランニングがあり、業務アプリケーション上から興味・関心に関するセグメントを指定する操作があります。 前提として、この操作に関連する従来の実装ではユーザがアプリケーション上で任意のセグメントを抽出する際、ユーザ入力に対して関連性の低いものを含む大量のセグメント候補のリストに対して目視で選択を行っていました。 当然、我々は大量の要素から任意の1件を目視で探すという行為に非効率さを感じます。 であれば画面上に部分一致判定を行うような抽出用のフォームを用意し、入力した文字列によって目的のセグメントを抽出すればよい、と考えるかもしれませんが、この解決方法では本質的な解決には至れませんでし

電通デジタルでデータサイエンティストをしている中嶋です。 前回の記事は「Airflow 2.0でDAG定義をよりシンプルに！TaskFlow APIの紹介」でした。 Advent Calendar 10日目となる本記事では因果探索の一手法であるLiNGAM(Linear Non-Gaussian Acyclic Model)の解説及び、Google Colabでの分析例について紹介します。 因果探索とは最近のトレンド 最近、広告配信やマーケティング分析の文脈で施策の効果を適切に評価する手法として実験計画法や因果推論が注目を浴びています。産業界でも株式会社ソニーコンピュータサイエンス研究所、クウジット株式会社、株式会社電通国際情報サービスの三社が提供するCALCという要因分析ツールや、最近はNECの因果分析ソリューション causal analysisも出ていたりと盛り上がりを見せています。

電通デジタルで機械学習エンジニアをしている今井です。 前回の記事は「GoogleColabで統計的因果探索手法BMLiNGAMを動かしてみた」でした。 Advent Calendar 14日目となる本記事では、AWSでサーバーレスなWebフォーム開発を行うための方法について紹介します。 データサイエンティストの日常 データサイエンティスト業務に従事してる多くの方は以下のような経験をしたことがあるのではないでしょうか？ 依頼者がエンジニア職であれば、作成したテンプレートクエリなどを渡して「パラメータ部分を適宜修正して使ってください」というコミュニケーションで完結しますが、大抵の場合は非エンジニア職のため都度手を動かす必要があります。 こんなとき、パラメータ入力用のWebフォームを作成すれば依頼者の入力に応じて自動集計されるようなシステムがあればいいなと思うことでしょう。 入力用UIだけであれ

Reactアプリケーション内でGoogle Analytics計測をする際、react-gaを使わず、gtag.jsを利用した方法とその選択理由 電通デジタルのエンジニア、西山です。 この記事は、電通デジタルアドベントカレンダー2020の3日目の記事です。前回の記事は「2020年に作ったDevOps内製ツール」でした。 この記事ではReactでGoogle Analyticsの計測コードを埋め込む方法についてお話しします。他のブログなどですでに何度も紹介されているテーマですが、ブログによって用いられる手法は様々で、どれを採用すればいいか迷う人も多くいるのではないかと思いますし、中には情報が古くなっているものもあります。 そこで最新の状況を調査した上で、私たちが採用した手法を紹介しますので、ReactでGoogle Analytics計測コードを埋め込む際の参考にしていただければと思います。

こんにちは、電通デジタル開発部のフロントエンドエンジニア石原です。前回の記事は「データサイエンティストでもできるサーバーレスなWebフォーム開発 」でした。電通デジタルアドベントカレンダー 15日目は、デザインシステムの話をお届けします。 はじめに − EASI とは 開発部では、デジタル広告の運用業務全般の各種自動化・最適化を実現する「EASI」という社内向けプラットフォームを開発しています。 そのプラットフォームの下に、デジタル広告のプランニング用のプロダクトや過去実績の確認用プロダクトなど、様々なプロダクトが存在しています。 ※ここからは各プロダクトを総称して「EASI プロダクト」と呼びます。 EASI プロダクト開発における課題 開発部では、開発パートナー様と一緒に EASI プロダクトの開発しています。あるプロダクトは開発部で設計・実装し、また別のプロダクトは開発パートナー様が

電通デジタルでバックエンド開発をしている松田です。 前回の記事は「広告出稿プランニング業務におけるセグメントのマッピングと表示改善」でした。 Dentsu Digital Tech Advent Calendar 2020 9 日目の記事になります。この記事ではAirflow 2.0で追加された機能の一つであるTaskFlow APIについて、PythonOperatorを例としたDAG定義を中心に1.10.xとの比較を交え紹介します。 弊社のAdvent Calendarでは、Airflow 2.0に関するものはこれまでにHAスケジューラの記事がありました。Airflow 2.0で提供される新しい機能について詳しく知りたい場合はAirflow Planningを参照ください。 TaskFlow APIとは？TaskFlow APIとはざっくり言うと、タスク間の暗黙的なデータ連携を明示的に

※ 本記事は、Dentsu Digital Advent Calendar  7日目の記事となります。 こんにちは、電通デジタルでバックエンド開発をしている関本です。普段は技術寄りの話題が多い当ブログですが、今回は『オンラインハッカソンの開催を検討、運営を担当する方々』に向けて、 を主題として弊社開発部内の取り組みの様子とその結果についてお話させていただきます。 まずはじめに、業務で忙殺されている方に向けて心得3箇条からお伝えしていきます。 【オンラインハッカソン開催の心得3箇条】 1. ハッカソン期間中は外界との交流を完全シャットアウトすべし！ 2. 運営の事前準備、お題策定には時間をかけるべし！ 3. 当日の「霊圧問題」に対処すべし！それではハッカソン開催に至った経緯、事前準備や当日の様子等の詳細について順を追って、お話していきます。少し長めの文章となりますが、お時間ある方は最後までお

電通デジタルでSREをしている神田です。 この記事は電通デジタルアドベントカレンダーの4日目の記事です。前回の記事は「Reactアプリケーション内でGoogle Analytics計測をする際、react-gaを使わず、gtag.jsを利用した方法とその選択理由」でした。 電通デジタルのいくつかの開発プロジェクトでは、データ処理のためのワークフローエンジンとしてAirflowが採用されています。 この記事では、Airflow 2.0で改善された機能の1つである、スケジューラーのHA(High Availability)対応について解説します。 Airflow 2.0で提供される機能について詳しく知りたい方はAirflow 2.0 Planningを参照してください。 そもそも、スケジューラーって何をしているの？スケジューラーは、DAGやタスクを監視し依存関係をもとに実行可能なTaskIns

電通デジタルでSite Reliability Engineer(SRE)をしている齋藤です。 電通デジタルアドベントカレンダー20202日目の記事になります。前回の記事は「Dentsu Digital Tech Advent Calendar 2020開始します！」でした。 本記事では2020年にSREチームで作ったDevOps内製ツールについてご紹介させていただきたいと思います。内部プロダクトのユーティリティーなど細々したものは色々あるのですが、今回は日常的に利用頻度の高い以下2つのツール ・Auth0をIdPにしたAWSマルチアカウントSSOのクレデンシャル取得ツール(auth02aws) ・オンデマンドでBastionホストを起動して使うツール(bastion-session.sh) を紹介させていただきます。 Auth0をIdPにしたAWSマルチアカウントSSOのクレデンシャル取

でご紹介したGo言語でのgRPCコード生成の状況の続報(2020年末)をお伝えしたいと思います。 概要としては前回の記事に記載した通りで ・Protocol Buffer側のレポジトリは golang/protobuf から protocolbuffers/protobuf-go に移行 ・gPRC側のレポジトリのgrpc/grpc-goに新たにprotoc-gen-go-grpcコマンドができた なのですが、以下が追加になりました。 ・gPRC用のコードを生成するには Protocol Buffersのメッセージやシリアライズに protocolbuffers/protobuf-go のprotoc-gen-go、gPRCのサーバ/クライアントに grpc/grpc-goのprotoc-gen-go-grpc、と両方を使うことになった 以降で詳細をご紹介します。 経緯2020年3月のpr

プロダクト作りにおけるターンアラウンド（働きかけて、結果から学ぶ）を短くするためには「考える」と「つくる」を分断させてしまったり、その行き来に時間をかけてしまうことを避けたい。 しかも、時間だけの話ではなく、ターンアラウンドが長いほど、また情報の受け渡しをやっているほど、その過程に誤謬が入る可能性が高まる。理想は自身が理解した内容を解像度を落とさず、濁らせずに、実現することだ。 そのためには「考える」と「つくる」どちらかに偏ることなく、両方を受け持てるようでありたい。その状態のことを「両利き」と呼んでいる。 実際のところ両利きの内容、つまり右手と左手でそれぞれ何をつかめるようにするかは、求められる役割によって異なる。プロダクトマネージャーであれば「仮説検証」と「アジャイル開発」を挙げるが、そのほかの役割であれば、例えば「プロダクトバックログを作る」と「コードを書く」という両利きが考えられる

電通デジタルでSite Reliability Engineer(SRE)をしている齋藤です。 先日(8/5)に7/22開催のAWS Black Belt Online Seminar「AWSアカウント シングルサインオンの設計と運用」の資料が公開されました。 資料中では以下の内容を説明しています。 ・AWSではアカウントに個別のIAMユーザを作成してログインする代わりに、IDプロバイダ(IdP)を使用し、シングルサインオンができること ・シングルサインオンは組織に独自のID基盤がある場合や、複数のAWSアカウントを使用している場合に有効であること ・シングルサインオンの実現の方法にはいくつかパターンがあり、運用をふまえながら何を選択するのがよいかであること 弊社の自社開発部署もAWSをマルチアカウント構成-シングルサインオンで運用しています。今回はその事例を上記資料の選定パターンチャート

デザインツール Figma の基本的な使い方から、エンジニアと協力して開発に組み込む際の活用方法などをまとめています。