はてなブックマーク

こんにちは。Yahoo!広告にてデータアナリストをしている國吉です。 ヤフーでは、「Yahoo!広告」という広告出稿サービスを提供しており、それに付随して、広告を出稿するクライアントを支援するためのソリューションを提供しています。本記事では、私が開発に携わっている「Yahoo! JAPAN 予測ファネル」（以下、予測ファネル）という広告配信ソリューションについてご紹介します。予測ファネルを開発するにあたっては、ビッグデータを用いて機械学習モデルの作成と推論をするため以下の課題がありました。 学習時のメモリリソースの確保、推論時間の短縮が必要 ソリューションのリリース後には数多くのモデルが作成されモデルの管理が煩雑になる 本記事ではこれらの課題をどのように工夫して解決したかについてご紹介したいと思います。 （※モデル作成にあたり、ヤフーではお客様のプライバシーの保護に細心の注意を払っています

本記事は2022年11月に開催した「Tech-Verse 2022」で発表したセッションを要約したものです。アーカイブ動画を文末に掲載しています。質疑応答の様子も収録されていますのでぜひご覧ください。 突然ですが、みなさんへ質問です。「今この瞬間にシステム障害が起こったら、自信を持って対処できますか？」システム運用者であれば、誰しもが考えたことがある内容かと思います。障害の影響範囲がどの程度なのか、ユーザーアナウンスの必要の有無、そして自動復旧のメカニズムが正しく動いたか。そのあたりが気になるポイントなのではないでしょうか。単純な質問ではありますが、とても考えることが多い不安な質問です。 システムは動いて当たり前と思われがちですが、実際は動いている方が奇跡、壊れて当たり前、という点はエンジニアのみなさんなら共感していただけると思います。どうやったら障害にアプローチできるか、ヤフーで取り組ん

本記事は2022年11月に開催した「Tech-Verse 2022」で発表したセッションを要約したものです。アーカイブ動画を文末に掲載しています。質疑応答の様子も収録されていますのでぜひご覧ください。 私が所属しているVersatile Authenticationチーム（以下、VAチーム）では、取り扱っている代表的なプロダクトとして社内でのIdP、PKI、そしてSSHCAがあり、それぞれ企画開発・運用を行っています。 IdPでは、社内の各サービスに対してユーザーの認証認可プラットフォームを提供しています。PKIでは社内CAを提供し、各社内サービスに対して証明書の発行や運用を行っています。SSHCAでは、サーバログインに関して証明書ベースでの認証プラットフォームを提供しています。 VAチームでは、多様な認証認可プラットフォームを取り扱い、ユーザーやサービス、サーバなど、あらゆる対象をセキュ

本記事は2022年11月に開催した「Tech-Verse 2022」で発表したセッションを要約したものです。アーカイブ動画を文末に掲載しています。質疑応答の様子も収録されていますのでぜひご覧ください。 ヤフーが提供する「Yahoo!広告 ディスプレイ広告」では、パソコンやスマートフォンなどヤフーのサービスをはじめとしたさまざまな広告配信枠から広告リクエストが送られてきます。そのリクエストは約数十万rpsに上るため、高い性能要件が求められます。また、広告のターゲティングや最適化といった処理も必要です。私たちのチームではこうした大量のリクエストをさばき、複雑な処理を行う広告配信システムを開発・運用しています。 従来の広告配信システムには課題がありました。それは「Yahoo!ディスプレイアドネットワーク」や「インタレストマッチ」というサービス名だった過去の時代から同じアーキテクチャで運用されてき

本記事は2022年11月に開催した「Tech-Verse 2022」で発表したセッションを要約したものです。アーカイブ動画を文末に掲載しています。質疑応答の様子も収録されていますのでぜひご覧ください。 ヤフーで全社を横断して行ってきたWebパフォーマンス改善の取り組みを紹介します。以下の表の数値は、ヤフーのWebサービスと競合のWebサービスのパフォーマンス速度を比較したとき、ヤフーのWebサービスのほうが高速であるサービスの割合を示しています。プロジェクトの実施前は62％でしたが、実施後は83％まで改善することに成功しています。 ■ヤフーのサービスと、その競合に当たるサービスをベンチマークとして比較したとき、ヤフーのほうが速い割合 実施前 実施後 下図のサーチコンソール画面を見てください。Yahoo!映画におけるWebパフォーマンスが良好であることを示す「緑色」が大幅に増えています。Ya

本記事は2022年11月に開催した「Tech-Verse 2022」で発表したセッションを要約したものです。アーカイブ動画を文末に掲載しています。質疑応答の様子も収録されていますのでぜひご覧ください。 ヤフートラベルと宿泊予約サイトの一休.comにおいて、システムリニューアルを行い統合したプロジェクトについて紹介します。 これはヤフートラベルと一休.comのシステムを統合した後の画面です。左がヤフートラベル、右は一休.comです。サイトは2つですが、バックエンドもフロントエンドも、1つのシステムで2つのブランドのサービスを配信しています。そのため、一見するとデザインが似ています。 ですが、細かいところをよく見ると、ホテルの表示カードのデザインは横幅と縦幅が違いますし、当然ロゴとかバナー表示するコンテンツも異なります。ヤフートラベルの方はYahoo! JAPAN IDでログインでき、一休.c

こんにちは。テックラボでYahoo!広告のR&Dを担当している水口です。 Yahoo!広告では、入稿時審査や広告配信などのあらゆるフェーズで機械学習モデルを導入しています。旧来は人間が「これは広告として掲載がOKかNGか」（ガイドラインに準拠しているか）を判断していましたが、システムがこの補助をするようになっています。本記事では、その中でもディスプレイ広告の画像審査にマルチモーダルモデルを活用した事例についてご紹介します。 今回構築したマルチモーダルモデルは以下のようになっています。特筆したいのは内部的にはマルチモーダルモデルでありながら、入力には画像のみを使用していることです。これにより他の情報を用意することなく、通常の画像モデルと比べて精度を向上させることができました。 ここからは、なぜこのようなマルチモーダルモデルを作成するに至ったのか、についてご説明してきます。 広告画像の審査とは

本記事は2022年11月に開催した「Tech-Verse 2022」で発表したセッションを要約したものです。アーカイブ動画を文末に掲載しています。質疑応答の様子も収録されていますのでぜひご覧ください。 私からは「自分一人ですべての行動を把握しているわけではない、大規模チームによるアプリ開発をおこなっている開発者」「直接一緒に仕事をしているわけではない、さまざまな職種のメンバーとプロダクトを作っている開発者」「企画やマネージャーではないけれど、ボトムアップに施策を行っていきたい開発者」に向け、次のような話をしたいと思います。 大きな組織では、個人的なモチベーションだけでは技術改善が進みにくい側面があります。もちろん技術主体の企業にとっては、エンジニア個々人のコミットメントに依存する部分も大きいとは思いますが、それだけでは十分にスケールするとは言えません。改善例として、iOS版Yahoo! J

みなさまこんにちは。ヤフーでデータソリューション事業のUI/UXデザインを担当している、横内です。 2022年11月に弊社が運用するデータ可視化ソフトウェアのDS.INSIGHTで人流データを分析できるPlace機能を大幅アップデートしました。その際使用したOOUIという設計手法から得られた学びをプロジェクトの実例を交えながらご紹介します。 OOUIとは そもそもOOUIとは何者でしょうか。OOUIとは、Object Oriented User Interfaceの略語で、通称オブジェクト指向UIと呼ばれています。 オブジェクトとはその名の通り「役割を持ったモノ」を指す言葉です。例えばお店で買うクロワッサンや、ECサイトでカゴに入れる衣服など、その場の実体あるなしにかかわらず、私たちがモノとして認識できる対象のことを指しています。 この、ユーザーが認識できるモノ（オブジェクト）を起点にUI

本記事は2022年11月に開催した「Tech-Verse 2022」で発表したセッションを要約したものです。アーカイブ動画を文末に掲載しています。質疑応答の様子も収録されていますのでぜひご覧ください。 本日は、PayPayフリマのプロダクト開発で培ってきた「UXリサーチ」について紹介します。 PayPayフリマは、C to Cのフリーマーケットサービスです。キャッシュレス決済の「PayPay」で売上金を受け取ることができます。2019年10月にサービスがローンチされ、現在ではiOS/Androidアプリ、Web、PayPay上のミニアプリの4つのサービスで提供。また、ZOZOTOWNなどとの外部連携も積極的に行っています。 「Google Play ベスト オブ 2020」では、ユーザー投票部門で最優秀賞を受賞。リリースから3年間で累計1,500万ダウンロードを超えており、多くのユーザーに

みなさん、こんにちは。ヤフーのDeveloper Relations（以下DevRel）の中村と水田です。 11月17日と18日にLINEとヤフーが合同開催した「Tech-Verse 2022」、ご視聴いただけましたか。これまで各社で開催してきた技術カンファレンスを一緒に企画するということで、運営チームとしても学びや気づきがたくさんありました。本稿ではTech-Verseを通じたクリエイター活躍の場づくりとそこで得られた経験について、ヤフー視点で振り返ります。 Tech-Verse 2022とは まずはTech-Verse（テックバース）の概要をおさらいします。 開催日：2022年11月17日（木）・18日（金） 開催方式：オンライン 参画企業：LINE、ヤフー、dely、出前館、一休、バリューコマース、ゼットラボ、ZOZO WebサイトURL Tech-Verse 日本語版Webサイト

こんにちは。Yahoo!広告SDKチームの高木です。 みなさんが開発するプロダクトでは、しっかりとテストを書いているでしょうか？自信を持ってYESと言えるプロダクトもあれば、そうではないプロダクトもあるかと思います。私が所属する広告SDKチームでは、自動テストを書くモチベーションは強くある一方で、実装はあまりされていないという状況でした。 本記事では、そのようなチームにテストを書く文化が根付いていった過程についてお話しします。 Yahoo!広告SDKとは Yahoo!広告SDKとは、Yahoo!広告のディスプレイ広告をネイティブアプリへ簡単に表示できる、Yahoo!サービス内およびパートナーネットワークのアプリへ配布しているSDKです。広告表示に必要なデータをリクエスト〜取得したり、広告枠のUIを提供する機能を持っています。 Yahoo!広告SDKは事故発生時の影響金額が大きい性質上、安定

こんにちは、ヤフーで自然言語処理の研究開発をしている颯々野です。ヤフーでは、Yahoo!デベロッパーネットワークでテキスト解析Web APIを公開・提供しています。まず社内向けAPI、次いでこの公開APIと段階的に新インターフェースに移行し、2022年12月からは全てJSON-RPC 2.0に基づくものになりました。 2年前に言語処理APIのインターフェーズ共通化プロジェクト「Azuki」を進めていることを紹介しました。今回は、このプロジェクトがどうなったのかと、共通化によって得られたメリットなどをご紹介します。 インターフェース共通化を推進するプロジェクト「Azuki」 まず簡単にどんなものだったか振り返っておきます。詳細は前回の記事をご覧ください。 共通化の背景と目的 私たちは形態素解析やキーワード抽出など多くの機能を自分たちで開発、リリースしています (その一部はYahoo!デベロッ

こんにちは。サイエンス統括本部の井上と小出です。 本記事では、MLOps推進チームとして継続的に取り組んでいるMLOpsの導入、改善に関する取り組みをご紹介します。具体的には、各プロダクトのMLモデル開発の品質を計測し、可視化できる仕組みの構築、並びにその結果を活用した施策事例についてご紹介します。 （なお、本記事ではMLOpsについての説明は割愛します。MLOpsの概要について理解したい方にはGoogleが公開しているこちらの記事を、技術的な詳細について理解したい方にはAIエンジニアのための機械学習システムデザインパターンをお薦めします。） なぜMLOpsを推進する組織があるのか ヤフーのサイエンス組織では広告、コマースを中心に50を超えるプロダクトが日々機械学習モデル（以後MLモデル）の開発をおこなっています。ヤフーでは内製された機械学習基盤（AIプラットフォーム、以後AIPF）が提供

こんにちは！サイエンス統括本部でYahoo!ショッピング のレコメンドシステムを開発している高久です。 私の所属するチームでは、さまざまな技術を使ってサービスに実際にどうレコメンド機能を組み込んでいくかについて取り組んでおり、機械学習モデルから配信システムまで一貫して開発・運用しています。 今回はそんな中で取り組んだレコメンドシステムの配信部分の構築事例について紹介します。 ※ レコメンドシステムの開発ではプライバシーポリシー の範囲内で取得したデータを用いて行っています。 Yahoo!ショッピングのレコメンドについて レコメンドとは端的にいうとユーザーの興味がありそうな商品を薦める機能のことで、Yahoo!ショッピング内のさまざまなページや箇所に、例えば「あなたへのおすすめ商品」といったモジュールとして出ています。 ただ、一口にレコメンドといっても ユーザーの嗜好に合いそうなおすすめの商

こんにちは、Yahoo!ニュースでエンジニアを担当している角沖です。 本記事では今年2022年にYahoo!ニュースにて観測されたSEOに関する問題とその対応方法について紹介します。ある時期にソフト404が大量発生しており、その対策を行いました。 SEOとは SEO（Search Engine Optimization）は日本語で「検索エンジン最適化」と呼ばれます。詳しい内容については本記事では触れませんが、検索エンジンは「そのウェブサイトがユーザーに質の高いコンテンツを提供しているか」を判断軸に検索結果の掲載順位を決めています。具体的には、検索エンジンのクローラーが各サイトにアクセスしページ情報を取得、その内容を分析しインデックスが作成され、それに従って検索結果の表示順が決定されます。このときの評価に使われる項目は多岐にわたり（コンテンツの内容やtitleタグの内容、metaタグ、サイト

大規模なデータセットを短期間で構築するために、データセット構築にはYahoo!クラウドソーシングを用いました。 以下に各データセットの概要を示します。 MARC-ja MARC-jaは商品レビューを入力として、ポジティブ（positive）かネガティブ（negative）かを推定するタスクです。多言語商品レビューコーパスMARC（Multilingual Amazon Reviews Corpus）[文献7]の日本語部分を用いて構築しています。検証・テストセットについては正解ラベルが妥当であるかをクラウドソーシングで判定し、ラベルをクリーニングしています（訓練セットは数が多いことからクリーニングはしておりません）。 JSTS/JNLI JSTS（Japanese Semantic Textual Similarity）とJNLI（Japanese Natural Language Infe

こんにちは。Yahoo! MAPでiOSアプリの開発を担当している徳元と二宮です。 こちらでアナウンスさせていただいた通り、2022年11月15日にYahoo! MAPにおけるARモードのアップデートを行いました。 スマートフォンを空に向けると、目的地の方向の上空にキャラクターがARで浮かぶようになりました。本稿では、このアップデートを行った際にどのような技術を使ったのかを紹介します。 Yahoo! MAPについて Yahoo! MAPはヤフーで提供している地図アプリです。 本稿では、iOS版で提供しているARモードという機能に対して行ったアップデートについてご紹介します。 また、Android版では現在、ARモードを提供していませんが今後実装することを検討中ですので、Androidユーザーの方も良かったら使ってみてくださいね。 ARモードについて 今回、ご紹介するARを使ったARモードは

こんにちは、広告エンジニアの中山です。 唐突ですが、みなさまの Web アプリケーションに User-Agent 文字列を参照する処理はありますか？ User-Agent: Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.1234.56 Safari/537.36例えば User-Agent 文字列を解析して内容に応じて制御を分岐させたり、機械学習の特徴量として用いたり、さらには一般に悪しきユースケースとされていますが IP アドレスと組み合わせて fingerprinting に活用する … といった処理があるかもしれませんね。 私の担当する広告サービスでは 不正判定 のための特徴量 ユーザー属性推定のための特徴量 その他配信制御（例えばキャリアのターゲ

こんにちは。Yahoo!広告のデータマーケティングソリューション（以下、DMS）を開発しているデータアナリストの薄田です。 みなさんは、中間テーブル同士が複雑に絡み合い変更しようにも影響範囲を推定できず、手がつけられない分析パイプラインの保守で苦労された経験はないでしょうか？ 私のチームでは数千行におよぶ分析用SQLをリファクタリングして、保守性と生産性を両立する分析パイプラインに生まれ変わらせることができました。 この記事ではリファクタリングを通して確立した、分析用SQLを構造化するための4原則を紹介します。4原則を意識しながらSQLを書くことで、高凝集・疎結合な分析パイプラインを作ることができます。 この記事では凝集度と結合度の概念についての説明は省略します。 しかし、ソフトウェア開発に慣れていないアナリストにとって「凝集度と結合度」はなじみのない概念かもしれません。 結合度・凝集度に

こんにちは、Yahoo! JAPAN研究所でHuman-Computer Interaction（HCI）の分野の研究をしている池松です。この記事では、Yahoo! JAPAN研究所と慶應義塾大学、東京工科大学と共同で進めている、スマートフォンの持ち方を推定する手法について解説します。（国際会議 ACM CHI 2022および ACM ISS 2022で発表した研究成果です [1,2]） 持ち方を推定できると何が嬉しい？ 多くのユーザがスマートフォンを片手で持ち、持った手の親指でタッチする操作方法を好むことが知られています [3]。しかし、画面上の位置によっては親指でタッチしにくく、誤って意図しない箇所をタッチしたり、無理してタッチしようとしてスマートフォンを落としてしまいそうになったりすることも多いです。これは、親指の届く範囲が限られていることが原因のひとつと考えられます。 次の図（[4

こんにちは！ スクラムマスターの中原（PayPayカード株式会社）、岩井（ヤフー株式会社）、そしてアジャイルコーチの荒瀬（ヤフー株式会社）です。 私たちは、PayPayカードの会員サービス開発を大規模スクラムで進めています。PayPayカードとは、クレジットカード加盟店で通常のクレジットカード決済ができることに加え、PayPayアプリと併用することによってPayPay加盟店であと払い決済が利用できるサービスです。「圧倒的No.1のサービスをすべてのお客さまに！」というビジョンを掲げており、ユーザーファーストにサービスを提供することを心掛けています。 より早く質の高いプロダクトをお客様に提供するために、ヤフーとPayPayカードの2社が協力してよりスケールした組織となりスクラムを実践しました。組織のスケール化を体験した私たちが、スケールするときの困難や、それを乗り越えた方法についてご紹介しま

こんにちは、デザイナーの春野です。普段は広告プロダクトに関わるデザイン業務やフロントエンド業務を行う傍ら、全社デザインシステムの制作に携わったり、全社的にフロントエンド推進活動を行ったりしています。 全社デザインシステム制作の取り組みのひとつとして、デザインツールであるFigmaで使用できる、カラースタイル切り替えFigmaプラグインを開発しました。またこのプラグインを誰でも使えるように公開しました。 本記事では、開発したFigmaプラグインの機能を紹介するとともに、Figmaプラグインを自作することで業務効率を改善するという手法や、そのプラグイン開発をどのように進めたのかを紹介します。 今回開発したFigmaプラグイン「Theme Switcher」 今回開発したプラグインは、デザインツールであるFigmaで使用できる拡張プラグインであり、選択したレイヤーに適用されるカラースタイル名を一

Home テクノロジー Blog 数千rpsを処理する大規模システムの配信ログをHadoopで分析できるようにする 〜 ショッピングのレコメンドシステム改修 こんにちは。サイエンス統括本部でYahoo!ショッピングのレコメンドシステムを開発している山口です。 本記事では、システムの配信ログを大規模データの分散処理が可能な社内のApache Hadoop環境（以下Hadoop）に保存できるように、システム改修した取り組みについて紹介します。 今回改修したレコメンドシステムは、毎秒数千のリクエストを処理する大規模なシステムです。レコメンドシステムから直接Hadoop環境に大量のログを送れるようになったことで、配信情報を素早く、そして簡単にログとして保存できるようになり、日々レコメンドの機械学習モデル改善に役立っています。 Yahoo!ショッピングのレコメンドとは Yahoo!ショッピングでは、

こんにちは。Yahoo! JAPAN研究所でインターンシップをしている立命館大学大学院修士2年の松根です。普段は、レコメンドシステムや機械学習アルゴリズムに関する研究をしています。 今回は、Yahoo! JAPAN内に多く存在するユーザの興味や属性を予測するモデルを活用することで、より多くの方々に対してレコメンドを行うシステムCERAMとその実証実験の結果について紹介いたします。今回お伝えする内容は、データサイエンスのトップカンファレンスの1つである「KDD2022」の本会議に採択された内容となっています。 予測モデルのリサイクル 突然ですが、皆さんはリサイクルと聞いてどのようなイメージを思い浮かべますか？リサイクルとは、必要なくなったものやゴミなどを捨てるのではなく、回収し、再度利用することです。例として、駅で使用された切符を回収し、それをゴミ箱やトイレットペーパーなどに変換して利用する

データプラットフォーム本部でエンジニアインターンに参加している杉浦です。 VMからKubernetesへ移行を予定しているプロダクトで、Kubernetes環境におけるカナリアリリース戦略を実装しました。これは本番環境でテストする手法の一つです。本記事がみなさんのリリース業務を円滑にする一例として参考になれば幸いです。 本番環境でも、できるだけ安全にテストしたい Kubernete環境に限らず、アプリケーションの変更は複数の検証ステップを通して品質を保証します。ほとんどの変更は、単体テストやステージング環境におけるQAで品質を十分に確認することができ、安心して本番環境へリリースできます。 一方で、本番環境上でテストするしかない変更も存在します。例えばデータベースのエンドポイントの変更、各種サービスへのアクセスキーを含んだシークレットに対する変更などです。これらは本番環境でテストする必要があ

こんにちは。Yahoo!ニュースでデザインを担当している萩野と小股です。 Yahoo!ニュースは、Yahoo! JAPANが運営する国内や海外のニュースを閲覧できるサービスです。1996年にサービスを開始し、2021年には25周年を迎えました。 そんなYahoo!ニュースでは、2020年より「Figma」を用いてデザイン業務を行っています。この記事では、Figmaの利用に至った背景や、運用し続けられるものにする工夫、デザインシステムによってデザイン業務がどのように効率化されたか、お伝えします。 Yahoo!ニュースが抱えていたデザインにおける課題と解決方法 この章では、Yahoo!ニュースが当時抱えていた複数のデザイナーがデザイン業務を行う上での課題と、その解決までの背景をお伝えします。 デザイン業務における課題 Yahoo!ニュースは、多くのユーザーと媒体社の皆様に支えられ、サービス運営

この表を見ると、3種類のBERTはいずれもロジスティック回帰を大きく上回る性能を達成していることが確認できます。とりわけ、再現率において顕著な改善が見られます。 また、この改善の大半は、事前学習ではなくモデルの変更によるものであることも分かります。事前学習を行っていないBERTでも、すでにロジスティック回帰よりも適合率が10ポイント、再現率が26.3ポイント改善しています。ここからさらに事前学習を行うと、検索クエリと商品タイトルのどちらを使った場合でも再現率がさらに向上していますが、その改善幅は1ポイント強に留まっています（適合率はほぼ変わりません）。商品属性推定のように大規模学習データが入手できるタスクでは、まずはモデルの表現力を高めることが重要であり、事前学習の有効性は相対的に小さくなるため、このような結果になったと考えられます。ただし、事前学習を実施することによって再現率が堅実に改善