はてなブックマーク

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、Yahoo! JAPAN 研究所のエンジニアの田口・山下と、Yahoo!ニュースエンジニアの小林です。 さっそくですが、皆さんはYahoo!ニュースを利用している中で、「ココがポイント」というアイコンを見たことはありませんか？これは読者の理解をよりいっそう深めるための施策として、そのニュース記事を作成した編集者が作っているQ&A コーナーです。ニュースに関する情報をQ&A形式で整理して読者の理解を支援することを目指す一方で、編集者は編集時に大量の時間と労力がかかってしまうという課題を抱えています。 今回、私たちはこの課題を解決するためのAIシステムを開発し、編集者の業務効率化とニュース記事に対する読者の理解支援を目指し

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーで画像処理エンジニアをしている吉橋です。先日2023年7月25日から28日まで、浜松にて国内最大級の画像分野の学会、画像の認識・理解シンポジウム（MIRU）2023が開催されました。 ヤフーもスポンサーとして協賛し、企業ブースの設営や研究発表・聴講のために総勢10名で参加しました。興味があっても参加できなかった・または来年以降の参加を検討しているみなさんのために、この記事では会場の様子や、画像生成AIに関するヤフーの研究発表内容を紹介します。 MIRUとは？ 国内の画像分野では言わずと知れた学会でもあるMIRUは画像処理や、人工知能（AI）の視覚機能を研究する分野「コンピュータビジョン」など、情報学における画像分

またスループットが計算時間 (compute input + compute infer + compute output) の逆数と近い値になっていることに注目してください。これは下図のようにGPUがリクエストをすき間なく直列的に処理していることを示しています。仮にGPUが遊んでいる時間があるとするとスループットは計算時間の逆数より小さくなるはずです。このようにGPUがすき間なくリクエストを処理している状況で、低精度計算によって計算時間が減ればその分、スループットが上昇することが見て取れると思います。 この節のように、レスポンスタイムとスループットの両方の改善は、システムパフォーマンスの観点から見てもいいことずくめです。数値誤差が問題にならないことが確認できていれば低精度計算をぜひ活用すべきでしょう。一方で次節の内容はレスポンスタイムの悪化を許容した上でスループットの改善を目指す内容にな

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。サービス統括本部ID本部で認証サービスの開発運用を担当している服部です。 パスワードに代わる新たな認証手段としてパスキーが登場し、多くのサービスでも利用ができるようになってきていますが、みなさんはご活用されていますでしょうか。このパスキーとはパスワードに代わる認証情報で、Fast IDentity Online（FIDO）仕様というFIDOアライアンスによって規格策定されている技術をベースとしています。ヤフーでも2018年から「生体認証でログイン」としてFIDO認証に対応し、2023年よりパスキーをつかった認証にも対応しています。 この記事ではこのFIDO認証の技術的な説明から当時の課題と解決方法、そしてその解決方法を

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo!広告のデータサイエンティストをしております、田辺 広樹（ざるご）です。 時系列ビッグデータに対しては、オフライン評価の実施にあたって、学習時とは異なる操作を行う必要があります。弊チームでは従来、これらに対して、書き捨ての集計クエリ、Python スクリプトを作成することで対応を行っていました。 本記事では、これらの操作を自動化し、オフライン評価のための工数を削減した取り組みをご紹介します。 前提: Yahoo!広告における機械学習パイプライン Yahoo!広告では、時系列ビッグデータを用いて、ヤフーの AI プラットフォーム上で広告配信コンバージョン率（CVR）予測モデルを学習し、広告配信に活用しています。

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、第11/12代黒帯（ヤフー内のスキル任命制度／Webフロントエンド領域）の浜田（@narirow）と、Yahoo!ニュースのエンジニアの喜楽（@gladenjoy）です。今回は、ヤフーで対応をすすめてきた、BFCacheの有効化にむけた取り組みについてお話しします。BFCacheとはそもそも何か、有効化のボトルネックには何があるか、そして調査方法などの具体的な手法などを交えてご紹介します。 ヤフーではこれまでスムーズなユーザー体験を実現するべく、高速にページを表示できるBFCache技術の検証と、BFCacheの有効化率を上げる取り組みを行ってきました。その結果、Yahoo!ニュースでの検証では、PVが+2％向上、広告

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、プラットフォームエンジニアの中山です。 Web サイトにはしばしば 3rd-party JavaScript を導入することがあります。たとえば Web 解析ツール、いいねボタンのような SNS 連携機能、広告掲載や効果測定目的のコードスニペットなどは多くの Web サイトで導入されています。 その一方で 3rd-party JavaScript は Web サイトを閲覧するユーザーに対して悪影響を及ぼしかねないため、導入とあわせたリスク対策も必要となります。 そこで、今回は Content Security Policy（以降 CSP）を活用した 3rd-party JavaScript のリスク対策について、ヤフー

※: 両側 p<0.10 （本A/Bテストにおける有意水準） この場合まず疑うべきはA/Bテストシステムのどこかにバグがあることです。なんらかの理由で購入頻度の高いユーザがZ群にばかり割り当てられたり、統計処理にミスがありp値が実際よりも低く出てしまったりということがあれば、まったく差がない群の間で見かけ上CVRに有意差が出てもおかしくありません。 しかしながらいくら調査してもシステム上の問題は見当たりませんでした。 『多重性の問題』の可能性があるも、それだけとも言い切れない 本A/Bテストにシステム的問題が見当たらない一方、統計手法的には1点問題がありました。それは検定多重性の問題です。検定多重性とは、3群以上の比較を行う際、本当は有意差が無いはずなのに有意差ありとなってしまう確率が2群の時よりも上がってしまう現象です。 このA/Bテストシステムは2群間での比較を前提にt検定で実装されて

こんにちは。ヤフーでAndroid版 Yahoo!マップを担当しているエンジニアの福野です。 さっそくですが速さが足りません。私たちは情熱、思想、理念、頭脳、気品、優雅さ、勤勉さをもってアプリの開発に取り組んでいるつもりですが、競合の某マップアプリに比べ私たちのアプリは起動速度が足りていません。 その起動速度について、Android版 Yahoo!マップでは最近大きな改善がありました。この記事ではその手法を解説します。 左：改善前、右：改善後 ※開発中の画面です。(C)Mapbox,(C)OpenStreetMap,(C)Yahoo Japan 起動速度について考えるべきこと ユーザーにとってストレスのないレスポンスを実現するのは私たちエンジニアの仕事のひとつです。 Yahoo!オークション（現ヤフオク!）の高速化について14年前に投稿された「ウェブページの高速化に必要なもの」という記事が

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo! MAPアプリでバックエンド（以下BE）を担当している木村です。 Yahoo! MAPアプリでは、店舗検索や経路検索といった基本的な機能のほかにも、クチコミや写真の投稿、閲覧の機能があります。ユーザーからより多くの投稿を集めるため、インセンティブを付与するクチコミ投稿キャンペーンを実施しています。（※キャンペーンは2～3カ月ごとに実施しており、対象外の期間もあります。） 今回は、クチコミ投稿キャンペーン時に生じてしまったメモリ圧迫の問題と、その調査方法や解決策を紹介します。 ※～2023年6月30日まで実施しているキャンペーンのメインビジュアルです。 どんな課題が生じたか？ 前述の通り、Yahoo! MAP

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。システム統括本部 クラウドプラットフォーム本部の早川です。 私が所属する部署では、ヤフー社内のサービス開発者向けのプライベートクラウドを開発、運用しています。昨年の後半頃から「Platform Engineering」という言葉が聞かれるようになってきていますが、私たちは以前から、その理念に近い取り組みを行っています。 本記事では、「Platform Engineering」の概要と、私たちがKubernetesを活用して実現しているプラットフォーム開発、運用の取り組みについて詳しく紹介します。私たちの経験と知見が、これからプラットフォームの開発に取り組む皆様の一助になれば幸いです。 Platform Engineer

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo!検索で機械学習エンジニアをしている由川です。 Yahoo!検索では、ユーザーが入力した検索クエリに関連する内容を掲出する関連検索ワードという機能があります（検索結果ページ上部と下部にあります）。従来の方法では、この関連検索ワードを出したくても掲出できないケースがありました。本記事では、高品質な文ベクトルを生成する手法SimCSEを用いて検索クエリと意味が類似する内容を掲出することで、関連検索ワード機能を改善させた事例を紹介します。 ※この記事で取り扱っているデータは、プライバシーポリシー の範囲内で取得したデータを個人が特定できない状態に加工しています。詳しくはYahoo! JAPAN プライバシーセンター

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 初めに こんにちは、Yahoo!知恵袋でシステム開発を担当している村上です。 Yahoo!知恵袋（以下、知恵袋）では利用者の皆さまに快適なサービス体験をしていただくため、日々改善が行われています。しかし、サービスができる事が増える度に、コードベースや連携先が増えていくのは常であり、その変化の影響でシステムトラブルが起きることもあります。 今回は、拡張されていくシステム構成という視点で、万が一のシステムトラブルが発生した時に備えて、被害を最小限に食い止める方法を紹介します。 背景 知恵袋では、以下のようなサービス構成を取っています。 フロントエンドシステムは基本的にAPIを通じて複数のバックエンドシステムと疎通することでサービスを提

※循環的複雑度を改善する以外にも、テストカバレッジを向上させるためにコードを整理したり、テストコードを増やしたり、アーキテクチャを刷新するためにリファクタリングを進めたり、さまざまな活動をしていますが本記事では割愛します。 実際、Yahoo!カーナビのAndroid版/iOS版共に、複雑度が75以上のメソッドが存在しました。 循環的複雑度の可視化 指標が決まったので、次に着手するべきは指標の可視化です。可視化については以下の2点が重要だと考えました。 自動で計測・集計できる（もしくは単純な手動作業で計測できる） 誰でもすぐに見られる 複雑度を計測する モバイルアプリにおいて、循環的複雑度を計測する方法はいくつかあります。私たちは同じZホールディングスグループのZOZOのTECH BLOG「ZOZOTOWN Androidチームにおけるコードメトリクスとビルド時間計測の取り組み」を参考にしま

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo! JAPAN研究所でインタラクション分野の研究をしている山中です。 UI操作のユーザ実験では通常、スピードと正確さのバランスをとって操作してもらいます。が、これをわざと雑に操作してもらったり、逆にゆっくり操作してもらうことで、より多くの知見を引き出せるようになります。 この記事では、マウスクリックやタッチの操作支援手法をユーザ実験で評価するとき、より多くの知見を得られるようにする実験方法論について解説します（国内会議インタラクション2023で発表した研究成果です [1]）。 従来のユーザ実験はバランスよくニュートラルにと誘導 ユーザインタフェース（UI）の研究分野では、マウスでのクリック操作や、スマートフォ

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーの音声認識エンジン「YJVOICE」の研究開発を担当している前角です。この記事ではヤフーにおける音声処理技術の研究開発の最新の取り組みの中から、自己教師あり学習を用いた音声言語モデルの改善手法について取り上げます。今回は音声向けの表現学習モデル「HuBERT」を用いたところ、学習データが不足する状況下でも、すべての評価指標において前回提案した手法を上回る性能を達成できました。 なお、今回の内容は前回紹介した「ラベルなしの音声データを用いて言語理解が可能に？音声言語モデルの性能改善手法のご紹介」の続きですので、そちらも合わせてご覧いただければと思います。 また、本研究は米国カーネギーメロン大学の渡部晋治准教授との共

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。サイエンス統括本部でデータ分析による社内サービスの課題解決支援をしている関口です。 ヤフーではたくさんのABテスト（※1）が常に行われており、サービス改善に活かされています。しかしながら実際には、さまざまな理由からABテストができないことがよくあります。本記事では、そのような場合にどのようにして施策の効果を評価・推定するかについて、具体的なケースからアイデアを紹介していきます。 なお今回はYahoo!ショッピングを題材にしたケースばかりですが、アイデア自体は汎用的なものとなっています。 ※1： ABテストはウェブサービス上のUI改善、機械学習モデル改善、機能追加etc.といったさまざまな施策が、KPIにどれくらいのイン

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 高次元ベクトルデータの近傍検索エンジンNGT（OSS）の研究開発を行っているYahoo! JAPAN研究所の岩崎です。NGTを利用した類似画像検索や物体認識にも関わっています。グラフ構造型の性能ボトルネックを改善できる手法として、2021年1月にNGTのインデックスとして追加したQG（Quantized graph）を解説します。 他にも10億ものベクトルを検索できるQBG（Quantized blob graph）を2022年8月にリリースしているのですが、これは別の機会に解説します。 グラフ構造型インデックスの限界？ ベクトル近傍検索には主にツリーやグラフ構造の手法と量子化による手法があります。NGTはグラフ構造型インデックス

本記事は2022年11月に開催した「Tech-Verse 2022」で発表したセッションを要約したものです。アーカイブ動画を文末に掲載しています。質疑応答の様子も収録されていますのでぜひご覧ください。 ヤフーのData Solution事業（以下、DS事業）では、データの力で「日本全体を元気にしたい」という思いから、これまで自社サービス改善のために活用してきたビッグデータを使ったデータ分析サービスを展開しています。 （プライバシーポリシーの範囲内で取得したデータを個人が特定できない状態に加工しています） ビジネスの上流工程における商品企画のほか、物流の最適化など、さまざまな用途にご活用いただけるサービスです。具体的なプロダクトとしては、「DS.INSIGHT」「DS.API」「DS.DATASET」の三つのほか、アナリストが最適なソリューション提案を行う「DS.ANALYSIS」を合わせた

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog ベクトル検索技術は、画像や音声などのオブジェクトデータを、機械学習モデルなどを利用してベクトルで表現し、ベクトル間の距離を計算することで、類似するベクトルを検索する手法です。 高次元ベクトルの類似検索では計算量が増加することから、kNN（k-Nearest Neighbor）ではなくANN（Approximately Nearest Neighbor）が広く利用されています。検索で利用できるデータ形式は、ベクトルへの変換が可能であれば、テキスト、画像、音声、動画、バイナリなどさまざまなデータを利用できます。 ベクトル検索は、類似画像検索はもちろんのこと、レコメンデーションやデータ解析にも利用できます。ヤフーでも、後述する「Yaho

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーの広告部門で機械学習エンジニアをしている加藤です。 ヤフーの広告配信にはさまざまな機械学習モデルが使用されており、私たち機械学習エンジニアは日々それらのモデルの改善を行っています。機械学習モデルを改善する際には必ず一度A/Bテストを行いKPI向上を確認したのちにリリースをするのですが、改善施策が多く動くようになりA/Bテストの数が増えてくると、徐々にそれら全てのA/Bテストを管理すること自体が難しくなってきます。特にそれぞれのA/Bテストのために作成されたコードの管理は煩雑になりがちで、アドホックに作成されたコードがあまり統一されない形で配置されがちです。 この記事ではこの問題をGitHubのPull Reque

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは！Yahoo! JAPAN研究所の坪内と申します。みなさんはAIがレコメンドしてきた内容に対し、「興味はあったけどもう済んだ話だしなあ」「興味はあるけど画面で見せられるのは恥ずかしいなあ」など、感情的にズレを感じることはないでしょうか？ AIの精度を上げるために「正解かどうか」に加えて、「予想外」「恥ずかしい」「過ぎ去りし過去」といった人間の感想をモデルに反映する実験を行いました。ヤフーの持つ199個のモデルで試したところ、2％性能が改善することがわかりました。この記事では、ユーザーの皆さんに無関係なリコメンデーションがされる割合を減らすアイデア「カラフルフィードバック」をご紹介します。 最新の研究開発の進捗状況をエンジ

本記事は2022年11月に開催した「Tech-Verse 2022」で発表したセッションを要約したものです。アーカイブ動画を文末に掲載しています。質疑応答の様子も収録されていますのでぜひご覧ください。 大規模なeコマースのセールにおいて常につきまとう問題がシステム負荷です。今回はYahoo!ショッピングのWebサイトやアプリで取り組んだ負荷対策を紹介します。 2022年10月から年末まで開催中の「超PayPay祭」は全国にあるオフラインのPayPay加盟店様や、オンラインのeコマースショップで開催されるキャンペーンです。Yahoo!ショッピングも同キャンペーンに参加し、期間中はお得にショッピングを楽しめます。一方で、この時期はシステムへのトラフィックが大幅に増加する時期でもあり、Yahoo!ショッピングでは負荷対策の専門チームを作り対応しています。 超PayPay祭のような大規模なセールが

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo!広告のデータマーケティングソリューション開発担当の岩崎です。 Yahoo!広告では広告出稿サービスとともに、データを活用して広告主のビジネスを支援するソリューションを提供しています。本記事では、検索広告のキーワードを機械学習で評価し発掘する「ポテンシャルKW（キーワード）」と学習データ不足ケースに対する工夫を紹介します。概要は下記です。 【効果的な検索キーワードの発掘】キーワードからコンバージョン（獲得）ポテンシャルを予測する 【学習データ不足ケースへの対応】学習データが少ないアカウントに対して、類似アカウントをDice係数で探索しデータを増やす 効果的な検索キーワードの発掘 ポテンシャルKWとは 検索広告

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog Yahoo! JAPANアプリのトップページの上部には、編集者によってピックアップされた「トピックス」と呼ばれるトップニュースが6本並んでいます。編集者が選定した質の高い記事を提供していますが、必ずしも各ユーザーの興味に適した記事が表示されているとは限りません。そのため、スクロールすると、記事推薦システムによって各ユーザーの好みを考慮した記事が自動で表示される仕組みになっています。 ニュース記事の推薦で特に重要なのは「即時性」です。ニュース記事では、情報が更新されると古い記事は役に立ちません。そのため、入稿された記事がいち早く推薦対象になることが重要になります。 たとえば、事前にユーザーごとの推薦記事一覧（レコメンドリスト）を作成

本記事は2022年11月に開催した「Tech-Verse 2022」で発表したセッションを要約したものです。アーカイブ動画を文末に掲載しています。質疑応答の様子も収録されていますのでぜひご覧ください。 検索は検索窓だけで行うわけではないことをご存じでしょうか？　ヤフーではレコメンドなど、さまざまな検索体験をユーザーに提供しています。 例えば、下図で示すYahoo! JAPANアプリでは、ウェブ検索の他にも検索技術が活かされています。未読メールの数、路線情報、天気情報などが代表的な例です。eコマースにおいては商品の検索やレコメンドにもこの技術が適用されています。まさに、検索技術は必要不可欠なものです。 ヤフー全体で使われている検索サービスは、ABYSSというプラットフォームによって支えられています。ABYSSは「Automated」「Building」「Yahoo!」「Search Sdk」

本記事は2022年11月に開催した「Tech-Verse 2022」で発表したセッションを要約したものです。アーカイブ動画を文末に掲載しています。質疑応答の様子も収録されていますのでぜひご覧ください。 こんにちは。アジャイルコーチの荒瀬中人です。 社内ではヤフー、関連会社、オフショア開発のアジャイル開発支援を担当しているのですが、その中で、複数の企業、国をまたいだ拠点横断のスクラム開発で一つの製品を作る機会が多くあります。それぞれの企業文化やその国のカルチャーの違いに触れながら、オンライン/オンサイトのハイブリッド型のスクラムや、大規模なアジャイル開発のサポートを行っています。 現在は、PayPayカードの会員サービス開発を、ヤフーとPayPayカード2社間の大規模スクラムで進めています。その様子はTech Blogにも寄稿していますのでご覧ください。 参考：ヤフーとPayPayカードが大