この記事は、 NTT Communications Advent Calendar 2022 15日目の記事です。 2022/12/16 追記 想像以上に反響がありましたので、追記します。 「エンジニアのわがまま」発言について そのような発言が出たのは、エンジニア側とシステム担当が互いに本音をぶつけ合ったからこそでした。 限られた時間枠の中でエンジニア側から畳みかけるように数多くの問題意識や要望をシステム担当側に突きつけるような形となり、双方ヒートアップした結果としてそのような発言につながっていました。 また、システム担当からすると下記の事実もヒートアップにつながる一因だったと思います。 新しい事務用 PC のリリースをやり遂げた直後で、利用する社員から「以前より便利になった」との声も出ていたタイミングだった 事務用 PC と開発・検証用 PC の 2 台持ちが必要なのはエンジニアが多く、

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーのディスプレイ広告（運用型）でデータサイエンス・機械学習エンジニアをしている高橋です。この記事では、機械学習における学習データ不足から生じるコールドスタート問題に対して、安定して学習・推論するための技術を紹介します。また、ヤフーのディスプレイ広告でこの技術を適用した事例をご紹介いたします。 コンバージョン予測の役割 みなさんの担当されているサービスにおいて、申込み完了率や商品購入完了率といったコンバージョンを高めたいシーンは多く見受けられるのではないでしょうか？あるユーザがコンバージョンしやすいか否かを推定できるようになると、よりコンバージョンしやすいユーザに優先的にサービスを提供できるようになります。特に、広告

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo! JAPAN研究所でインターンシップをしている立命館大学大学院修士2年の松根です。普段は、レコメンドシステムや機械学習アルゴリズムに関する研究をしています。 今回は、Yahoo! JAPAN内に多く存在するユーザの興味や属性を予測するモデルを活用することで、より多くの方々に対してレコメンドを行うシステムCERAMとその実証実験の結果について紹介いたします。今回お伝えする内容は、データサイエンスのトップカンファレンスの1つである「KDD2022」の本会議に採択された内容となっています。 予測モデルのリサイクル 突然ですが、皆さんはリサイクルと聞いてどのようなイメージを思い浮かべますか？リサイクルとは、必要なく

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo! JAPAN研究所の鍜治です。 みなさんはコンテンツにメタデータを付与したいとき、どのようにしていますか？　もちろん手作業で付与することもできますが、コンテンツ量が膨大なときには、自動的にメタデータを付与できる仕組みがあると便利だと思いませんか？ 私がリーダーを務めている研究開発チームでは、Yahoo!ショッピングの商品に属性というメタデータを自動付与するため、BERTを用いた商品属性推定モデルを開発しています。本記事では、そもそも商品の属性とはどういうものなのか、どのようにBERTを使っているのか、既存モデルと精度はどのくらい違うのか、などについてお話したいと思いますので、よろしくお願いします。 Yaho

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーのAIプラットフォームチームに所属している黒松です。 今年の1月に公開した「MLOpsを支えるヤフー独自のモデルモニタリングサービス」の記事ではヤフーが内製したモデルモニタリングツールであるDronach（ドロナック）をご紹介しました。 本記事では、新たにDronachに追加したFeature Attributionドリフト検定機能を実例とともにご紹介します。 AIプラットフォームチームについて 私が所属しているAIプラットフォームチームは、社内のAI活用を促進するための共通プラットフォームを開発し提供することが目的のチームです。 AIプラットフォームは、Namespaceで分離されたマルチテナントKuberne

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは！ スクラムマスターの中原（PayPayカード株式会社）、岩井（ヤフー株式会社）、そしてアジャイルコーチの荒瀬（ヤフー株式会社）です。 私たちは、PayPayカードの会員サービス開発を大規模スクラムで進めています。PayPayカードとは、クレジットカード加盟店で通常のクレジットカード決済ができることに加え、PayPayアプリと併用することによってPayPay加盟店であと払い決済が利用できるサービスです。「圧倒的No.1のサービスをすべてのお客さまに！」というビジョンを掲げており、ユーザーファーストにサービスを提供することを心掛けています。 より早く質の高いプロダクトをお客様に提供するために、ヤフーとPayPayカードの2

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは！サイエンス統括本部でYahoo!ショッピング のレコメンドシステムを開発している高久です。 私の所属するチームでは、さまざまな技術を使ってサービスに実際にどうレコメンド機能を組み込んでいくかについて取り組んでおり、機械学習モデルから配信システムまで一貫して開発・運用しています。 今回はそんな中で取り組んだレコメンドシステムの配信部分の構築事例について紹介します。 ※ レコメンドシステムの開発ではプライバシーポリシー の範囲内で取得したデータを用いて行っています。 Yahoo!ショッピングのレコメンドについて レコメンドとは端的にいうとユーザーの興味がありそうな商品を薦める機能のことで、Yahoo!ショッピング内のさまざ

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、ヤフーで自然言語処理の研究開発をしている颯々野です。ヤフーでは、Yahoo!デベロッパーネットワークでテキスト解析Web APIを公開・提供しています。まず社内向けAPI、次いでこの公開APIと段階的に新インターフェースに移行し、2022年12月からは全てJSON-RPC 2.0に基づくものになりました。 2年前に言語処理APIのインターフェーズ共通化プロジェクト「Azuki」を進めていることを紹介しました。今回は、このプロジェクトがどうなったのかと、共通化によって得られたメリットなどをご紹介します。 インターフェース共通化を推進するプロジェクト「Azuki」 まず簡単にどんなものだったか振り返っておきます。詳細は前回

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、広告エンジニアの中山です。 唐突ですが、みなさまの Web アプリケーションに User-Agent 文字列を参照する処理はありますか？ User-Agent: Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.1234.56 Safari/537.36例えば User-Agent 文字列を解析して内容に応じて制御を分岐させたり、機械学習の特徴量として用いたり、さらには一般に悪しきユースケースとされていますが IP アドレスと組み合わせて fingerprinting に活用する … と

TL;DR 正しく設計するとキャパシティは常にカツカツになる これはpyspaアドベントカレンダーの8日目の記事です。前日はShibukawaさんです。 世はクラウド時代、ソフトウェアはひとたび作られたら何億回実行されても摩耗するものではないので、どんな間抜けなロジックであろうと動く以上は別のどこかで瑕疵が出てくるまで使い倒されるのは日常茶飯事である。 サービスを負荷の前提の上に定義する クラウドより前の時代においてサービスを支えるマシンは「ロードアベレージが1.0を超えてなければとりあえずOK、超えたらマシンを増やして負荷を分散する」というノリのベストプラクティスがよく言われていたがそれはサーバ資源の確保にそれなりに時間がかかる時代の常識であって、クラウド時代でサーバは分単位で確保できるようになった。 クラウドの利点としてその即時的なスケーラビリティが常套句として使われて久しいが、これは

ナレッジワーク、エンジニアイネーブルメント事業を始動～プログラミング言語Goスペシャリスト上田拓也(@tenntenn)が入社～ 「できる喜びが巡る日々を届ける」をミッションに掲げる株式会社ナレッジワーク(本社：東京都港区、CEO 麻野耕司)は、セールスイネーブルメント事業に続き、ソフトウェアエンジニア向けのイネーブルメント事業を始動しましたのでお知らせします。 Google Developers Expert にも選出されている、プログラミング言語Goのスペシャリスト 上田拓也(@tenntenn)が入社し、Goの学習プログラムやツールの提供を進めてまいります。 ​ エンジニア職に「できる喜びが巡る日々を届ける」 ナレッジワークは「できる喜びが巡る日々を届ける」をミッションとして掲げて、仕事のイネーブルメント(成果の創出や能力の向上)を届けるクラウドサービスを提供しています。 2022年