はじめに はじめに dbt はそもそもツールとして何を行なうか ELT における Transform について dbt が担っている機能 dbt は技術的にどのようにして Transform を実現しているか Jinja テンプレートによる SQL の生成 各種データ基盤に向けたデータ変換の手続きの抽象化 生成された SQL に基づくデータ変換の手続きの実行 さいごに DRE&MLOps チームの hyamamoto です。 最近は涼しくなってきて、秋の気配が感じられるようになってきましたね。 秋は一番好きな季節なので嬉しいです。 さて、今回は dbt について少し変わった切り口で紹介します。 今回の紹介において主眼に置きたいことは以下の内容です。 dbt はそもそもツールとして何を行なうか dbt は技術的にどのようにしてその機能を実現しているか その機能の結果 dbt はアプリケーショ

こんにちは、研究開発チームの飯塚です。11/1~11/5にオンラインで行われた、CIKM2021に発表参加しました。CIKMとはACM International Conference on Information and Knowledge Managementの略称で、機械学習やWebマイニング、情報検索/推薦といったトピックを扱う国際会議の1つです。今年のCIKMも、新型コロナウィルス感染症対策の観点からオンラインで開催されました。Gunosy社として、このCIKMに参加するのは初めてでした。本記事では、今回投稿した論文の経緯や概要、ニュースに関する他研究者の発表の一部をご紹介します。 投稿論文 近年オンラインメディアでは、タイトルや画像などを誇張したクリックベイト記事、ユーザーをミスリードするような釣り記事の問題が指摘されています。また、推薦システム側の問題としては、パーソナライゼ

こんにちは。Gunosy TechLab MediaMLチーム所属の桾澤 (@gumigumi4f) です。 この記事では、弊社で配信しているニュースアプリであるグノシーのパーソナライズアルゴリズムを刷新した話について書きたいと思います。 アーキテクチャの部分まで含めて記事にしてしまうと非常にブログが長くなってしまうので、本記事ではリアルタイム性の高い重要なニュース記事についてどのようにレコメンドするかについて注目して述べます。 アーキテクチャの部分についてはブログ後編のアーキテクチャ編にて書きたいと思います。 後編はこちら data.gunosy.io ニュースアプリのパーソナライズ グノシーにおける旧来のパーソナライズアルゴリズムとその課題 グノシーの新しいパーソナライズアルゴリズム オフライン実験とA/Bテスト おわりに ニュースアプリのパーソナライズ グノシーというニュースアプリで

はじめに こんにちは、20卒 Gunosy Tech Lab 所属の上村です。 Gunosy Tech Labでは、グノシー・ニュースパス・ルクラなどで用いられる記事配信ロジックのアルゴリズム改善を行っています。 Gunosyではニュース記事をベクトルで表現し、様々なロジックに組み込むことで、ユーザ体験の向上を図っています。 活用事例に興味がある方はこちら data.gunosy.io 今回は、記事ベクトルを定量的に評価する手法を紹介していきます。 性能評価の手法として、単語ベクトル評価用データセットのような、 公開されたデータセットを用いて作成した文章ベクトルの評価を行うことはできますが、 独自のサービスのデータから生成したベクトルをそのサービスレベルで評価することは難しいです。 というのも、ドメイン（この場合はサービス）に特化した文章ベクトルはそれぞれ異なるはずであるため、 オープンな

はじめに こんにちはGunosy Tech Labの森本です。現在MLOps基盤を再整備しています。そこで調査した海外Tech企業の事例やMLOpsのフレームワークを紹介します。 Gunosy Tech LabのMedia MLチームではニュースアプリ（グノシー、ニュースパス、ルクラ）やクーポンアプリ（オトクル）の推薦アルゴリズムの改善を中心に機械学習を活用してアプリのサービス改善を日々行っています。過去にはチームが独立しており開発者も少数であったことから各チームがJupyter Notebook等でオフライン実験を行い、良い結果のものは本番環境に適用するためプロダクションコードを書き、レビューを行い、本番環境でA/Bテストするという流れでした。最近は開発者の人数も増え横断的にアプリのサービスを改善しているので、より効率的なMLOps基盤が求められています。 はじめに MLOpsとは 実現

はじめに こんにちは、研究開発チームの関です。 いつのまにやら年末感が漂ってきましたね。今年もクリスマスは赤レンガ倉庫でカップルたちの中アイドルライブを見て過ごしました。*1 年越しはCDJででんぱ組と年越しを迎えるので、クリスマスも年越しも推しと過ごせて幸せです。 さて、この記事はGunosy Advent Calendar 2019の21日目の記事です。*2 この記事では研究開発チームのこの1年の振り返りと、今後について書いて行こうと思います。 自分なりの整理や、社内広報の役割も兼ねています。 はじめに 2018年までの研究開発 2019年の主な活動 業績 学会・研究会への参加 参加した国際学会（いずれも発表参加） 参加した国内学会・研究会 スポンサーした学会 参加レポート 大学での講義 ウェブ工学とビジネスモデル ウェブサービスにおけるデータ分析と機械学習 2019年の振り返り よか

はじめに みなさんこんにちは、研究開発チームの関です。 先週末はでんぱ組の幕張2daysでしたね。なにを言っても陳腐になってしまうのですが本当に素晴らしい2日間でした。 色々素晴らしいことがあったのですが、推しが作った衣装をきた推しが最高に可愛かったのと、アンコールでのみりんちゃんサプライズのときの推しのドSなMCが最高に良かったです。 さてこの記事は情報検索アドベントカレンダーの9日目です。 昨日はh-nagoさんのqiita.comでした。 本日の記事ですが、私の推し研究者であるMounia lalmas氏をご紹介したいと思います。 みなさんにも推し研究者いますよね。 彼女は現在SpotifyのResearch Directorです。もともとは米ヤフーで研究をされており、2017年からSpotifyに移られたようです。 ウェブサービスにおけるユーザエンゲージメントに関する研究を数多く行

はじめに こんにちは！Gunosy Tech Lab の石川（@takaishikawa42）です。 この記事は Gunosy Advent Calendar 2019、12日目の記事です。 昨日の記事は id:mgi さんによるグノシーにおける AWS Transit Gateway 活用事例 でした。 12月11日・12日の2日間の日程で六本木の Google Japan のオフィスで開催された Kaggle Days Tokyo に参加してきたので、本記事ではそのレポートを書きたいと思います。普段趣味で Kaggle を楽しんでいる身として Kaggle Days が東京で開催されることを知り、前のめりで参加してきました。 当日の様子は Twitter のハッシュタグ #kaggledaystokyo で呟かれており、togetter でもまとめられています。*1 はじめに Kagg

はじめに みなさんこんにちは、研究開発チームの関です。 今年のクリスマスも横浜赤レンガ倉庫で、カップル大量発生の中ででんぱ組さんのライブを見て過ごすことになりそうです。 10/14~17までギリシャのテッサロニキで開催されていたWeb Intelligence 2019 (WI2019)に、 論文がFull Paperとして採択されましたので発表のために参加してきました。 すこし時間が経ってしまいましたが、採択された論文と現地の様子について報告したいと思います。 はじめに 採択された論文について 提案手法 システムアーキテクチャ 採択までのプロセス WSDM2018投稿時 WWW2019投稿時 WI2019投稿時 Web Intelligenceについて 概要 ギリシャのテッサロニキの様子 プログラム まとめ 採択された論文について まずはWI2019に採択された論文について紹介します。

はじめに 推薦システムのトップカンファレンスであるACM主催のRecSys2019 が9月15日から9月20日の間にコペンハーゲンで開催されました。 Gunosyから投稿した論文がshort paperとして採択され*1、関、飯塚の2名でポスター発表してきました。 はじめに Recsysについて タイムテーブル 本会議 Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches Online Learning to Rank for Sequential Music Recommendation Recommending What Video to Watch Next: A Multitask Ranking System Relaxed Softma

こんにちは、Gunosy Tech Lab の山田です。 Gunosy で開発しているニュースアプリ、ニュースパスでは「多くの人が知っておくべき」と判断されるニュースが出た時、即座にそれをユーザにプッシュ通知でお知らせする速報プッシュ機能があります。 例えば誰もが知るような有名人の結婚や、多くの死傷者が出てしまったような事件などが起こったときに速報が送られます。 しかし「多くの人が知っておくべきとまではいかないが、この話題に興味がある人は知っておいたほうが良さそう」なニュースも多くあります。 例えばスポーツ業界内でのニュースや、株価の大幅変動といったニュースなどがこれに当たると考えています。 そのようなニュースを全ユーザに送っても興味がないユーザが殆どですし、そのようなユーザからするととても邪魔な通知になってしまいます。 実際、以前のオリンピックの際などは速報を送りすぎてしまったのが原因で

はじめに 研究開発チームの関です。古川未鈴さんの結婚、ニジマス大門果琳さんの卒業、uijinの解散とアイドル業界も激動の秋を迎えていますね。 2019年8月4日から5日間、アメリカはアラスカ州アンカレッジで開催されたデータマイニング領域のトップカンファレンスであるKDD2019にGunosyから北田と関が参加・発表してきました。 これまでに2つのレポートを公開しています。 data.gunosy.io data.gunosy.io 本レポートではTutorialとして開催された「Challenges, Best Practices and Pitfalls in Evaluating Results of Online Controlled Experiments」の内容をレポートします。 内容は現在のA/Bテストのガイドラインと言ってもいい内容で、非常に参考になるポイントが多かったです。

はじめに こんにちはGunosy Tech Labの森本です。グノシーのニュース記事を実験的にBERTでテキスト分類しましたので、その結果を共有します。 BERTはご存知の通りGoogle AIが発表した双方向Transformerであり、Pre-trainingできる特徴があります。自然言語処理の代表的なデータセットを用いたタスクやベンチマークで発表当時複数のstate-of-the-artを記録しました。 arxiv.org 本記事ではテキスト分類に着目して実験を行いました。 テキスト分類は昨今の深層学習の熱気とは別に従来より研究されている分野であり、代表的なライブラリを使用することで実サービス上でも安定度の高い稼働を実現できます。 上図のようにグノシーにはエンタメ、スポーツのような様々なタブがあります。 これらタブにニュース記事を配置するときにテキスト分類が活躍します。 エンタメ、ス

こんにちは、Gunosy Tech Lab内定者の濱下と谷口です。 今年も昨年同様エンジニア向けデータ分析サマーインターンシップを実施しました。 メンターアルバイトとして参加したので，その様子やメンターとしての気付きなど，当日の写真を交えながら紹介します！ Gunosy Summer Internship 2019 について 講義 課題について 作業環境 ランチ・おやつ 結果発表 インターン参加者の感想 1位 : 京都大学・大村 和正 さん 2位 : 東京大学・大野 佑 さん 3位 : 早稲田大学・片山 颯人 さん メンター総括 濱下 谷口 Gunosy Summer Internship 2019 について Gunosy Summer Internship 2019は、株式会社Gunosyが2019年夏に開催した短期インターンシップです。 今年は「機械学習コース」と「サービス開発コース」

はじめに こんにちは、Gunosy Tech LabのBIチームに所属しているクボタです。 Gunosyではアプリ内のロジックやUI等の変更において数値ベースでの意思決定を行なっています。 例えば新たなキャンペーンでのCVR増加やUI変更によるA/Bテストでのクリック数増加の効果検証などで統計的に裏打された手法を用いることで正しく意思決定を行うことを目指しています。 data.gunosy.io 本記事ではそのような状況で必要となるサンプルサイズの設計や統計的仮説検定のお話をさせていただきます。 はじめに 検定手法の選択 統計的仮説検定の手順 比較する指標の選定 帰無仮説 と対立仮説 の決定 検定統計量の選定 有意水準の決定 検出力の決定 効果量の決定 サンプルサイズの計算 ノンパラメトリック検定 多重比較 おわりに 参考文献 検定手法の選択 数値による意思決定を行う際に検定はよく利用され

こんにちは。研究開発チームインターンの北田 (shunk031) です。今回は可愛い我が子（研究のことです）について書きます。 この度、私と研究開発チームの関さんで取り組んでいた研究がデータマイニングに関する国際会議KDD2019のApplied Data Science Trackにて採択されました。 gunosy.co.jp 発表した論文は "Conversion Prediction Using Multi-task Conditional Attention Networks to Support the Creation of Effective Ad Creatives"というタイトルで、テキストにフォーカスした広告クリエイティブ作成支援のためのコンバージョン予測がメインの研究です。 arxiv.org 今回はこうした研究がスタートしたきっかけや、インターン中にどのように研究を

はじめに こんにちは、MediaAds ML Teamに所属している飯塚(@zr_4) です。 以前書いたブログ*1をベースに変更を加えた論文がRecSys 2019 *2 に通りました(ヤッター)。 埋め込みベースの推薦は、近年最も成功を収めた推薦手法の一つです。 埋め込みベースの推薦を行っている多くの大企業では、精度良くアイテムやユーザーを表現するため、数百次元のベクトルを使用しています。それによって、莫大な計算リソースを日々消費していることと思います。またリアルタイムにベクトルの演算を行うために検索システムを自作している企業も少なくないと思います*3。負荷の大きさから、特定のロジックの実装に踏み込めないケースも多々あるかと思います。 一方で近年、埋め込みの空間に双曲空間を用いることで、階層構造、木構造、Directed Acyclic Graph (DAG) が低次元のベクトルで表現

こんにちは、データ分析部の川口です。 本日はGunosy社が提供しているニュースパスとLUCRAというニュースアプリケーションの関連記事推薦で用いられている、弊社メンバーが開発したGo言語の近似近傍探索用ライブラリgann github.com とその実装例/方法について述べます。 関連記事推薦と近似近傍探索について 以前、弊社の米田が投稿したニュースパスを支える関連記事推薦と近似近傍探索において、関連記事推薦と近似近傍探索ライブラリについて、説明しております。 ざくっと抜粋いたしますと、下記のようになります。 関連記事推薦とは、「特定のニュースに関連したニュースを推薦すること」 近似近傍探索gannは、ベクトル間の距離の近さを算出し、K-d treeを用いて指定のベクトルに近いベクトルを高速に算出できる、Go言語のライブラリ 概要 gannライブラリを用いた関連記事推薦の実装方法を説明い

はじめに Gunosyとして、JSAI2019に参加してきたので、発表の概要とイベントについて、紹介いたします。 はじめに JSAI2019について 発表について [インダストリアルセッション] Gunosyにおける研究開発 [1I2-J-5-05] 政治ニュース記事クラスタに対する属性ごとのユーザ行動の分析 ニュースアプリケーションのパーソナライゼーションアルゴリズムに対するマルチリービング手法の比較 スポンサーブース 論文紹介 ECサイトにおける商品タイトルからの商品名抽出 単語埋め込みにおける複数視点の対義語判定 多様なデータの統合に基づくマルチドメインナレッジベース構築システム グラフ上の問題に対する難しいインスタンスの自動生成 深層強化学習を用いたWeb サイト内行動のレコメンド Domain Adaptation Neural Networkを用いた広告クリック予測 多様なソ

こんにちは、研究開発チームの関です。 でんぱ組.incの推しである相沢梨紗さんと、妄キャリの推しだった桜野羽咲さんのコラボユニットが本格的に活動を開始しました。 生きてるといいことありますね。ステージ上の目のやり場に困っています。 今回3/12 ~ 3/15に名古屋大学で開催された言語処理学会第25回年次大会に一般発表とスポンサーとして参加しました。 言語処理学会年次大会へのスポンサーは今年で4年目になりますが、一般発表は初めてになります。 （昨年は論文賞をいただき、招待講演をさせていただいておりました。） data.gunosy.io 一般発表 一般発表では、Gunosyで研究開発チームでインターンをしている北田 (shunk031) が「広告クリエイティブ自動生成にむけたマルチタスク学習とConditional AttentionによるCVR予測」という題目で発表を行いました。予稿はこ