こんにちは。レトリバの飯田(@meshidenn)です。カスタマーサクセス部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。 皆さんは、検索エンジンの評価をどのように行なっていますか？検索エンジンの評価は、実はユーザが求めていることによって変わってきます。今回は、ユーザが求めていること=ユーザモデルと検索評価指標の関係について、書いていきます。なお、以下の内容は酒井先生の書籍に記載されておりますので、詳細が気になる方は、こちらも読んでみてください。 集合検索指標 1クエリに対する評価 複数クエリに対する評価 ランク付き検索指標 平均精度と逆数順位のユーザモデル 終わりに 集合検索指標 1クエリに対する評価 最も基本的な指標は、集合検索指標です。これは機械学習でよく用いられる、 再現率・適合率・スコアを使用します。以下、それぞれ式にします。まず、ある検

4/18に開催されたBacklog world 2020 re:Union。同時接続約400名と、非常に盛り上がったオンラインイベントでした。 私は天神放送局として、このイベントの配信を担当させていただきました。イベントのリアル開催ができない今、同じような配信をしたい方も多いと思います。 そういった方々の参考にして欲しく、前後編に分けて配信の構成を紹介します。 配信アーカイブYouTubeには既に当日のアーカイブが公開されています。ぜひ実際の映像もご覧ください。 前提として、今回は完全オンラインの配信です。登壇者・運営者・配信者、全員が自宅からZoomで接続して配信しました。 当初は、運営・配信だけ集合する予定でしたが、緊急事態宣言の発令により完全オンラインへの移行が決まります。結果的には、非常に安定した配信で終われたと思います。一時トラブルで止まったものの、迅速な復旧をすることができまし

こんにちは。ZOZOテクノロジーズZOZOTOWN部 検索チーム 兼 ECプラットフォーム部 検索基盤チームの有村です。 ZOZOTOWNでは先日公開した記事の通り、すべての検索をElasticsearchへ置き換えました。置き換え直後は順調に見えたのですが、実際に数%ずつリリースしていく中で一部時間帯、一部リクエストでレスポンス速度の低下がみられました。 本記事ではその解決のために行ったパフォーマンス調査、チューニング方法についてご紹介します。なお、一般的に行われるであろうElasticsearch本体のパラメータチューニングの話ではなく、クエリやmapping、setting面の話がメインとなります。 改善前後の速度について 詳細な内容の前に、本改善によるレスポンス速度の最終的な改善結果を示します。 今回の計測では、一定パターンのリクエストを10秒間繰り返し、95%tileのレスポンス

standfmはシードラウンドとしてYJ Capitalから5億円の資金調達と配信者のチャンネルの収益化をサポートする、パートナープログラムをリリースしました。 今回のnoteでは、 ・なぜstand.fmを創ったのか ・なぜ資金調達したのか ・「隠れた真実」 ・まさかの衝撃の結末とは... あたりを気の向くままに書いていきます。 しかし書いているうちの、大どんでん返しの衝撃のラストを迎えることになるとは思っていませんでした。是非、最後までお付き合いください。 創った理由の長いポエムが前回のnoteにあるが、ここで改めて軽く。 なんでstand.fmを創ったのか 個人が何か表現できるtoC向けのプラットフォームがインターネットっぽくて大好きで、世にあるサービスでいうと、テレビ、動画表現を民主化したyoutubeや、新しい表現の場としてInstagram、超ええやん。 そんな嗜好性があって、

こんにちは、株式会社サイバーエージェント 秋葉原ラボの高野です。2020年4月20日から24日に行われた「The Web Conference」（通称WWW）の論文読み会をお届けします。この論文読み会は2017年から開催しており、今年で4回目になります。 今回は非同期オンライン（つまりブログ）にて開催いたします。 The Web Conference (通称 WWW) は情報系トップカンファレンスのうちの一つで、その名の通りWebに関する国際会議でシステム・検索・機械学習から社会問題まで幅広いトピックを扱っています。 発表された全ての論文は以下のサイトで公開されています。 WWW2020 Proceedings この論文読み会は後述の弊社秋葉原ラボのエンジニアの6名がWWW2020の発表論文から各自のテーマに沿っていくつか選び、興味深いと感じた論文をいくつかご紹介するものです。論文紹介はテ

ミクシィがひっそり始めた競輪投票サイト「TIPSTAR」が思いがけず画期的だったので、コロナ禍の新課金手段としてご紹介しますの巻。 Tweet Share on Tumblr カテゴリ:その他 2020年08月19日08:00 もともとガチャのものにさらにガチャをつけるという発想！ 本来なら3日くらい前に書きたかった話なのですが、多忙によりズレ込んでしまいました。先日、楽天とミクシィからもらった金（のようなもの）を円に換えるために競輪をやったのですが、その際に使ったミクシィのサイトが非常に新しい気づきを与えてくれるものでしたのでご紹介したく思います。 「モンスターストライク」の後継サービスを探し続けるミクシィは、保有した大量の現金と、創業オーナーが株保有の大半を占めるという強固な運営体制によって、いろんなサービスを手掛けては「これはモンスターストライクではない…」をやっている最中です。その

Transcript 1 ϝϧΧϦʹ͓͚Δ෼ੳ؀ڥ੔උͷऔΓ૊Έ גࣜձࣾϝϧΧϦ / JP Data Analyst ӬҪ৳໻ 2 Introduction 3 ! ӬҪ ৳໻ ! גࣜձࣾϝϧΧϦ / JP ! Data Analyst ◦ ෼ੳ؀ڥͷ੔උͳͲΛ୲౰ ࣗݾ঺հ 4 ! ݱঢ় ◦ ͳͥվળʹऔΓ૊Ήͷ͔?
 ! ͋Γ͍ͨ࢟ ◦ վળͷαΠΫϧΛճ͍ͨ͠ɻ ! औΓ૊Έ ◦ ϨΨγʔͳσʔληοτΛഇࢭ͢Δɻ ◦ ͦͷͨΊʹɺۀ຿ͱKPIͱج൫ΛηοτͰߟ͑Δɻ ΞδΣϯμ : ϝϧΧϦʹ͓͚Δ෼ੳ؀ڥͷ੔උͷࣄྫ 5 ݱঢ় | ͳͥվળʹऔΓ૊Ήͷ͔? 6 ! ج൫ ◦ BigQuery + Looker ! ن໛ ◦ ΫΤϦ࣮ߦϢʔβʔ਺ 700ਓҎ্/݄ ◦ ࢀর͞Ε͍ͯΔςʔϒϧ਺ 100Ҏ্/݄ ◦ Analyst, PdM, ML, CS, ͳͲ ϝϧΧϦʹ͓͚

本稿では、分析用のSQLを書くときに則っている思考回路について述べて行こうと思います。 この言語化はあまりきちんとされている印象が無いので、自分がそこそこ初めての言語化だと思って頑張ってやってみようと思います。 言い換えれば、私はこういう思考回路でSQLを書きますが、みなさんどうですか、という話でもあります。 あとは、前提として、現代的な分析用の分散エンジンにSQLを投げるときを考えています。それ以外の場合はむしろ非効率になることも多いかもしれません。 0.問題設定今回の題材は、待てばチケットが復活する無料単話があり、有料で無料単話も買える、そして単行本購買もできる、というマンガサービスとしましょう。 このサービスの企画者から、チケットで無料単話だけ読むユーザが、もし有料で単話を買うようになったらどれくらい売上が伸びるのか教えてほしい、という依頼が来たとします。 これを仮説形式に直すと、