タグ

ブックマーク / shunyaueta.com (2)

  • Twitter の検索システム、Earilybirdの論文を読む

    2023-04-29 前回の記事の続き1で、Twitter の検索システムシリーズ第 2 弾です。 Earlybird とは?Twitter の検索システムであり、 Apache Lucene をベースにした、リアルタイム検索システム。 論文はここで、 Blog 記事は The Engineering Behind Twitter’s New Search Experienceは 2011 年に公開されている。 TODO: 論文に書かれず、Blog 記事にのみ書かれている内容もあったので読んで追記しておく Web 検索はある程度成熟してきた分野だが、SNS のリアルタイム検索はまだ 2011 年当時いまだ未成熟で未開拓な分野Twitter で新たに開発したのが、 Earlybird と呼ばれるリアルタイム検索に特化した検索エンジンLucene の NRT 機能が導入され始めたのが、2011

    Twitter の検索システム、Earilybirdの論文を読む
  • Twitter の検索システムを学ぶ - 概要編

    2023-04-17 Twitter’s Recommendation Algorithm Elon Mask が以前から計画していた、Twitter の検索&推薦関連のシステムが GitHub で公開された。 良い機会なので、いままでの Twitter 検索の記事をまとめつつ、コードも読んでみます。 単発の記事でまとめようとするとドデカ記事になってしまうので、一連の記事を通じて Twitter の検索システムを学んでいきたいと思っており、以下の構成で進めていく。 概要編論文解説コードを読んでみたTwitter’s New Search Architecture 2010-10-06 公開 この時期に新しいアーキテクチャに移行MySQL による検索から Lucene による検索へ移行要件1000 tweets/sec12000 queries/sec1 billion queries /

    Twitter の検索システムを学ぶ - 概要編
    mookie
    mookie 2023/04/26
    検索エンジン
  • 1