Twitter、検索システムを刷新--Lucene採用で性能や拡張性を向上
Twitterがここ数週間かけてローンチしてきたという新しい検索システムのバックエンド技術について、米国時間10月6日のブログ投稿で明らかにした。 Twitterのリアルタイム検索エンジンはこれまで、同社が2008年に買収で取得したSummizeの技術をベースにしていたが、古いバージョンのMySQLを利用していることから成長に合わせた拡張が難しかったという。 そこで約半年前に、転置索引方式のアーキテクチャを基づく新システムを構築することに決定し、Javaで記述されたオープンソースの「Lucene」を採用した新システムの開発に乗り出した。リアルタイム検索に対応するため、インメモリのデータ構造など、Luceneに大きく手を加えながら新システムを開発したという。 その結果、パフォーマンスや拡張性が向上しただけでなく、検索速度に影響することなくインデックスのサイズを拡大することができ、柔軟性も向上
Twitter、リアルタイム検索をLuceneで構築。50倍高速に！
Twitterのリアルタイム検索機能が、オープンソースのLuceneベースになったと、Twitter Engineeringブログへのエントリ「Twitter's New Search Architecture」で紹介されています。 これまでTwitterはリアルタイム検索にMySQLベースの独自システムを利用してきましたが、規模の拡大が難しくなってきたため、6カ月前に新システムの構築を決定。オープンソースの検索エンジンであるLuceneを選択したとのことです。 従来の50倍も高速に！ 検索エンジンに対する要件は以下のように非常に厳しいものでした。 Our demands on the new system are immense: With over 1,000 TPS (Tweets/sec) and 12,000 QPS (queries/sec) = over 1 billion
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
