【これはすごい】Twitter検索を3倍高速化した記事の翻訳 - nokunoの日記
これはすごい！ というわけでTwitter検索を3倍高速化したという記事を翻訳してみました。Twitter Engineering: Twitter Search is Now 3x Faster2010年春。Twitterの検索チームは、我々の増え続けるトラフィックに対応し、エンドユーザにとっての遅延を減らし、我々のサービスの可用性を向上させ、新しい検索の機能を素早く開発できるようにするため、検索エンジンを書きなおす作業を始めた。 その努力の一部として、我々は新しいリアルタイム検索をリリースし、検索のバックエンドをMySQLからLuceneのリアルタイム版に変更した。そして先週、我々はRuby-on-Railsに取って代わるフロントエンドをローンチした。我々がBlenderと呼ぶJavaサーバーである。我々はこの変更によって検索のレイテンシが3分の1になり、検索機能の開発を促進できるよう
TwitterにおけるHadoopとLuceneを利用した大規模データ解析について - nokunoの日記
Twitterについては先日の記事でフロントエンドのBlenderを紹介しましたが、バックエンドやデータ解析のシステムにも興味があります。ちょうどData-Intensive Text Processing with MapReduceで有名な@lintool先生の新しい論文が公開されていたので読んでみました。Full-Text Indexing for Optimizing Selection Operations in Large-Scale Data Analytics(pdf)ACMのMapReduce'11というワークショップで発表された内容のようです。この論文を読んで初めて知ったのですが、Lin先生はサバティカル休暇（大学教授が長期の休みを取れる制度）でTwitterに来ており、データ解析チームで働いているそうです。この論文もTwitterエンジニアの@squarecogさんと
Thriftを使って俺俺Key-Value Storeを作った - nokunoの日記
っていうタイトルにしようと思ったんだけど、要するにThriftを使ってTxをサーバーとして使えるようにしました。 Thriftについてはこちら。Thriftインストールメモ - nokunoの日記 Txについてはこちら。Tx: Succinct Trie Data Structure READMETxThrift 1.00 2009/09/19動作環境：LinuxTxThriftはThriftを用いてTxをサーバーとして利用できるように拡張したソフトウェアです。TxThriftは、Txの持つ以下のような特徴を引き継いでいます。1. キーを圧縮して持つため、メモリー使用量が少ない2. 自然言語処理に必要なcommon prefix searchなどを高速に行うことができる3. 静的にインデックスを持つため、初期化後はキーの追加や削除はできないTxThriftの応用例として、以下のようなアプリ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
