タグ

ブックマーク / crumbjp.hateblo.jp (1)

  • mongo-hadoop & mahout でドキュメントのクラスタリング(関連付け) - 中年engineerの独り言 - crumbjp

    Solrが結構困ったちゃん 全文検索エンジンSolrは便利なのだが、どうもAvailavilityに問題がある様に思う。 いや、環境がPoorなのもあるのだけれども GCも、PV負荷も、Indexing関連処理も して無い時間帯なのにクエストが刺さる事が多々ある! 今までは色々なキャッシュを駆使して凌いで来たけど、どうにもこうにも限界なようだ・・・ Solr クエリキャッシュ →クエリの結果を一定時間キャッシュする Solr フィルタキャッシュ →別クエリでも共有できる部分は共有する Memcached →そもそもSolrにクエリーを投げない! 精度の問題もあったりするので、コレを期にHadoopで自前で処理してしまおうかと思った。 登場人物 //www.mongodb.org/">MongoDB:勢いのある(OSS)分散DB。一貫性と分散性(CPシステム)に優れる。 //code.goo

    mongo-hadoop & mahout でドキュメントのクラスタリング(関連付け) - 中年engineerの独り言 - crumbjp
  • 1