全文検索エンジン Solr のパフォーマンスチューニングについて - にょきにょきブログ
この記事は古くなりました。新しい知見は下記を参照。aoking.hatenablog.jp 概要 全文検索エンジン Solr を使用していて、パフォーマンスチューニングに四苦八苦した話。 ここでは、検索時ではなくドキュメントの追加時についてのチューニングについて記してある。 更新自体は参照に比べて頻度が少ないが、参照はレプリケーションして負荷分散しやすい。 更新は整合性を保つために一台のマスターノードに対して行われるので更新はボトルネックになりやすいのだ。 定期的に IO 負荷が高くなる Solr を使っていると、一時的に猛烈に IO 負荷が高まる時がある。fsync になんと1分以上かかるような、猛烈な負荷だ。 これはインデクスのマージ時に起きる IO 負荷で、巨大なインデクス同士のマージだとその合計サイズ分の IO が発生することで IO 処理が専有されたままになっていた。 インデクス
pixiv サイバーエージェント共同勉強会 solr導入記
8. Mysql の全文検索には更新時ロックがかかる MyISAM のため Replication で更新クエリーがくるとそこでロックがかかってしまう CPU のコア数でスケールできない ロックがかかるため CPU が１コア分くらいしか使い切れていない R-18 など数値のある文字が重い たとえば６を検索したとき⑥や全角半角の６なども OR 検索し条件が増える 揺らぎ補正のため Normalize は Off にできない MySQL のバージョンをあげることができない Tritonn が組み込まれたバージョンを使用しなければならないため Mysql5.1 などにアップグレードできなかった 9. 何かの検索文字 R-18 東方 ( はいてない OR 穿いてない OR はいてません OR 穿いてません OR ノーパン ) ( 髪 OR かみ )( ほどき OR ほどく OR ほどけ OR ほど
第6回 Solr/Luceneの活用に知っておくべき点
前回までに，Solr/Luceneの概要と簡単な導入検証までを説明しました。Lucene自体はライブラリであることから，これを利用して高度なアプリケーションを独自に実装することも可能ですが、簡単な検索機能であればSolrを利用し、比較的容易に利用できることがお分かりいただけたのではないでしょうか。今回は，導入のための留意点と，周辺のツール類を紹介します。 Solr/Lucene導入の実際 では，導入時の留意点について順に説明してきましょう。 ●インデックス設計 一般的に全文検索エンジンは，プレーンテキストのような非構造化データを効率良く検索するものです。そのため，データを格納するインデックスに対して，データを「ともかく放り込む」といった設計も可能です。 誤解を恐れずにいえば，その考え方自体は大きく間違っていません。しかし，インデックスの構造を充分に設計した方が，より効率の良い効果的な検索機
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
