Luceneで分散インデクシング
最近Luceneを使ってみている。Luceneを使って実験用のブログ検索エンジン（ぽいもの）を作っているが、とにかくインデクシングが遅い。Nutchでは、Luceneのインデックスをいくつものマシンに作成して、インデクシング/検索共に分散してやることが推奨されているようだが、残念ながら常時占有できるマシンがたくさんあったりはしない。 Luceneの本によれば、マルチスレッドでメモリ上にインデックスを作成して、あとでまとめて1つのインデックスをファイルシステム上に作るというのが、Luceneのインデクシングを高速化する常套手段らしい。しかし、それで高速化できるのは最大でも（インデックスのマージにかかる時間が0としても）1つのマシン上のCPU数だけで、大幅な高速化はできない。 そこで、複数のマシンでメモリ上にできるだけ大きな（メモリぎりぎりの）インデックスを作成し、それをファイルに書き出してネ
Daily Ohkura Info
Raspberry Piをいくつか運用していてよくSDCardが壊れるなと思ってより耐性の高いカードを買わないとと思っていたら、SDカードに書き込まずに運用するということが広く行われているということを発見してトライ。Docker対応する方法は簡単には見つからなかったので試行錯誤した。 以下作業メモ 普通にセットアップ(事前に/boot/ssh, /boot/wpa_supplicant.conf を作成) raspi-configでpassword, hostname, timezoneの設定 tmux, emacsをインストール watchdogの設定 (1) readonly modeにする基本設定 (2) 外部ディスクの追加 # /etc/fstab PARTUUID=abc-def /media/foobar ext4 defaults,auto,users,rw,nofail,x
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
