[B! searchengine] mamimumiのブックマーク

第5回　全文検索エンジン「Lucene/Solr」を導入する

今回は実際にLinuxマシン上にSolr/Luceneをインストールします。インデックスにデータを投入した上で，Solr/Luceneに組み込まれている管理機能の画面から検索を実施するところまでを紹介します。今回の作業で必要になるモジュール類は以下の通りとなります。 - Solr（Luceneは同こん） - Java SDK（1.5以降） - lucene-ja（N-gram解析機能） - sen（形態素解析機能）なお，今回の作業では日本語解析モジュールを導入しますが，その中で形態素解析モジュール用の辞書の作成が必要になります。形態素解析モジュール用の辞書作成作業では以下のモジュールが必要になります。 - ant（1.7以降） - perl（5.0以降）では，導入作業を進めましょう。（1）Javaのインストールまず，最新のSolr 1.3ではJava 1.5以上のバージョンが必要

mamimumi 2009/08/03

リンク

hadoopとかsolrとかの実験 - Solrのインストール - myfinder -redMine-

何はともあれ動かしてみないとどんなものかわかりません。 JavaとTomcatのインストールすでにやってあるものとします。 JavaはどこでもいいのでPATH通しておいてください。 Tomcatは/usr/local/apache-tomcat-5.5にインストールしたものとします。 solrの初期設定 solrはJavaで書かれてるので、JettyやらTomcatの上で動きます。アーカイブは適当にftpサイトから持ってくる超参考サイト超参考サイト配備 ~/apache-solr-1.3.0/dist/apache-solr-1.3.0.warを、solr.warとしてTOMCAT_HOME/webappsに配置。 TOMCAT_HOME/conf/Catalina/localhost/solr.xmlを作成 <Context docBase="solr" debug="0" c

mamimumi 2009/07/31

リンク

Solr のメモリ使用量を小さくする - ぼうずの日常的雑感

Solr で使われるメモリを減らす必要がある場合に僕がとりあえず考えることを挙げます．以下の内容は僕の Solr 1.3 での経験に基づいてますが，おそらく次期版の 1.4 でも同じではないかと思います．キャッシュを小さくするSolr はメモリ上に検索結果をキャッシュする機構を持っています．これは検索性能を向上するのにとても役立ちますが，メモリを食います．キャッシュは (Solrコアのホームディレクトリ)/conf/solrconfig.xml で定義され，サイズを指定することができます．Solr のキャッシュは何種類かあり，自分で用意することもできますが，たとえば元から用意されており世話になる可能性が高い filterCache は，Solr 添付の example 内の solrconfig.xml で次のように定義されています: キャッシュの容量を小さくするには，size 属性の値を

mamimumi 2009/07/31

リンク

マルチコア (Multi core) ってすっげー便利で実は簡単 - Solr, Python, MacBook Air in Shinagawa Seaside

マルチコアは一つの Solr で複数のインデックスをコントロールするための技術です。インデックス毎にそれらをハンドリングする SolrCore(以下コア) と呼ばれるインスタンスを並行して実行することでそれを実現しています。マルチコアはバージョン1.3 から導入された技術なのですが、バージョン1.2のリリースから1.3のリリースまで1年以上かかったのはこのマルチコアを実装するためだったといわれています。こう書くとなんだか難しそうですが使うのはとても簡単で、そしてとても便利な機能です。マルチコアを用いると、一つの Solr に複数のサービス向けのインデックスを相乗りさせることができます。ボクはリリース直後のまだトラフィックの少ないサービスを相乗りさせています。こうすることで、個別に Solr を建てるよりセットアップの手間も、コンピュータリソースも節約することができます。エンジニア

mamimumi 2009/07/03

リンク

モバイル検索サイトのリファラーから検索キーワードを抽出する正規表現 - F.Ko-Jiの「一秒後は未来」

このブログのモバイル版のアクセスログから、モバイル検索の検索キーワードを抽出しようと試みています。その際に使用した正規表現のメモです。なお、括弧はクエリ部分の1カ所のみ使用しているので少し冗長です。お好みによって書き換えていただければと思います。 Google Ezweb !^http://ezsch\.ezweb\.ne\.jp/search/ezGoogleMain\.php\?query=([^&]+)! Ezweb !^http://ezsch\.ezweb\.ne\.jp/search/\?.+&query=([^&]+)! Googleモバイル !^http://www\.google\.co\.jp/m\?.+&q=([^&]+)! !^http://www\.google\.com/m\?.+&q=([^&]+)! !^http://www\.google\.co\.jp

mamimumi 2009/06/22

リンク

記事一覧 - Solr, Python, MacBook Air in Shinagawa Seaside

WSL + Docker docker build -t python312 . docker images docker run -it --name python312 --gpus all -h python312 -v /home/hoge:/home/hoge -v /mnt:/mnt -p 8888:8888 -p 11434:11434 python312 ssh 172.17.0.2 # Ollama インストール ollama.com curl…