sunspotのチュートリアル意訳 - maeshimaの日記
インストール solrのインストールはmacなら brew install solr でOK。Rails側はまずGemfileに gem 'sunspot_rails' を書いて bundle install。それから rails g sunspot_rails:install で config/sunspot.yml を作成。 solr のインスタンスを起動 下記の rake タスクで起動できる rake sunspot:solr:start 初回実行時に Rails.root/solr ディレクトリが作成される。ここには Solr の設定とインデックスのデータファイルが置かれる。solr/data は.gitignoreに追加しておいた方がいいかも。Solr の設定いじりたい場合は solr/conf 配下のファイルをほげる。 モデルの設定 下記みたいに searchable メソッド
solr の start/stop スクリプト: おちエンのブログ
solr を起動するためには、 $ java -jar ./start.jar というコマンドを打つ必要があり、止めるためには Ctrl-c で停止させるという原始的方法。 これはいけてないので、start および stop スクリプトを作成しようと思います。 まず、start.sh。 #!/bin/sh JETTY_HOME_DIR=/usr/local/apache-solr-1.4.0/jetty cd $JETTY_HOME_DIR java -DSTOP.PORT=8090 -DSTOP.KEY=PASSOWRD -jar ./start.jar > /dev/null 2>&1 & 上記の PASSWORD というところは、適当な文字列に変更してください。 次に stop.sh。 #!/bin/sh JETTY_HOME_DIR=/usr/local/apache-solr-1
Apache Solr 3.3.0 で日本語検索できるようになるまでにしたこと - 働かないプログラマのメモ帳
これからはSolrを使って全文検索サービスの時代だということで、Solrをダウンロードしてきてサンプルアプリケーションで日本語が扱えるようにしました。 調べつつやっているのでもしかしたら間違っていることを言ってるかもしれません。 Apache Solr 3.3.0のダウンロード〜解凍 http://lucene.apache.org/solr/ の左側のメニューから【Resources】->【Download】と辿り、最新版（3.3.0）をダウンロードします。 今回は apache-solr-3.3.0.tgz をダウンロードしました。 $ wget http://ftp.kddilabs.jp/infosystems/apache//lucene/solr/3.3.0/apache-solr-3.3.0.tgz $ tar xvf apache-solr-3.3.0.tgz $ # 適当
SolrのTomcatへのインストールでハマる:お題目うぉっち
2008年04月06日 SolrのTomcatへのインストールでハマる 早速SolrをTomcat6.0の環境にインストールしてみる。 最初は、IBMの記事を参考にしたのだが、「以下のいずれかの方法で、Solr のホーム・ロケーションを設定します」のあたりで具体的に何をすべきかのかがわからなくなってしまった。 とりあえず、apache-solr-1.2.0.war ファイルはダウンロードしてあったので、これを $TOMCAT_HOME/webapps の下に置いてみたり、TomcatのWebアプリケーションマネージャ（http://localhost:8080/manager/html/）から配備してみたりしたが、いずれも失敗。画面が出るはずのURL（http://localhost:8080/solr/admin/）にアクセスしても、404エラーになってしまう。 Webアプリケーションマ
Solr, Python, MacBook Air in Shinagawa Seaside
atmarkit.itmedia.co.jp PowerToysで変更できるとの記事があるが試してみてできなかったので インストール不要でキー配置の変更が可能な「Change Key」を使った ついでに「カタカナひらがな」キーもctrlに変更した 満足 git config --global user.email "hoge@gmail.com" git config --global user.name "hoge" cd ~/work/Git git init git status git add HelloWorld.py <- ファイルを指定して監視 git add . <- カレントディレクトリ以下全てのファイルを監視 git commit -m "first commit" git log vi .gitignore <- 追跡しないファイルを書いておく /tmp/ git a
Cloudera Blog
The ongoing progress in Artificial Intelligence is constantly expanding the realms of possibility, revolutionizing industries and societies on a global scale. The release of LLMs surged by 136% in 2023 compared to 2022, and this upward trend is projected to continue in 2024. Today, 44% of organizations are experimenting with generative AI, with 10% having […] Read blog post
全文検索システム: Fess - オープンソース全文検索サーバー Fess (フェス)
概要 現在表示されているサイトは旧サイトです。新サイトは http://fess.codelibs.org/ja/ です。 Fess は「5 分で簡単に構築可能な全文検索サーバー」です。Java 実行環境があればどの OS でも実行可能です。Fess は Apache ライセンスで提供され、無料 (フリーソフト) でご利用いただけます。 Seasar2 ベースで構築され、検索エンジン部分には 2 億ドキュメントもインデックス可能と言われる Solr を利用しています。 ドキュメントクロールには S2Robot を利用することで、Web やファイルシステムに対するクロールが可能になり、MS Office 系のドキュメントや zip などの圧縮ファイルも検索対象とすることができます。 特徴 5 分で簡単に構築可能な全文検索サーバー Apache ライセンスで提供 (フリーソフト) OS 非依存
第6回 Solr/Luceneの活用に知っておくべき点
前回までに，Solr/Luceneの概要と簡単な導入検証までを説明しました。Lucene自体はライブラリであることから，これを利用して高度なアプリケーションを独自に実装することも可能ですが、簡単な検索機能であればSolrを利用し、比較的容易に利用できることがお分かりいただけたのではないでしょうか。今回は，導入のための留意点と，周辺のツール類を紹介します。 Solr/Lucene導入の実際 では，導入時の留意点について順に説明してきましょう。 ●インデックス設計 一般的に全文検索エンジンは，プレーンテキストのような非構造化データを効率良く検索するものです。そのため，データを格納するインデックスに対して，データを「ともかく放り込む」といった設計も可能です。 誤解を恐れずにいえば，その考え方自体は大きく間違っていません。しかし，インデックスの構造を充分に設計した方が，より効率の良い効果的な検索機
Fessで作るApache Solrベースの検索サーバー ～ REST API編
はじめに 前回のロールベース検索編では、ユーザーに閲覧権限が必要な環境においてどのようにFessを利用できるかをご紹介しました。今回はFessが提供するREST APIを利用して、クライアントサイド（ブラウザ側）で検索とその結果の表示を行う方法をご紹介します。REST APIを利用することで、既存のウェブシステムにもFessを検索サーバーとして利用して、HTMLだけの変更で組み込むことも可能になります。 本記事ではFess 4.0.0を利用して説明します。Fessの構築方法については導入編を参照してください。 対象読者 既存のウェブシステムに検索機能を加えたい方 Ajaxを利用した検索システムを構築したい方 必要な環境 この記事の内容に関しては次の環境で、動作確認を行っています。 IE 6／7／8 Firefox 3.6 Fessは通常のHTMLによる検索表現以外に、REST APIとして
検索技術を使うなら知ってないと損する6つのこと～クックパッド、グリー、ぐるなび、CROOZは検索技術をどう使っているのか（1/2） - ＠IT
クックパッド、グリー、ぐるなび、CROOZは検索技術を どう使っているのか 有限会社オングス 杉山貴章 2012/2/9 2012年1月26日、CROOZ主催の勉強会「モーショノロジー2012 ＃1」が開催された。今回のテーマは「全文検索」。検索技術の開発や活用に携わる6名の発表者によって、検索エンジンの実装やプロダクトの活用事例などが紹介された。 全文検索の歴史とgroongaの索引構築の実装 ソーシャル連携などに広がるECサイトでの全文検索 KVSの膨大なKeyを見つけるための全文検索 groongaのRuby実装「rroonga」による検索サービス モバイルに欠かせない位置情報検索で使うgroonga レシピ検索のプロトタイピングにApache Solrを使う そもそも、「モーショノロジー」って何？ そもそも、「モーショノロジー」とは何だろうか。総合司会を務めたCROOZの小俣泰明氏
SolrにWikipediaのデータを入れて遊ぶ
概要 全文検索エンジンのSolrを使って、Wikipedia（日本語版）の記事を検索する機能をさらっと作ってみる。面倒なことはすっ飛ばして、できるだけ少ない手数を選択。あと、ソースコードはJava。 注意事項として、Solrはけっこうメモリ食う。特にoptimize時とか、大掛かりなソート時とか。 メモリが少ないマシンでは使うと不自由するので避けた方が良いかもしれない。とりあえず手元の4G積んだマシンでは快適に動いている。 @CretedDate 2011/09/04 @Env Solr3.5.0 / lucene-gosen1.2.1 @UpdateDate 2012/02/21 Solr3.5.0に変更したりクエリの誤りを直したり Solrの導入 まずSolrをダウンロードして解凍する。 ここからダウンロード http://lucene.apache.org/solr/#getstar
検索エンジンの常識をApache Solrで身につける
表のような転置インデックス完成後は、クエリに対する結果を返す処理は簡単です。例えば、ユーザーが「Vim」というクエリを発行すると、検索エンジンは「Vim」を含む文書IDリストを返します。表では文書IDの「2」を返します。 検索エンジンを取り巻く7つの技術 検索エンジンのコア技術は前節で紹介したインデックスです。しかし実際に、検索インデックスだけで構成する検索エンジンから、検索サービスを構築するには多大なコストが掛かります。以下の節で検索エンジンを利用したシステム、検索サービスを構築する際に便利なコンポーネントを紹介します。 これらの機能のいくつかは、多くの検索エンジンが組み込んでいます。一方で、簡素な検索エンジンは、以下で紹介するコンポーネントをサポートしていないため、ユーザーが独自に開発するか、その機能を持つコンポーネントを組み込む必要があるものもあります。 【1】トークナイザ 検索エン
Java製形態素解析ライブラリ「lucene-gosen」を試してみる
概要 Javaの有名な形態素解析器でありながら、長らく「公式サイトどこ？」な状況だったSenとGoSenですが、最近はlucene-gosenなるGoSenベースのライブラリがちゃんと管理された状態で公開されてるとか。 lucene-gosen http://code.google.com/p/lucene-gosen/ しかもこの子は辞書内包なのでjarを落とすだけで使えて、Lucene用AnalyzerやSolr用Toknizerも付いていて、日本語の検索用インデックスを貼る時に便利な各種フィルタも用意されているという、至れり尽くせりな構成になっているとか。 これは触ってみねばということで、とりあえず簡単な形態素解析、辞書の追加、Luceneでの利用、Solrでの利用を試してみました。 ちなみに上のURLでCommiterのところに名前が出ているKoji SekiguchiさんはSol
Wikipedia のテキストデータを使ってベンチマークをする! その1 思い立ったこと - Solr, Python, MacBook Air in Shinagawa Seaside
テキスト検索のベンチマークをしたいと思い立ちました。 テストデータにはWikipediaのデータを使おうと思います。 現在 日本語Wikipediaのページ数は約130万ページです。 Solrに入れるときには1ページ1ドキュメントになるので 130万ドキュメントのインデックスが作られることになります。 Webクローラをガシガシ動かすようなシステムなら こんなドキュメント数は何の参考にもならないですが 一般的な?社内システムみたいなものだとそれなりに参考になる数値だと思います。 テキスト検索の性能を上げるためにRDBのデータをSolrに移すなんてこともよくありますが この場合はRDBの1レコードが1ドキュメントになるイメージになります。 検索エンジンを使いたくなるほどの文章量が入ったテーブルのレコード数が 100万レコードを超えるのってそう多くはないでしょ? ちなみに、Wikipedia の
coneco.netの検索をSolrでリニューアル : トラねこblog
2010年05月20日15:48 カテゴリ coneco.netの検索をSolrでリニューアル こんにちは、藤田です。 4/27に、coneco.net（コネコネット）の検索をリニューアルしました。 しばらく前から別ドメインで運用していた商品検索機能を、coneco.net本体に統合した形になります。 リニューアルによって、多くの商品（現在2,200万件ほど）を、高速に検索できるようになりました。今まで「coneco.netの検索は遅い」と敬遠されていた方にも、快適に使っていただけるようになったのではないかと思います。 検索エンジンは、オープンソースの検索エンジンSolrを使っています。 coneco.netで使っているSolrの構成を、少しご紹介します。Solrとは、Apacheプロジェクトの検索ライブラリLuceneをベースにした検索サーバーです。 日本ではまだそれほど普及していないよ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
#278 Search with Sunspot - RailsCasts
Solr 3.5 リリース！ ということで、リリースノートを日本語訳してみました
Lucene - CJKAnalyzer.java - cjkanalyzer, cjkanalyzer, deprecated, set, set, string
lucene-gosen + Solr 3.1 | 関口宏司のLuceneブログ
Google Code Archive - Long-term storage for Google Code Project Hosting.