「関連する○○」機能を手軽に実現できる。そう、Elasticsearch ならね。 - クックパッド開発者ブログ
セコン (id:secondlife, @hotchpotch) です。ウェブサービスにはよく「このエントリーに関連するブログ記事」や「このレシピに関連するレシピ」という機能が実現されてますよね。さて、この機能はどのように実現すれば良いでしょうか。例えば tf-idf で単語の類似度を求め…といった実装が必要になり、いささか面倒です。 しかしながら Elasticsearch や Solr *1を使うと手軽に実現できます。例えば、クックパッドニュースの記事では Solr を使い「この記事を読んだ人におすすめ」の機能に、最近クックパッドにジョインしたインドネシアの会社の DapurMasak では Elasticsearch を使い「Resep serupa(関連レシピ)」の機能で利用しています。 クックパッドニュースでのこの記事を読んだ人におすすめ DapurMasak での関連レシピ 使
InnoDB純正の全文検索エンジンInnoDB FTS
2011-07-28 InnoDB純正の全文検索エンジンInnoDB FTS つい先日、MySQL-5.6.3-labs版がリリースがされました。この中にはInnoDBで動作する全文検索エンジン"InnoDB FTS"が含まれています。これまでは、MySQLとInnoDBの組み合わせで全文検索を行うためにはサードパーティの製品(mroonga 等..)が必要でしたが、これでズバっと選択肢が広がることになります。しかもInnoDBの開発チームが自ら開発した"純正の"エンジンということですから、これは大きな期待が持てます。 いったいどのような製品に仕上がっているのか、ざっくり記事やソースを読んで得た感触を述べてみたいと思います。 written by daijiro.mori どんなエンジンか? エンジンの概要については、 Overview and Getting Started with I
検索クエリログからのスペル訂正辞書の自動生成 - mixi engineer blog
先月ハワイに行ってきてオルオルな （ハワイ語で '楽しい' という意味） 気分の takahi-i です。最近ログデータの有効活用が話題になっていますが、検索エンジンが出力する検索クエリログを使用してどんなことができるのかについて紹介させていただきます。 検索クエリログ 検索クエリログ (以下検索ログ) は検索エンジンを使用するユーザから発行された検索の履歴を保存したファイルです。検索ログのフォーマットは使用する検索エンジンや Web サーバによって異なります。さらにまた検索ログが含む情報にも差異があることが考えられますが、本稿では検索ログは解析を行う上で重要な三つの要素を含むと仮定します。三つの要素とはユーザ ID （もしくは IP アドレス）、クエリ文、そしてクエリが検索エンジンに処理された時間です。以下検索ログの一例を載せます。 ユーザID クエリ文 クエリ発行時 438904 Su
Lucene Revolution 2011 に参加しました - mixi engineer blog
研究開発グループの takahi-i です。 先日 Lucene Revolution という Apache Lucene / Solr に関する会議に参加してきました。ここでいう Lucene とは Java ベースの全文検索エンジンです。 Lucene (ルシーン) は優秀な全文検索エンジンなのですが、Lucene から実際にWebサービスで提供される検索サービスを作るのにはそこそこコストがかかります。これに対して Solr （ソーラ） は Lucene をベースにした検索プラットフォームで、簡単に検索サービスを立ち上げられるパッケージ（Webインターフェース、Spell Check機能等）を提供しています。 Lucene / Solr 共に多くの企業が提供する検索サービスで利用された実績を持ちます。 今年の Lucene Revolution はサンフランシスコで開かれ、開発者および
【これはすごい】Twitter検索を3倍高速化した記事の翻訳 - nokunoの日記
これはすごい！ というわけでTwitter検索を3倍高速化したという記事を翻訳してみました。Twitter Engineering: Twitter Search is Now 3x Faster2010年春。Twitterの検索チームは、我々の増え続けるトラフィックに対応し、エンドユーザにとっての遅延を減らし、我々のサービスの可用性を向上させ、新しい検索の機能を素早く開発できるようにするため、検索エンジンを書きなおす作業を始めた。 その努力の一部として、我々は新しいリアルタイム検索をリリースし、検索のバックエンドをMySQLからLuceneのリアルタイム版に変更した。そして先週、我々はRuby-on-Railsに取って代わるフロントエンドをローンチした。我々がBlenderと呼ぶJavaサーバーである。我々はこの変更によって検索のレイテンシが3分の1になり、検索機能の開発を促進できるよう
Nutch - PukiWiki
オープンソースな検索エンジン Nutch のインストールから設定まで 本家サイト＋α † 本家サイトはこちら http://www.nutch.org/ 開発者向けページはこちら http://www.nutch.org/docs/en/developers.html このページの前半戦の参考ページはこちら http://www.nutch.org/docs/en/tutorial.html うちのサーバーで動いてるサンプル http://nutch.happy-camper.st/ ６時間おきに新しいページを求めてネット上を徘徊して回ります。 2004/02/18 １日１回に変更。 １回のデータ更新で、３時間ほど費やされたら、１日の半分は巡回してることになる。 結構データもたまってるみたいだしね。 韓国人のLEEさんが立ち上げている、Nutchサポートサイト http://www.nut
導入と基本的な使い方 - Nutch調査録（mwSoft）
導入と基本的な使い方 - Nutch調査録 概要 LinuxでNutchのソースを落としてantして、適当にコマンドを打ってみる。 @Author mwSoft @Date 2010/12/11 @Env Nutch1.2/Fedora14 Nutchとは NutchはLucene（全文検索エンジン）のサブプロジェクトとして開発された、Java製のクローラ。Webのリンクをたどりながらいい感じにページを収集して、いい感じにスコアを付けて、いい感じに全文検索（Lucene）用のインデックスも生成してくれる。 内部的にはHadoopのMapReduceを多用しているので、情報量が増えてもマシンを分散することでで対応することができる。 ダウンロードからantまで 以下の公式サイトから、Resources → Download → apache-nutch-1.2-src.tar.gz を落とす。
Welcome to PyLucene
Welcome to PyLucene What is PyLucene ? PyLucene is a Python extension for accessing Java Lucene™. Its goal is to allow you to use Lucene's text indexing and searching capabilities from Python. It is API compatible with Java Lucene version 9.10.0 as of March 4th, 2024. PyLucene is not a Lucene port but a Python wrapper around Java Lucene. PyLucene embeds a Java VM with Lucene into a Python process.
わんだふるさーち - MugiCha
わんだふるさーち。 PHPの勉強がてら、Wonderflの検索エンジンをつくってみた。本家の検索機能は、タイトルで検索しても引っかからないあまりに酷い仕様なので、誰か作らないかなと期待していたけど結局自分で作ってしまった。 Wonderflを静的にクロールした20000ページ弱のインデックスを置いている。まだクォーテーションを入れていないので、スペース入りの検索ができない(license:"MIT license"とか)。 クローリング:Java&wget インデクシング:Java(Lucene(CJKAnalyzer)) 検索:PHP(Zend_Search_Lucene) 個人的にご褒美あげたいのはソートのところ。Zend_Search_Luceneのソート機能では全Documentにアクセスしにいくためすごく時間がかかるが、インデックスの作成時に、ソート順を記したファイルを別に作って
Zend Framework: Documentation
Zend_Search_Lucene は、完全に PHP 5 で書かれている汎用的なテキスト検索エンジンです。 インデックスをファイルシステム上に保存するためデータベースサーバを必要とせず、 たいていの PHP ウェブサイト上で動作させることができます。 Zend_Search_Lucene は、以下の機能をサポートしています。 重要度による検索 - 最もマッチした結果が最初に返されます さまざまな強力な検索方式: フレーズ検索、boolean 検索、ワイルドカード検索、 あいまい検索、範囲指定検索などなど 指定したフィールド (例: タイトル、作者、内容) による検索 Zend_Search_Lucene は Apache Lucene プロジェクトから派生したものです。 現在 (ZF 1.6 以降) サポートしている Lucene インデックスフォーマットバージョンは 1.4 - 2.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Installing Search Engines — Haystack 2.5.0 documentation
LuceneとSennaの比較：クエリー書式編（後編） | 関口宏司のLuceneブログ
Solr Powered Lucene
lucene-gosen + Solr 3.1 | 関口宏司のLuceneブログ
IBM Developer
関口宏司のLuceneブログ
pylucene-ja - Google Groups