HyperEstraierで個人データを検索する[まだ調べ中]
mixiでも使われているって言う全文検索エンジンHyperEstraier。mixiの膨大な件数を処理するぐらいだから相当スケーラビリティもあるだろなーとおもいつつ、SQLだけで全文検索できちゃうMySQL+Sennaが便利なんで、そっちばっかり使ってました。 MySQL+Senna(Triton)も、PostgreSQL+Senna(Ludia)も、属性付きで検索した場合、Sennaで全文検索してから、その答えをSQLで絞り込みを行っているようで、たとえば、個人のメッセージを保存しているテーブルを検索した場合など、属性の値が多い場合には、かなり効率が悪くなる事が見えてました。 本当は、メッセージみたいなものは、個人ごとにインデックスをもって処理するべきなんだろうなと思っていて、SennaでやるかHyperEstraierでやるか迷いつつ、ぐぐっていたところ、HyperEstraierがど
livedoor Techブログ : Hyper Estraier で検索
はじめまして。ライブドアの山本です。 弊社は最近 CGMコンテンツに注力しています。 データがたまってくると、ユーザーが必要な情報をすばやく得られるように検索機能を実装する必要がでてきます。 各コンテンツそれぞれで検索機能を実装しているのですが、mysql から直接引いたり、Namazu や SUFARY などの検索エンジンもかなり使ったりしています。 今回は某コンテンツの検索エンジンとして使用している HyperEstraier のちょっとした導入方法をご紹介します。 HyperEstraier は平林幹雄さんが開発された検索エンジンで、次のような特徴があります。 * インデックスを使った高速な検索ができます。 * 大量の文書のインデックスを短時間で作成できます。 * N-gram方式による漏れのない検索ができます。 * 形態素解析とN-gramのハイブリッド機構で検索精度を向上させます
mixiが自社開発の検索エンジンに移行、ウェブ検索はYSTに
ミクシィは7月2日、ソーシャルネットワーキングサービス（SNS）「mixi」内の検索機能をgooから自社開発の検索エンジンに切り替えた。 今回の検索エンジン移行により、mixi内における日記やコミュニティの検索機能はすべて自社開発の検索エンジンによって提供される。 この検索エンジンは「文字 N-gram」をいう手法を用いたもので、従来の検索エンジンに比べて検索漏れが少ないという。mixiの日記には、辞書に掲載されていない文字が見られたり、文字がきちんと並んでいなかったりする。こういった場合に効率よく検索できる技術として文字 N-gramによる検索エンジンを導入したという。 同時に、ウェブ検索のエンジンも「Yahoo! Search Technology」（YST）に移行した。この検索エンジンはヤフーでも採用されている。 オーバーチュアは今回のYST導入を機に、mixi のコミュニティ検索、
川o・-・）＜2nd life - Rails の API を Hyper Estraier で全文検索
http://rails2u.com/esearch/ http://rails2u.com/esearch/estseek.fcgi?phrase=Reloaded&perpage=10 (サンプル) 自分が作ったウェブアプリの中じゃ、一番利用していると言っても過言ではない http://api.rails2u.com/ 。Rails のクラスやメソッドのインクリメンタル検索は便利ですが、やはり全文検索もしたくなることがあります。 というわけで高速検索が可能で利用方法もお手軽な Hyper Estraier を設置してみました。驚くほど簡単に Rails API のインデックスは作成が終わり、設置も FastCGI 版を lighttpd で動かしてみましたがすんなりと。 というわけで html などの全文検索をやってみたい人は Hyper Estraier を使ってみるといいかもしれま
HSJ.(中略).jp - Railsお勉強コーナー - acts_as_searchableで全文検索してみる。
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.liris.org/tech/program/hyperestraier-purepython/
開発メモ:アンチ検索ベース
acts_as_searchable
http://ar-searchable.rubyforge.org/
http://www.august.oor.jp/logs/boo/