livedoor Techブログ : Hyper Estraier で検索
はじめまして。ライブドアの山本です。 弊社は最近 CGMコンテンツに注力しています。 データがたまってくると、ユーザーが必要な情報をすばやく得られるように検索機能を実装する必要がでてきます。 各コンテンツそれぞれで検索機能を実装しているのですが、mysql から直接引いたり、Namazu や SUFARY などの検索エンジンもかなり使ったりしています。 今回は某コンテンツの検索エンジンとして使用している HyperEstraier のちょっとした導入方法をご紹介します。 HyperEstraier は平林幹雄さんが開発された検索エンジンで、次のような特徴があります。 * インデックスを使った高速な検索ができます。 * 大量の文書のインデックスを短時間で作成できます。 * N-gram方式による漏れのない検索ができます。 * 形態素解析とN-gramのハイブリッド機構で検索精度を向上させます
Windowsのアクセス権に対応したオープンソース全文検索システム，OSSテクノロジがリリース
オープンソース・ソリューション・テクノロジ(OSSテクノロジ)はオープンソースの全文検索システム「Chimera Search（キメラ・サーチ）」を発表した。Windowsのアクセス権に対応し，権限のないファイルは検索結果に表示されないことが特徴。2007年12月中に販売開始するとともに，GPLv2に基づきソースコードも公開する。 WindowsのほかSambaが稼働しているUNIX，Linux，MacOS，SMBプロトコルまたはCIFSプロトコルをサポートしたNAS上のファイルを，アクセス権限に従って検査しインデックスを作成する。対象となるファイルの種類はWord，Excel，PowerPoint，OpenDocument(OpenOffice.org, Sun StarSuite)，PDF，HTML，テキスト。 平林幹夫氏が開発したオープンソースの全文検索エンジン「Hyper Estr
RDB の FTS 拡張
2006-10-02 近況 sqlite を眺めていたとき私がもともと何をしていたかというと, RDB への全文検索(Fulltext Search: FTS)をつなぎ方を探していた. flino で使った HSQL は FTS に対応していない. 以前 Lucene あたりを繋げないものかとコードを覗いたけれど, 敷居は高そうだった. (Java のくせに sqlite より modular でない気がする.) よく見ると HSQL は BLOB にも対応していない. 結局ファイルと Lucene をアプリケーション側で管理している. いまいち. で, 今回はそのリベンジを目論んでいたのだった. (結局 sqlite をいじっているうちにストレス解消は完了.) 世の中を眺めてみると, RDB に FTS を繋ごうとする試みは多い. MySQL や PostgreSQL は FTS に対応
Firefox3でSQLite3の全文検索機能を使って日本語を検索する - bits and bytes
mal_blue@tumblrでFirefox3に載っているSQLiteに全文検索機能がついたのを知りました。昨年12月にGoogle Japan Blog: Google デベロッパー交流会 ( 第 4 回 )に参加させていただいたとき、Google Gearsの開発者がGoogle Gearsでサポートされているlocal storage(実体はsqliteのデータベースでSQLを使ってデータを読み書きできます)について非ASCIIのfull-text searchをサポートしたいと言われていたのを思い出しました。 その後どうなったかなー、と思ってちょっと検索してみたらGoogle Gearsと直接関係ないけどSQLite Full Text Search with MeCab - mynoteという記事が。この記事はSQLiteのCのAPIにはtokenizerを指定することができて
MySQL/PostgreSQL＋Sennaで行うラクラク全文検索……Tritonn＆Ludia導入のポイント | gihyo.jp
Tritonn、Ludia、そしてSennaとは…… 昨今のWeb 2.0と呼ばれるようなWebシステムでは、一般的に大量のコンテンツデータを内部に保有しているのではないでしょうか。大量のコンテンツから目的のコンテンツをユーザが選び取る手段の一つとして全文検索が挙げられます。全文検索とは、検索対象コンテンツの中身すべてに対して検索を行うことを指します。たとえば、タグやタイトルを対象にした検索だけでは、目的のコンテンツを発見できないような場合に有効な検索です。 データベースに保持された大量のデータを簡単に全文検索したい、という場合も多いことでしょう。本稿では、それを実現にする全文検索システムとして、次の2つを取り上げて紹介します。 Tritonn Ludia これらはそれぞれ、Tritonnは「MySQL」、Ludiaは「PostgreSQL」という、Webシステムを開発する上で人気の高
1日で作る全文検索エンジン - Building a full-text search engine in "ONE" day - - とあるはてな社員の日記
最近、「Introduction to Information Retrieval」というStanfordの大学院向け教科書のドラフトを読んでいます。id:naoyaあたりが勉強会で読んでいる教科書です。この教科書には、効率のいい全文検索システムを作るにはどうすればいいか、という(まさに)教科書的手法が網羅的に書いてあり、そのあたりに興味がある人には、非常に興味深く読めるお勧めの本です。 ただ、面白い面白いと言っているだけでは、エンジニアとしては価値半減ですので、GW中にrubyで一日かけて実装してみました。 さすがに実装は、一日で作ったものですから、非常に素朴です。マルチバイト文字はbi-gramで、シングルバイトはスペースなどの区切り記号で認識しています。インデックスは、rubyの処理系のHashやArrayで保持しており、外部にMarshallで書き出す、というものです。検索エンジン
PostgreSQL 8.3の全文検索機能（TSearch2）を日本語で利用する
Last Updated on: 2018年8月13日PostgreSQL 8.3.0から、ユーザから提供されている追加機能（contrib）として利用できた全文検索機能（TSearch2）が本体に取り込まれました。 本体に取り込まれたため、PostgreSQL 8.3.0以降ではソースから構築する場合に ./configure make make install と実行するだけで全文検索機能が利用できるようになりました。 TSearch2は単語単位で全文検索できます。しかし、日本語のように単語に区切りがない場合、単語に分解（形態素解析）してからインデックス化する必要があります。 # N-gramは使えません。 残念ながら日本語をそのまま扱える機能はPostgreSQL 8.3では実装されていません.しかし、TSearch2(textsearch)を日本語で利用するための追加機能がpgFo
i-revo お客様サポート 重要なお知らせ
i-revo お客様サポート 重要なお知らせ i-revoマイポータル終了のお知らせ（2017年3月31日） 日頃よりi-revoマイポータルをご愛顧いただき誠にありがとうございます。 このたび、当サイトは2017年3月31日付けにてサービスを終了いたしました。 併せて「プニマル」、「i-revo 占い」についてもサービスを終了いたしました。 2006年3月のサービス開始以来、 お客様および関係各社の皆様にはさまざまに、ご協力をいただきました。 ここに御礼申し上げます。 i-revoマイポータルのサービス終了につきまして、なにとぞご理解いただきたく存じます。 今後とも「i-revo」をよろしくお願い申し上げます。 全て見る
かずひこ空間 - Linux Conference 2005 全文検索 BOF
全文検索システムの開発者とユーザが集まり、各システムの紹介やデモなどを交えながら、全文検索システムに関することをみんなで話しましょう。 日頃全文検索システムを使っていて感じていることや、やりたいと思っていること、あるいはこの機会に開発者に直接聞いてみたいと思っていることなど、なんでも OK です。 全文検索に興味のある方はぜひご参加ください。 発表者 竹迫良範さん (Namazu Project) 発表資料 平林幹雄さん (Hyper Estraier開発者) 発表資料 西田雄也さん・高尾宏治さん (Rast開発者) 発表資料 大沢和宏さん (検索サイト運営者) 発表資料 かずひこ (コーディネータ) 発表資料 YappoLogs 要求に見合った選定をきちんとする事が大事です。 開発メモ いいところは互いにどんどん取り入れるとともに、プロジェクトの目的に応じた独自性を進化させていくというの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hyper Estraier: a full-text search system for communities
MySQL FULLTEXT Ngram : LIKE検索より数十倍高速な、お手軽 日本語全文検索 について｜blog｜たたみラボ
acts_as_searchable
新書マップ～テーマで探す新書ガイド～
http://www.netlab.jp/rast/index.html.ja
http://dev.razil.jp/project/senna/
Mikio Hirabayashi（平林幹雄）