第1回 全文検索エンジンgroongaを紹介します！ | gihyo.jp
今回から始まった隔週連載groongaでは、groongaを使いたくなるような情報を隔週毎にお届けします。 groongaとはGitHubで公開されているオープンソースの全文検索エンジンです。大量にある文書の中から目的のキーワードを持つ文書を高速に見つけることができます。 groongaのロゴ©groongaプロジェクト 第1回目である今回は、この連載についてとgroongaの特徴を紹介します。 この連載について まず、この連載について説明します。 この連載は「読者の皆さんがgroongaを使いたくなる！」ことを目指しています。そのために、次の2点の情報を次回から交互にお届けします。 groongaの利用事例の紹介 利用事例に関連した役立つ情報の紹介 利用事例を紹介することで、「あそこでも使っているなら自分も使ってみようかなぁ」とか「こんな使い方をしているなら自分も使ってみようかなぁ」と
検索技術を使うなら知ってないと損する6つのこと～クックパッド、グリー、ぐるなび、CROOZは検索技術をどう使っているのか（2/2） - ＠IT
グリーでログ分析システムの開発を行っている一井崇氏からは、「全文検索のちょっとちがった使い方（仮）」と題する発表があった。 グリーにおける数値指標管理では、基本となるデータの総数が「1億キー×最大7年」という膨大な量に上り、さらに時間ごとに増え続けるアプリIDとの組み合わせなども考慮すると、すでに人間の手では管理しきれない状態にある。 同社ではMySQLベースのKVS（Key Value Store）によって、これらのデータを管理しているが、問題はkeyの数が膨大過ぎて必要なkeyを見つけるのが困難になっていることだという。 その解決のためにHadoopやMongoDBを導入するといった選択肢もあるが、同社が取った方法は「key stringを全文検索することで目的のkeyを探す」というものだった。一井氏によれば、グリーの数値指標管理システムの目的を整理すると、以下のようになるという。 や
実用に耐えるオープンソースの検索エンジン BEST３ – テコラボ
オープンソースの検索エンジンというのが幾つかあります。オープンソース、つまり無料の検索エンジンですね。 ほとんどは目的がニッチに特化したものが多く、ウェブで一般的に使えそうなものはあまり多くはないのですが、それでもちゃんと実用に使える、使っているものもあります。今回、テコラボでそういった使えるオープンソースの検索エンジンとして選んだものを載せておきます。 なんらかの理由でGoogleやBingを使えない、且つ、初期投資としてお金をかけられない、といったサイト開発やアプリケーション開発の場合に有効です。 BEST1 : [ Fess（Solr）] http://fess.codelibs.org/ja/index.html 検索エンジンにSolrを、クローラーにS2Robotを使う検索システムパッケージ。 5 分で簡単に構築可能な全文検索サーバー！ ウェブ、ファイルシステム、データベースのク
日本テレビ東京で学ぶMeCabのコスト計算 | mwSoft
今回はこの言葉の解析をMeCab＋NAIST辞書にお願いして、結果を分析することで、MeCabが行っているコスト計算について勉強してみたいと思います。 とりあえず実行してみる さっそくMeCabに「日本テレビ東京」を解析してもらいましょう。 $ echo 日本テレビ東京 | mecab 日本 名詞,固有名詞,地域,国,*,*,日本,ニッポン,ニッポン,, テレビ東京 名詞,固有名詞,組織,*,*,*,テレビ東京,テレビトウキョウ,テレビトーキョー,, EOS 「日本 | テレビ東京」と分けていますね。視聴率的には負けていますが、NAIST辞書的には日本テレビよりもテレビ東京が優先されたようです。 ちなみに「フジテレビ東京」ではどうなるでしょうか。 $ echo フジテレビ東京 | mecab フジテレビ 名詞,固有名詞,組織,*,*,*,フジテレビ,フジテレビ,フジテレビ,, 東京 名詞,
Hyper Estraier: a full-text search system for communities
Overview Hyper Estraier is a full-text search system. You can search lots of documents for some documents including specified words. If you run a web site, it is useful as your own search engine for pages in your site. Also, it is useful as search utilities of mail boxes and file servers. The characteristic of Hyper Estraier is the following. High performance of search High scalability of target d
“最適な”全文検索システムの選択 （1/2）－ ＠IT
第5回 “最適な”全文検索システムの選択 水谷 裕生 株式会社Cuon 2009/3/27 Rubyを使った大規模エンタープライズ開発が始まっている。Ruby on Railsでの開発において、インフラやアプリケーションアーキテクチャをどのように構成すべきかを考える（編集部） システムを構築するうえで、アーキテクチャの選択は非常に難しい問題である。 プラットホームはWindowsにするのか、Linuxにするのか。Linuxであれば、CentOSなのか、それともUbuntuなのか。また、開発言語はRubyがいいのか、PHPがいいのか。そして最後には、それらをどう組み合わせていくのかなどなど。 どれが正解なのかは、実際に経験したり、運用したりしてみなくては分からないものだ。しかし、実際の現場では経験がなくても、いろいろと調査したり、実際に試したりしてみて判断をしなくてはいけない場面が存在する。
Tritonnプロジェクト MySQL Sennaによる全文検索 〜
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
全文検索 - Wikipedia
順次走査検索、逐次検索ともいう。「grep」とはUNIXにおける文字列検索コマンドであり、複数のテキストファイルの内容を順次走査していくことで、検索対象となる文字列を探し出す。一般に「grep型」と呼ばれる検索手法は、事前に索引ファイル（インデックス）を作成せず、ファイルを順次走査していくために、検索対象の増加に伴って検索速度が低下するのが特徴である。ちなみに「grep型」とは実際にgrepコマンドを使っているという意味ではない。 インデックス作成型全文検索システム 検索対象となる文書数が膨大な場合、grep型では検索を行うたびに1つ1つの文書にアクセスし、該当データを逐次検索するので、検索対象文書の増加に比例して、検索にかかる時間も長くなっていってしまう。そこであらかじめ検索対象となる文書群を走査しておき、高速な検索が可能になるような索引データを準備することで、検索時のパフォーマンスを向
Hyper Estraier - Wikipedia
Hyper Estraier（ハイパーエストレイヤ）は、日本で開発された全文検索エンジンのライブラリである。ライセンスはLGPLで提供されている。 N-gram法を拡張したインデックス方式であるN.M-gram法を採用し、どの言語でも洩れの無い検索が可能になっている。また、MeCabを用いて形態素解析の結果を用いた処理を行うことが出来る。作者は平林幹雄。 バックエンドには、同じ作者によるQDBMを採用、データベースに対するgathererとsearcher、独自のテキスト分析システムで構成される。 文書が持つ複数の属性をインデックスに保存することができる。属性を用いた検索と、全文検索を併用することができる、実用的な全文検索エンジンである。類似文章検索の機能もある。 Hyper EstraierのAPIを利用したコマンド群 Webブラウザを通じて検索を行うためのCGI 複数台のサーバーのP2
Senna 組み込み型全文検索エンジン - Senna 組み込み型全文検索エンジン
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
サイト内検索システム構築(Namazu) - CentOSで自宅サーバー構築
Googleのようにキーワードを入力して自宅サーバーのWebサイト内を検索することができるようにする。 ここでは、あらかじめ作成しておくインデックスを使用して、高速に検索することができるNamazuでサイト内検索システムを構築する。 なお、検索対象のWebコンテンツは/var/www/html/centosに格納されているものとする。 ※NKFコマンドがインストールされていること [root@centos ~]# wget http://kakasi.namazu.org/stable/kakasi-2.3.6.tar.gz ← kakasiダウンロード ※最新版のURLはダウンロードページで確認すること [root@centos ~]# tar zxvf kakasi-2.3.6.tar.gz ← kakasi展開 [root@centos ~]# cd kakasi-2.3.6 ← k
Namazuを使おう
<記載した内容は確認したつもりですが、間違いがあるかもしれません。アプリケーションのインストールやパソコンの設定などは自己責任でお願いします> Namazu(ナマズ)は高機能でフリーな日本語全文検索システムです。Namazu projectの皆さんが開発を進めています。LinuxなどUNIX系のOSのほか、Windowsにも移植されています。Web Serverと連携してCGIとして動作させれば、日本語で全文検索が可能な仕組みが構築できます。Search-S for namazuというWindows用のGUIなアプリケーションを利用すれば、LocalなPC内で多様なドキュメント(html、text、word、excel、power point、pdf、一太郎など)の全文検索が可能になります。 詳細はhttp://www.namazu.org/を参照してください。 Namazu2.0.13が
ついにベールを脱いだ！ 未来検索ブラジルの新検索エンジン『groonga』|ガジェット通信 GetNews
全文検索エンジンSennaと言えば、未来検索ブラジルの生み出した傑作フリーソフトウェアとしてつとに有名であるが、いよいよその後継プロジェクトであるgroonga(ぐるんが)が、2月20日にテストリリースされた。新しい検索エンジンgroongaはいったいどのようなソフトウェアなのだろうか？正式リリースより一足早く、その特徴をレポートしてみた。 groongaは組み込み型の全文検索エンジンライブラリです。DBMSやスクリプト言語処理系等に組み込むことによって、その全文検索機能を強化することができます。また、リレーショナルモデルに基づくデータストア機能を内包しており、groonga単体でも高速なデータストアサーバとして使用することができます。以下のような特徴を持っています。 ■全文検索方式 転置索引型の全文検索エンジンです。転置索引は圧縮されてファイルに格納され、検索時のディスク読み出し量を小さ
全文検索エンジンgroongaをテストリリースしました。 - グニャラくんのグニャグニャ備忘録@はてな
全文検索エンジンのgroongaをテストリリースしました。 groonga 本日開催された、key-value store勉強会で発表させていただきました。 今まで、Sennaには Tritonn経由で使った場合、MySQL側のインデックスとの併用が難しく、Senna本来のパフォーマンスが発揮できなかった。 従来のインターフェースでは、トークナイザの切り替えなどの柔軟性がなかった。 といった問題がありました。 groongaは、それに対する返答です。 自分でデータベース書けばいいんじゃね？ 柔軟なAPI用意すればいいんじゃね？ ってことですね。 データベースは、key-valueストアを組み合わせたcolumnストア的な感じになっています。 詳細については、今後別エントリやドキュメントで述べます。 今後は、Sennaはバグ修正のみ行うメンテナンスモードに移行します。 実際使ってみよう 今回
Groonga documentation — Groonga v14.0.7 documentation
Skip to main content Back to top Ctrl+K GitHub Twitter Blog Groonga documentation# News 1. Characteristics of Groonga 1.1. Groonga overview 1.2. Full text search and Instant update 1.3. Column store and aggregate query 1.4. Inverted index and tokenizer 1.5. Sharable storage and read lock-free 1.6. Geo-location (latitude and longitude) search 1.7. Groonga library 1.8. Groonga server 1.9. Mroonga st
Groonga - カラムストア機能付き全文検索エンジン
Groongaについて Groongaはオープンソースのカラムストア機能付き全文検索エンジンです。Groongaを使うと全文検索機能付き高性能アプリケーションを開発することができます。 特徴 最新リリース 2024-09-03にリリースされた14.0.7が最新リリースです。 インストール ソース 最新記事 Groonga 14.0.7リリース (2024-09-03) Groonga 14.0.6リリース (2024-07-29) PostgreSQL用高速日本語全文検索モジュールPGroonga（ぴーじーるんが） 3.2.1リリース (2024-07-04) Groonga 14.0.5リリース (2024-07-04) Groonga 14.0.4リリース (2024-05-29) Groonga 14.0.3リリース (2024-05-09) Groonga 14.0.2リリース (
An open-source fulltext search engine and column store
About Groonga Groonga is an open-source fulltext search engine and column store. It lets you write high-performance applications that requires fulltext search. Characteristic The latest release 14.0.7 is the latest release. It had been released at 2024-09-03. Install Source The latest posts Groonga 14.0.7 has been released (2024-09-03) Groonga 14.0.6 has been released (2024-07-29) PGroonga (fast f
MySQLで高速日本語全文検索
Mroongaについて MroongaはMySQL用のストレージエンジンです。すべてのMySQLユーザーに高速な日本語全文検索機能を提供します。Mroongaは以前はGroongaストレージエンジンと呼ばれていました。 特徴 最新リリース 2024-09-06にリリースされた14.07が最新リリースです。 インストール 最新記事 Mroonga 14.07リリース！ (2024-09-06) Mroonga 14.04リリース！ (2024-06-12) Mroonga 13.05リリース！ (2023-08-02) Mroonga 13.01リリース！ (2023-04-17) Mroonga 13.00リリース！ (2023-02-09) Mroonga 12.12リリース！ (2023-01-29) Mroonga 12.11リリース！ (2023-01-06) Mroonga 12
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
フリーの全文検索ソフト 『探三郎』
http://www.nishihiroshima.com/tips/searchengine.html