全文検索エンジンLuxとPythonの軽量Webアプリケーションフレームワークfapws3で構築する高速検索サービス - FutureInsight.info
今、手元で検索サービスを作成するためにいろいろ実験をしているのですが、ある程度ノウハウが貯まったので公開しておこうかと思います。長いエントリーになりますので、検索サービスの構築に興味がある人だけ閲覧下さい。 一般的な検索エンジンは主に2つのパートに別れます。一つは、クローラとインデクサからなるデータを収集するバックエンド、もう一つは検索を行うフロントエンドです。クローラとインデックス部分に関してはまだ手元で試しているところなのです紹介できる状態にないのですが、Pythonを用いたフロントエンドに関しましては、だいたいやり方がわかってきたので、ここで公開しておこうと思います。個人レベルが作れそうな検索サービスの構築に興味がある方はよんでいただければ幸いです。 [追記]クローラ部分は時間がかかりそうなので、インデクサ部分を公開しました。 全文検索エンジンLuxのboost-pythonを用いた
Lux IO の言語バインディングとか : no hacking, no life
一ヶ月ほど前に公開したLux IOですが、何人かのマニアックな方々が言語バインディングなどを作ってくれていてうれしい限りなので、適当に検索して見つかったものをまとめてみました。（他にもあったら教えてもらえるとありがたいです。） PHPバインディング by id:kajidai Rubyバインディング by id:kajidai Javaバインディング by id:maachangさん MSVC9移植版 by id:winebarrelさん （全員はてなダイアリーユーザってｗ） 細かい修正や機能追加があまりできていなく恐縮ですが、 もっと使ってもらえるようにこれからも努力していきたいと思います。 You’re currently reading “ Lux IO の言語バインディングとか ,” an entry on no hacking, no life Published:
Lux IO msvc9移植版 - so what
http://storehouse.sakura.ne.jp/viewvc/viewvc.cgi/luxio/?root=svn 動くは動いたけど、ロックまわりは怪しいかも。 //#include <luxio/btree.h> #include "btree.h" #include <iostream> //#define NUM_RECORDS 1000000 #define NUM_RECORDS 100 int main(void) { Lux::IO::Btree *bt = new Lux::IO::Btree(Lux::IO::CLUSTER); //bt->open("test", Lux::DB_CREAT); bt->open("test", Lux::DB_CREAT | Lux::DB_TRUNC); char str[9]; for (int i = 0; i <
RubyからもLuxIOを使ってみる - ユーウツな雨がふりつづいても雪がハートを曇らせてもドアの中で待っていた君に魔法をかけたいのさ
前回( Lux IO(ラックス アイオー)をPHPから使ってみる - ユーウツな雨がふりつづいても雪がハートを曇らせてもドアの中で待っていた君に魔法をかけたいのさ)に引き続きRubyでもLuxIOを使ってみました。ソースは下記においてます。kajidai’s rluxio at master — GitHubインストール $ git clone git://github.com/kajidai/rluxio.git $ cd rluxio $ ruby extconf.rb $ make サンプルコード require 'luxio' luxio = LuxIOBtree.new luxio.open '/var/tmp/test', LuxIOBtree::LUX_DB_CREAT luxio.put 'key', 'value' luxio.get 'value'
Lux IO(ラックス アイオー)をPHPから使ってみる - ユーウツな雨がふりつづいても雪がハートを曇らせてもドアの中で待っていた君に魔法をかけたいのさ
Lux IOという高速なデータベースマネージャ(DBM)を公開しました。元々は、keyに対して長く拡張していくvalueを保持できるように、Luxの内部ストレージエンジンとして開発を始めましたが、一般的なDBMのような使い方においても、非常に高速に動作します。（詳しくは、sourceforgeのページのベンチマークを参照ください。） Lux IO - Yet Another Fast Database Manager : no hacking, no lifeLux IOという非常に高速なdbmが公開されました。Lux IO用のphp bindingを作ってGitHub — Server Error使ってみました。 サンプルコードが下記で $luxiobtree = new LuxIOBtree(); $luxiobtree->open('test', LUX_DB_CREAT); $re
Lux IO - Yet Another Fast Database Manager : no hacking, no life
Lux IOという高速なデータベースマネージャ(DBM)を公開しました。 元々は、keyに対して長く拡張していくvalueを保持できるように、Luxの内部ストレージエンジンとして開発を始めましたが、一般的なDBMのような使い方においても、非常に高速に動作します。（詳しくは、sourceforgeのページのベンチマークを参照ください。） 一般的なDBMでは、ハッシュをサポートしていますが、Lux IOではB+-treeを配列のインデックスのみをサポートしています。 ドキュメントは全く書けていなく恐縮ですが、ソースコードのtestディレクトリにたくさんのテストプログラムがあるので、それを参考にしてみてください。 ぜひ、使ってみて、感想、バグ報告を頂ければと思います。 You’re currently reading “ Lux IO - Yet Another Fast Databas
Lux IO - Yet Another Fast Database Manager
Lux IO is a yet another fast database manager. It supports B+-tree and Array index in either cluster or non-cluster index. It's originally designed for storing large expanding data as a value in Lux Search Engine, but it's also pretty fast for small and a large number of data. Fast key lookup (B+-tree, Array) Support both clustered and non-clustered index mmap(2) the whole index structure in clust
全文検索エンジンLuxを公開しました : no hacking, no life
本日、全文検索エンジンLuxを公開しました。 昨年の3月ぐらいから、土日の空いた時間を使ってだらだら作っていたのですが、完璧にしてから公開しようとすると、いつまで経っても公開できないので、晒すことにしました。なので、機能的に足りない部分がたくさんあります。 特徴としては、以下のような感じです。 C++で記述されている シンプル 高速に動作 そこそこ拡張性が高い シンプルな転置インデックス形式の検索エンジンです。今のところ形態素でしかインデックスを作れませんが、N-Gramはすぐに対応しようと思います。また、APIが若干おかしかったり、手抜き部分が沢山あるので、今後にご期待ください。(version 1.0 ぐらいから自信をもって薦められるかも) ドキュメントが全くないので、これからちょこちょこ書いていこうかと思いますが、マニアックな方はぜひ使ってみて、ご意見・ご感想を頂ければと思います。ダ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Lux-IO-0.07 - A Perl Interface to Lux IO - metacpan.org
今週の話題 : 高速な DBM 「Lux IO」など - WebOS Goodies
GitHub - kajidai/php-luxio
はてなブログ | 無料ブログを作成しよう
Lux: Distributd full-text search engine