運用中の自作 MySQL パッチ一覧 (含む Tritonn, Senna) - kazuhoのメモ置き場
MySQL Lists: internals: Re: Const propagation within a non-const expression Kazuho at Work: Using O_DIRECT on Mac OS X Kazuho@Cybozu Labs: Tritonn (MySQL+Senna) の join を高速化 全文検索中に KILL CONNECTION を有効にするパッチ (Tritonn-dev 126) - Tritonn - OSDN Re: 全文検索中に KILL CONNECTION を有効にするパッチ (Tritonn-dev 128) - Tritonn - OSDN エスカレーションを部分的に抑止する演算子 (Senna-dev 1068) - senna - OSDN 壊れたマルチバイト文字列で検索すると無限ループ (Senna-dev
Senna 2.0の展望と、Tritonnで問題が発生している人向け情報 - グニャラくんのグニャグニャ備忘録@はてな
Senna 2.0βのリリースが見えてきました。 去年の夏に出すと言っていましたが、紆余曲折あっての現状です。 ライバルのTokyo Cabinet/Tokyo Dystopiaについては、 ストレージと全文検索インデックスを分割する方向性です。 mixi engineer blog 今までのSennaはTokyo Dystopiaに近いものでしたが、 Senna 2.0では逆にHyper Estraierのほうに近づく感じになっています。 それぞれ特色が出て面白いですねー。 今回は転置インデックス部分にもかなり手が入っているので、 Senna/Lucene/Tokyo Dystopiaのパフォーマンス比較もやってみたいと思います。 （とはいえ、パフォーマンス比較はそれぞれのライブラリに精通しないと意味のある情報が出せないので、大変ではありますね…） Senna 2.0 + MySQL 5
Kazuho@Cybozu Labs: Tritonn (MySQL+Senna) の join を高速化
« setlock を使って cron をぶんまわす方法 | メイン | Range Coder の終了処理 » 2008年02月05日 Tritonn (MySQL+Senna) の join を高速化 自分の利用形態において、Tritonn の処理を最適化するパッチを書きました。具体的には、２種類の最適化を行いました。ひょっとするとバグがあるかもしれませんが、興味がある方は、以下のパッチ (tritonn-1.0.9用) とあわせてごらんください。 1. 全文索引内にプライマリキーを格納 SQL クエリを最適化する際、アクセスしたい全カラムを格納したインデックスを作成することで行データへのアクセスを抑止して速度を稼ぐ、というのは定石のひとつです。しかし、MySQL の全文索引 (フルテキストインデックス) では、他のカラムと組み合わせた複合キーを作成することができません。このことが、T
たけまる / Senna - 2ind 機能の奇妙なノウハウ
_ Senna - 2ind 機能の奇妙なノウハウ [senna] MoSQL [2007-07-04-1] をインストールしてから，全文検索エンジンの Senna を使っています． 2ind 機能とは， MySQLではクエリを実行する際、１つのテーブルに対してFULLTEXTインデッ クスと他のインデックスを組み合わせて利用（インデックスマージ）する ための機能です．2種類のインデックスを利用するので，"2ind(ex)" とい うようです．たとえば，全文検索結果を日時でソートするときなどに使え て便利です． ところが，まだβ版ということで，奇妙な振る舞いをすることがあります． それを解決するためのノウハウを紹介します． 以下，Senna のインデックスを FULLTEXT インデックス，他のインデック スを Normal インデックスと呼びます． 目次 - テストした環境 - 2ind
Re: tritonnの近傍・関連文書検索について (Senna-dev 622) - senna - OSDN
morit****@razil***** morit****@razil***** 2007年 6月 27日 (水) 22:04:51 JST 前の記事 [Senna-dev 620] tritonnの近傍・関連文書検索について 次の記事 [Senna-dev 623] Re: tritonnの近傍・関連文書検索について 記事の並び順: [ 日付 ] [ スレッド ] [ 件名 ] [ 著者 ] はじめまして。森と申します。 >>> yukio ishi さんは書きました： > はじめまして、石野と申します。 > Senna+mysql+tritonnで、近傍・関連文書検索を試させていただいているのですが、 > 私の環境の問題でしょうか、正しく動作していないような気がします。 > この検索結果で正しい動作なのか、またどういった仕組みでマッチしているのか、 > ご存知の方いらっしゃいましたら
Tritonn による検索はスコア値でソートされない - Ceekz Logs (Move to y.ceek.jp)
最近は、徹夜しながら MySQL + Senna の Tritonn を試している。先日まで、Tritonn を利用した全文検索では、取り出した結果がスコア値でソート（適合度順）されるものだと思っていた。 すなわち、 SELECT * FROM table WHERE MATCH(col) AGAINST('*D+ 検索' IN BOOLEAN MODE); というクエリを発行した場合、結果は TF-IDF に基づく順序だと思っていた。 これは、単なる思い込みで、正しくない。 SELECT *, MATCH(col) AGAINST('*D+ 検索' IN BOOLEAN MODE) FROM table WHERE MATCH(col) AGAINST('*D+ 検索' IN BOOLEAN MODE); こうすればスコア値を表示できるので、スコア順でソートされていないことを確認できた。
2ind機能のおさらい - mir the developer
とりあえずおさらいしておく。 2ind機能はMySQL+Sennaにおける、全文検索特有の性能問題を解消すべく実装された、Tritonnパッチの機能（Senna本体じゃなくてパッチで実装している）です。 ここでいう全文検索特有の性能問題とは、以下の４つです。 limit指定で出力を制限しても応答が遅い問題 select columns from table where match(a) against(b) limit 1000, 10 count(*)等で件数を取得するだけでも応答が遅い問題 select count(*) from table where match(a) against(b); 全文検索以外の条件で絞り込む処理が遅い問題 select columns from table where match(a) against(b) and c like 'hoge%'; 全文
qwik.jp - qwik リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
ver1.0.2リリース - mir the developer
MySQL 5.0.36/5.0.37向けの新しいリリースを行いました。 ダウンロードはこちらから: http://sourceforge.jp/projects/tritonn/files/ 安定性の向上とログ出力関連の改善が主眼です。 tritonn-1.0.2へのアップグレードを推奨いたします。 ■機能改良 TRUNCATE TABLEがUSING情報に対応するようになりました。(id=10248) tritonnが出力するログを大幅に改良しました。ログの出力設定に応じて適切なログを出力するようになっています。debugレベルに設定すると、全てのSenna APIの呼出しをトレースできるようになっています。(id=10238) MySQLのconfigureオプションで--with-mecabを指定しなかった場合、libmecabはリンクされないようになり、またindex_typeの
qwik.jp - qwik リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
SennaによるN-gramインデックスで注意すべき挙動 - グニャラくんのグニャグニャ備忘録@はてな
追記:以下の文書について 現在リリースされているSenna 1.0.7では、 N-gramで１文字の日本語を検索する場合は 直接部分一致検索を動作させるようにしました。 というわけで、以下で説明している挙動は今現在当てはまりません。 １文字の単語について uchiuchiyamaさんのブログにあった、Sennaのクエリ書式に対する質問 http://d.hatena.ne.jp/uchiuchiyama/20070317/senna_query_problem この問題ですが、 おそらくN-gramでインデックスを作成している場合に起こっていると考えられます。 SennaのN-gramインデックスはbi-gram、 すなわち２文字を１つのトークンとみなし、 インデックスへの登録を行っています。 ということは、文書の末尾を除いて、 すべてのトークンは２文字となり、 １文字のトークンで検索をし
Tritonnプロジェクト MySQL Sennaによる全文検索 〜
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
PEAR: : CodeGen_PECLでPHP拡張を書いてみよう(その1)
(この記事は随時更新していきます) SennaのPHPバインディングのページに、PHPバインディングを希望する声が続々！ http://qwik.jp/senna/PHP_binding.html 実は、以前PHPバインディングを書いていたののの、 rm -rfですべてを消し去るというステキな行為をやらかしてしまったのでした。 で、新たにPHPバインディングを書き直していたのですが、 どうやら以下の記事によると、PEAR::CodeGen_PECLっていう便利なものがあるらしい。 ■[PEAR]PEAR::CodeGen_PECL事始め http://d.hatena.ne.jp/shimooka/20061030/1162200754 というわけで、 PEAR::CodeGen_PECLを使ってSennaのPHPバインディングを書く過程を記録に残してみます。 日本語の情報は少ないようなの
YappoLogs: Senna 1.0.0がリリースされたよ！
Senna 1.0.0がリリースされたよ！ 遂にSennaの1.0.0が出ましたよ！ プレスリリースによると ●メジャーバージョン(1.0.0)リリースについて Senna1.0.0では転置インデックスの格納形式を改善し、更新/検索速度を損ねる ことなくサイズを最大で従来比70%程度まで圧縮することに成功しました。この ため、従来よりも大規模な文書を1台のサーバで管理することが可能となりました。 という事なので早速wktkしながらinstallしました。 色々考えるのがめんどくさかったので、動いてる環境にsennaとmysqlを順番にmake installしてmysql restartです。 早速indexを作り直してみると。。。。 -rw-rw---- 1 mysql mysql 1.0K 21:05 SEARCH_DATA.MYI -rw-rw---- 1 mysql mysql 2
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
システム制御情報学会セミナー2007の発表資料 - グニャラくんのグニャグニャ備忘録@はてな
サイボウズ株式会社
http://diary.eth.jp/?date=20070306