第7回 [実録] MySQL向け全文検索エンジン「Tritonn」から「mroonga」への移行ガイド（2） | gihyo.jp
隔週連載groonga 第7回[実録] MySQL向け全文検索エンジン「Tritonn」から「mroonga」への移行ガイド（2） こんにちは、株式会社リブセンスの吉田健太郎です。前回に続いて、私が体験したTritonnからmroongaのシステム移行プロジェクトを舞台裏からお届けします。 これまでのあらすじ 将来的な技術負債を残さない、そしてInnoDBの性能向上等の恩恵を受けるため、もはやレガシーとなったMySQL 5.0を捨てて、MySQL 5.6への移行を行いたい。しかしSolrへ乗り換えるほどでもなく、引き続きシンプルにSQLを用いた、リレーショナルな日本語対応の全文検索を使いたい。この構想を実現するため、groongaのMySQLバインディング版である「mroonga」を用いた、MySQL 5.6への移行プロジェクトが始動しました。 そのパート1である前回は、主に次のトピックに
![第7回 [実録] MySQL向け全文検索エンジン「Tritonn」から「mroonga」への移行ガイド（2） | gihyo.jp](https://cdn-ak-scissors.b.st-hatena.com/image/square/05b0af51bb41516773d6954ec69cb62b4b24568e/height=288;version=1;width=512/https%3A%2F%2Fgihyo.jp%2Fassets%2Fimages%2FICON%2F2013%2F1099_groonga.png)
第10回 [実録] MySQL向け全文検索エンジン「Tritonn」から「mroonga」への移行ガイド（3） | gihyo.jp
隔週連載groonga 第10回[実録] MySQL向け全文検索エンジン「Tritonn」から「mroonga」への移行ガイド（3） こんにちは、株式会社リブセンスの吉田健太郎です。第8回に続いて、私が体験したTritonnからmroongaのシステム移行プロジェクトを舞台裏からお届けします。 これまでのあらすじ 将来的な技術負債を残さない、そしてInnoDBの性能向上等の恩恵を受けるため、もはやレガシーとなったMySQL 5.0を捨てて、MySQL 5.6への移行を行いたい。しかしSolrへ乗り換えるほどでもなく、引き続きシンプルにSQLを用いた、リレーショナルな日本語対応の全文検索を使いたい。この構想を実現するため、groongaのMySQLバインディング版である「mroonga」を用いた、MySQL 5.6への移行プロジェクトが始動しました。 これまでの記事と、主なトピックは次の通り
第6回 [実録] MySQL向け全文検索エンジン「Tritonn」から「mroonga」への移行ガイド（1） | gihyo.jp
mroongaのN-gramについては、bigramだけでなく、uni-gramやtri-gramの他、多数の派生N-gramでのトークナイザに対応しています。さらに2013年5月末リリースのmysql-mroonga-3.04にて、待望のWプラグマに対応しました。これにより、Tritonnからmroongaへ移行する際の障壁はEプラグマのみになったと言えます。 Tritonnから乗り換えるならば、mroongaの1択ですね。 Tritonnからmroongaへ移行する7つのメリット それでは早速、Tritonnからmroongaヘ移行するメリットを見てみましょう。 MySQL 5.6対応であること もはやレガシーとなったMySQL 5.0という縛りがなくなることで、MySQL 5.1以降の先進的な機能を取り入れることができます。特にMySQL 5.6ではその進化が甚だしく、次の点を始めと
MySQLの全文検索エンジンTritonn(Senna)からmroonga(groonga)に移行する際の注意点 その１（DDL文） | No:152 | IT大好きエンジニアの奮闘記
CREATE TABLE test ( id INTEGER AUTO_INCREMENT, PRIMARY KEY (id), text TEXT NOT NULL, FULLTEXT INDEX text (text) COMMENT 'parser "TokenBigram"' )ENGINE=mroonga COMMENT='engine "MyISAM"'; まず、Tritonn、mroongaの５行目では全文検索用のインデックスをはり、トークナイザ（検索ロジックの方式）としてNGRAM系を使用するように指定している。同じことをしているが指定方法にかなり違いがある。 次にmroongaでは６行目が追加され、ストレージエンジンの指定を行っている。 TritonnではストレージエンジンはMyISAMしか選択できなかったが、mroongaでは「 COMMENT=’engine “Inn
MySQLの全文検索エンジンTritonn(Senna)からmroonga(groonga)に移行する際の注意点 その２（データのリストア＆boolean modeでのプラグマ指定方法） | No:168 | IT大好きエンジニアの奮闘記
MySQLの全文検索エンジンTritonn(Senna)からmroonga(groonga)に移行する際の注意点 その２（データのリストア＆boolean modeでのプラグマ指定方法） その１（DDL文）の続き。 ２．Tritonn MySQLのデータをmroonga MySQLにリストアする際の注意点 TritonnでText形式のカラムを使用している場合、データの文字数に気を付ける必要がある。 TritonnのMySQLでのデータをバックアップし、mroongaのMySQLにリストアする場合、 mroonga側のトークナイザにより違いはあるが、記号や半角数字等で構成されたの長い文字列（4097文字以上）データをINSERTする際に、以下の様なエラーが発生する。 mysql> INSERT INTO test (`content`) values ('0123456789012345
Trittonを利用した複数テーブル＆カラム全文検索設計
設計条件 本設計を行う際、以下のような条件がありました。 ・全文検索はTritonnのみで実施。HyperEstraier等の外部検索エンジンは使用しない。 ・対象となるカラムを一度に全文検索対象とする。 ・検索結果は日記単位のリストで出力する。 ・検索速度はかなり重要とされた。 Tritonnを使用する上での問題点 ここで困ったのはTritonnでは全文検索を行うテーブルはMyISAMで作成する必要があるということです。 MyISAMではトランザクションを使用することが出来ないので、頻繁に更新がある日記テーブルやコメントテーブルには あまり使用したくありません。 また、トランザクションを使えないためユニットテストを書きづらいという弊害もあります。 ■ 設計案 前提条件を踏まえて実現するに当たり、以下の4案を考えました。 案１：各検索対象テーブルをMyISAMで作る＆Joinして検索 メリ
全文検索について簡単に調べたメモ - 観測所日誌
さっくり調べる。 概要を知る 読む http://ja.wikipedia.org/wiki/全文検索 Ngram(N-gram)とは何か & 形態素解析との比較 メモ 形態素解析: 辞書品質により検索落ちも N-Gram: ノイズ: 京都 -> 東京都庁 インデックスサイズ肥大化 評価指標 recall (再現率): 検索漏れの少なさ precision (適合率): 検索ノイズの少なさ recall と precision はトレードオフ 日本語縛りなら形態素解析 ? Ngram の利点は言語選ばず適用可能なこと 但し原理的に精度が形態素解析に及ばない 検索抜けを回避したい等の明確な理由により検討余地あり 日本語は特殊処理を要する傾向がある 形態素解析の欠点 処理時間 辞書の分割単位と検索漏れ 辞書:マカデミアナッツ クエリ:ナッツ でノーヒット ソリューション Solr ECナビ,
Tritonn のホットバックアップ(とsync ３回伝説) - kazuhoのメモ置き場
Tritonn のホットバックアップ環境を構築しようと思って調査。結論から言うと 漢(オトコ)のコンピュータ道: MySQLバックアップ頂上決戦！！ LVMスナップショット vs InnoDB Hot Backup の「MyISAMをスナップショットでバックアップ」でよさそう。 確認したこととしては、 Tritonn の全文検索データは FLUSH TABLES しても fsync されない つまり sync (1) の呼び出しが必須 linux の場合 sync (1) は１回呼べば十分だと man に書いてある POSIX 的には何回呼んでも書き込みが完了してる保証はない ってあたり。実際に、FLUSH TABLES WITH READ LOCK して sync ３回呼んでから LVM snapshot とって、myisamchk と sennachk してみたけど、myisamchk
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
Re: インデックスをキャッシュに保持する方法について (Senna-dev 661) - senna - OSDN
morit****@razil***** morit****@razil***** 2007年 8月 15日 (水) 14:48:18 JST 前の記事 [Senna-dev 660] Re: インデックスをキャッシュに保持する方法について 次の記事 [Senna-dev 662] Re: インデックスをキャッシュに保持する方法について 記事の並び順: [ 日付 ] [ スレッド ] [ 件名 ] [ 著者 ] お世話になっております。森です。 すみません。INITIAL_N_SEGMENTSは主に更新速度の向上に寄与しますが、 検索速度にはあまり影響しないかもしれません。 ディスクI/Oがネックで検索速度が出ないのは、起動直後が特に顕著で、 必要な領域が適度にOSのキャッシュに載るに従って徐々に検索が高速になります。 起動前にインデックスファイルを以下のようにして読ませてしまうと効果があ
Tritonn 1.0.12 - MySQL 5.0.87へのアップデートリリース - mir the developer
早いもので前回のリリースから1年弱が経過してしまいましたが、SourceForgeのダウンロード統計を見ているとリリースが無い間も継続的にダウンロードしてくださる方々がいらっしゃるのが気になっていました。 そこで現在のMySQL 5.0系の最新版である5.0.87向けのソース配布版およびold-styleパッチをリリースしました！ https://sourceforge.jp/projects/tritonn/releases/ 今回のリリースはMySQL 5.0系最新版へのアップデートが目的です。Tritonn自体のバージョンは1.0.12のままです。 Tritonnの1.0.13については担当者多忙につき少しお休み中。MySQL 5.1対応についてはGroongaストレージエンジンを開発中です。 バイナリパッケージについては時間が取れ次第、随時リリースして行きます。 追記:11/26
やすみやすみ 技術編: Tritonn (MySQL with Senna, MeCab) を CentOS 5.2 にインストール
Tritonn (MySQL with Senna, MeCab) を CentOS 5.2 にインストール 久々に技術的な話。 自宅サーバ（CentOS 5.2 / i386）の MySQL を Tritonn (MySQL + Senna + Mecab) に差し替えた。 そのときのメモ。 （Tritonn を rpm でインストールした人の記録って検索してもあまり出てこないね。） http://qwik.jp/tritonn/installrpm.html 公式のTritonnインストール方法を参考にして次の6ファイルをダウンロード。 MySQL-client-5.0.45-tritonn.1.0.7.i386.rpm MySQL-server-5.0.45-tritonn.1.0.7.i386.rpm MySQL-shared-5.0.45-tritonn.1.0.7.i386.r
ふぁぼったーの負荷分散の計画をあれこれ考えてみた。 - 2009-11-01 - 小野マトペの業務日誌(アニメ制作してない篇)
今日一日調べたこととかまとめてみる。 問題点 次回リリースの新機能はDB select負荷がかなり掛かるはずである。 現状でもデータLOADによる負荷が10に達し、selectにスロークエリ、接続エラーが出ている。DBの負荷分散が急務である。 参考: Load Average 参考: Slow Query あと、STATUSテーブルが2GBに達しようとしているので、デフォルトのサイズ制限4GBが見えてきた。再定義できるけど。 垂直分割対応案 日本語版DBと英語版DBのデータベースとクローラを別ホストに格納する 現状、favotterとfavotter_enはほぼ同規模のDBとなっている。 ただし、参照は圧倒的にfavotterが多い。 favotter_enのクローラを止めたら、スロークエリが激減した事がある。 参考: 小野マトペ on Twitter: "まる一日英語版のクローラ止めてた
qwik.jp - qwik リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
エスカレーションを部分的に抑止する演算子 (Senna-dev 1068) - senna - OSDN
Kazuho Oku kazuh****@gmail***** 2008年 11月 6日 (木) 13:56:41 JST 次の記事 [Senna-dev 1069] call sen_ctx_impl_init_malloc() first 記事の並び順: [ 日付 ] [ スレッド ] [ 件名 ] [ 著者 ] 奥＠サイボウズ・ラボです。 Senna が部分一致検索にエスカレーションする場合に、一部のキーワードについてはエスカレーションを抑止したいと思いました (たとえば、日英のキーワードが混在する場合に、日本語のキーワードについては mecab との関係上エスカレーションが望ましいが、英語のキーワードについては、そもそも空白で単語が切れるのでエスカレーションは不要とか)。 この点について、過去ログをあさったところ、 [Senna-dev 214] Re: 特定のkeywordでmy
Tritonn プロジェクト日本語トップページ - OSDN
TritonnはMySQLから全文検索エンジンSennaを利用可能にするための改造を行うプロジェクトです。 詳しくはこちらをご覧下さい。http://qwik.jp/tritonn/ ダウンロード 最新リリース Linux x86 generic RPM tritonn-1.0.12a-mysql-5.0.87 (日付: 2009-11-26) Linux AMD64 / Intel EM64T generic RPM tritonn-1.0.12a-mysql-5.0.87 (日付: 2009-11-26) Linux x86 (non RPM packages) tritonn-1.0.12-mysql-5.0.87 (日付: 2009-11-25) Linux AMD64 / Intel EM64T (non RPM packages) tritonn-1.0.12-mysql-5.
Ruby on Rails + MySQL で全文検索 - ドワンゴ 研究開発ブログ
このエントリでは Ruby on Rails と MySQL を使って日本語の全文検索を行う方法を記述する。Ruby on Rails のバージョンは 2.0.2、MySQL のバージョンは 5.0.67、Tritonn のバージョンは 1.0.12、Hyper Estraier のバージョンは 1.4.10 を使用した。サンプルの文章データとして、あらゆる日本人にとって極めて身近な著作権切れ文章である『ドグラ・マグラ』と『黒死館殺人事件』を利用した。処理のために整形したデータは本エントリに添付しておく。またデータベースへアクセスするコードではマイグレーションを除きできるだけベンチマークを取るようにし、その結果は本エントリの最後に記載する。 ページネーション Rails でページネーションを実現する will_paginate という plugin は ActiveRecord に標準でつ
Kazuho@Cybozu Labs: ウェブサービスの SSD 化について話してきました
« 開発しているウェブアプリケーションフレームワーク NanoA について話してきました | メイン | なぜサイボウズ・ラボで働くのか » 2008年11月27日 ウェブサービスの SSD 化について話してきました 本日 (11/27) 開催の Shibuya Perl Mongersテクニカルトーク#10 で、ウェブサービスの SSD 化について話しました。スライドを置いておきますので、開発しているウェブアプリケーションフレームワーク NanoA について話してきました とあわせてご覧いただければ幸いです。 末筆となりますが、Shibuya.pm の実行委員(?)の方々、ありがとうございました＆おつかれさまです。 (まだ終わってないけど ^^;)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pixiv サイバーエージェント共同勉強会 solr導入記
RPMによるインストール方法 - Tritonnプロジェクト 〜 MySQL+Sennaによる全文検索 〜