「関連する○○」機能を手軽に実現できる。そう、Elasticsearch ならね。 - クックパッド開発者ブログ
セコン (id:secondlife, @hotchpotch) です。ウェブサービスにはよく「このエントリーに関連するブログ記事」や「このレシピに関連するレシピ」という機能が実現されてますよね。さて、この機能はどのように実現すれば良いでしょうか。例えば tf-idf で単語の類似度を求め…といった実装が必要になり、いささか面倒です。 しかしながら Elasticsearch や Solr *1を使うと手軽に実現できます。例えば、クックパッドニュースの記事では Solr を使い「この記事を読んだ人におすすめ」の機能に、最近クックパッドにジョインしたインドネシアの会社の DapurMasak では Elasticsearch を使い「Resep serupa(関連レシピ)」の機能で利用しています。 クックパッドニュースでのこの記事を読んだ人におすすめ DapurMasak での関連レシピ 使
Railsで高速全文検索エンジンMroongaを使うためのチュートリアル - CreateField Blog
はじめに MySQLでオープンソースの日本語対応の高速な全文検索エンジンGroongaが使えるMroongaを使って簡単に全文検索機能付きのRailsアプリケーションを作成する方法を紹介します。Railsのデモアプリケーションと実際に使えるサンプルの検索用のメソッドを使って具体的に説明します。 前準備 まず、RailsとMySQLとMroongaが使えるようにしてください。 これらはすでに情報がたくさんあると思うので、さほど苦なく用意できると思います。最近のMariaDBであればデフォルトでバンドルされていたりします。 簡単に試すことができるようにRubyとMySQLとMroongaが自動で環境構築されるVagrantファイルを用意しておきました。 naoa/start-mroonga-with-rails · GitHub vagrantとubuntu/trusty64のboxとvagr
MySQLで全文検索をするために必要なこと - 小さな星がほらひとつ
与えられたキーワードに合致するデータをデータベースから取得することを考えた時、完全一致であれば「=」で検索を行うと思います。 では与えられたキーワードを「含む」検索、つまり部分一致を行いたいのであればどうするか。最も簡単なのは「search_column like '%キーワード%'」といった形で、「like」を使いキーワードの前後にワイルドカードを与える方法でしょう。 ですがこれを何の気無しに使うのはちょっと危険。 上記のようなlike検索ではインデックスが利用されないため（※）、全レコードをスキャンします。 かつキーワードを部分一致で探したいようなカラムは、文章等の比較的大きなサイズであると考えられます。 そのため検索コストは大きく、数千〜数万行であればまだ良いかもしれませんが、数十万ともなると利用には耐えられないでしょう。（実体験） ※ただし前方一致検索であれば、最初のワイルドカード
Mroongaを使って全文検索Webサービスを作ったときにはまったこと(第1回) - CreateField Blog
前回のエントリに書いたように、１年半ほどをかけて、独学で特許の全文検索サービスを開発しました。 PatentField | 無料特許検索 最初は、MySQLを使ったこともない状態だったこともあり、かなり紆余曲折しました。Groonga開発チームの懇切な対応もあって、専用サーバ1台で最大で1千万レコード超、400GiB以上のサイズのテキストデータを高速に検索できるようになりました。 今後、何回かにわけて、Mroonga(Groonga)を使って全文検索Webサービスを作ったときにはまったこと、学んだことを全て書き出したいと思います。 全文検索エンジンMroongaとは？ Mroongaは全文検索エンジンであるGroongaをベースとしたMySQL用のストレージエンジンです。Mroongaは、MySQLが使える人であれば、簡単に高速な全文検索機能が使えます。MariaDB10.0系にもバンドル
MySQLWorkbench を Vagrant + VirtualBox 上の MySQL と繋ぐ方法 - Qiita
Vagrant + VirtualBox を使って Macbook Air に VM を立てて、CentOS 上に Rails4 の開発を行っています。 DB には MySQL を使っているのですが、なんともわかりづらい。 ノートで設計して、頭で設計してコマンド叩いて...の手法に限界を感じました。 できればER図かけるし、DBとも繋がっているし、な環境にならないかなぁって思っていたら、MySQL Workbenchと出会いました。（1年位前にorz） VagrantとMySQLWorkbenchを繋ぐ方法をメモります。 MySQL Workbenchのインストール こちらからどうぞ => http://dev.mysql.com/downloads/tools/workbench/ 面倒くさくて有名なORACLEの認証が必要になりますorz ナビゲーション通りにすすめば問題なくインストー
mroongaのラッパーモードでORDER BY LIMITが高速化動作してないみたい - kharmoniyaなひと
表題のとおりでございます。ストレージモードで作った全く同じテーブル＆SQLでは動作しているんですが・・・何でー。ちなみにMyISAMのラッパー。 高速化が動作する条件が公式ドキュメントから引用させていただきますと以下４点。 where句がmatch...againstのみ joinしていない limitの指定がある order byの指定がカラム(_id含む)またはwhere句に指定したmatch...againstである 使用しているSQLはこんな感じ。ストレージモードでは動作してるのだし、特に変なところはないと思うんですが・・・。 SELECT Id FROM table WHERE MATCH(Content) AGAINST("東京") ORDER BY DateTime DESC LIMIT 100; 高速化が動作すればmroonga_fast_order_limitのカウントが
5.1. 最適化 — Mroonga v13.05 documentation
5.1. 最適化¶ Mroongaはより速くレスポンスを返すためにいくつか最適化しています。 いくつかの最適化は ストレージモード でだけ有効です。 5.1.1. 必要なカラムだけ取得¶ この最適化は ストレージモード でだけ有効です。 Groongaはカラム（列）ストアアーキテクチャーを採用しています。これは、1行の1つのカラムの値を取得するために、すべてのカラムの値を取得しなくてもよいということです。Groongaは必要なカラムの値だけを取得できます。 InnoDBとMyISAMはロー（行）ストアアーキテクチャーを採用しています。InnoDBとMyISAMは、1行の1つのカラムの値が必要な場合でもすべてのカラムの値を取得する必要があります。 SELECT で必要なカラムだけを指定した場合、Mroongaは指定されたカラムの値だけを取得します。Mroongaは他のカラムの値を取得しません
MySQLでネットショップの詳細検索にインデックスを活用しまくる方法(前編)
こんにちは。もとやんです。 DBAとしてのネタもたまには書きたい！ ということで、MySQLのインデックスをフルに使って、ネットショップや、食べログやぐるなびなどの検索サイトによくある詳細検索を高速に行うための、SQLのクエリの高速化手法と言うか、テーブル設計を今回は紹介します。 あまりネットのブログとかでは見かけないノウハウだと思うので、ショッピングカートやグルメサイトのシステムを書こうとする人にとっては参考になるんじゃないでしょうか。 とはいえ、これは私が必要に応じて数年前に頭を捻って考えたものなので、もっと高効率に書けるよ！という方がおられれば、ぜひ教えて下さい。 今回扱うような検索にはSolr(Lucene)などが実は向いていたりするんですが、新しいストレージを作ると監視対象は増えるわ、そもそも普段の運用ノウハウ（チューニングや、クラッシュ時のリカバースキル、バックアップ方法など）
【実験】MySQLのlike検索とfulltext検索をTwitterのつぶやき本文で比較してみた。#（ハッシュタグ）がついている単語の検索結果は全く同じ | エコテキブログ
専用の MATCH AGAINST 構文を用いたSELECT句で検索する事により、マッチ率の高い順 (近似値順) にソートされたレコードセットを取得することができる MySQLで全文検索 – FULLTEXTインデックスの基礎知識｜blog｜たたみラボ fulltext検索の使い方 like検索はそのまま何もしなくても使えますが、fulltext検索は事前に準備が必要です。 /etc/my.cnfの設定 $sudo vi /etc/my.cnf [mysqld] ft_min_word_len=1 MySQLファイルの設定ファイルを開いて、fulltext検索ができる最低文字数を1文字とします。 テーブル構造の変更 alter table tweet engine MYISAM; alter table tweet add fulltext(tw_txt); ストレージエンジンのきりかえ（
cloudpackブログ - mroongaってなんじゃ？ (mroongaでmysql全文検索)
mysqlで全文検索といえばTritonnが有名でした。 現在ではmysqlで全文検索をするときにmroongaというプロダクトが有望なようです。 Tritonnとの違いは以下のサイトが詳しいです。 「全文検索エンジンgroongaを囲む夕べ #1」参加メモ 簡単にいうと、 Tritonn：Sennaという全文検索エンジンをMySQL用に組み込んだものです。MyISAMを前提に組み込まれていることもあり、更新が遅く、また更新時の検索が重くなるなど、ベストなパフォーマンスが得られにくかったようです。 mroonga：groongaという全文検索エンジンをMySQL用にストレージエンジンにしたものです。MyISAMに依存しないため更新時の参照に影響を与えず、更新も速いようです。 では、さっそく導入してみます。 環境はEC2上のCentOS-6.4.1（suz-lab AMI）です。 ○groo
全件検索から全文検索へ (Rails で MySQL の全文検索)
こんにちは、tahara です。 ようやくいこーよを like '%foo%' の(SQL 力づく)全件検索から、MySQL の全文検索に変更しました。 最初は mroonga を使おうかと思ったのですが、結局は MeCab を使って MySQL の全文検索をそのまま使うことにしました。 MySQL の全文検索は MyISAM じゃないと動かないので ENGINE = MyISAM で検索用のテーブルを作成します。 class CreateFacilityIndices < ActiveRecord::Migration def up execute <<SQL create table facility_indices ( `id` int(11) NOT NULL AUTO_INCREMENT, `facility_id` int(11) NOT NULL, `content` tex
Mroonga 3.11に追加されるDATETIME型のORDER BY最適化 | GMOメディア エンジニアブログ
こんにちは、DBAのたなかです。 このエントリーは 全文検索エンジンGroonga Advent Calendar 2013 の10日目です。 弊社の某サービスでは全文検索にMroongaを使って不思議なトラフィックパターンをさばいていますが、Mroonga 3.11(2013/12/29リリース *予定*)で加えられる新しい最適化についての紹介です。 エンドユーザー向けの全文検索だと、 mysql> SELECT .. FROM .. WHERE MATCH(fulltext_col) AGAINST '..' AND datetime_col> '2013-12-01' ORDER BY datetime_col DESC LIMIT 100, 20;なんてことをやりたくならないでしょうか？ 「xxというキーワードを含むページのうち、今月更新されたものを更新日の新しいものから」というケ
MySQLのORDER BY句でインデックスを使用 | VPSサーバーでWebサイト公開 備忘録 ~Linux、MySQLからAJAXまで
MySQLでOrder by句のソートでインデックスを使用して性能を向上させる方法についてです。 １）概要 ・MySQLは行の検索とソートのいずれにおいても同じインデックスを使用する事が出来るのでソートと検索を同時に行うように設計すると性能を向上できる。 ・ソートでインデックスが使用されるようにするには、一部の例外を除いてORDER BY句のカラムの指定順がインデックスと一致していて、すべてのカラムの昇順、降順の向きがそろっている必要がある。 ２）ソートにインデックスが使用される例 ※注） すべての使用されていないインデックス部分とほかの部分がWHERE節内で定数であるカラムである場合、ORDER BYがインデックスに完全にマッチしない場合でもこのインデックスを使用できる。 SELECT * FROM table1 ORDER BY key_part1,key_part2,… ; SELE
MySQL + Sennaで日本語全文検索をやってみた - サラリーマンから起業するリアル
以前の記事(MySQLで全文検索できるって！?)で、id:tomyheroさんからMySQLの日本語全文検索は無理だからSennaで出来るよと教えてもらったので、やってみた。 基本的に構築系の作業は、自分の作業ログをメモ帳に記入しているんだけど、まとめるのが面倒でブログにそれを投稿してこなかったけど、これからは少しずつ溜まっているメモ書きをブログにアップしよう。 Sennaは日本語の字句解析のmecabを使って単語に分けて登録し、それを元に全文検索を行う。MySQLにsennaを組み込み、MySQLの関数をラッピングするのにtritonというものを使う。これはMySQLにパッチを当てたものです。 今回は、自分のホームディレクトリにsenna、mecab、mecab辞書、tritonをインストールしてみました。MySQLは元々動いているものがあったので、別ポートで動くようにインストールしてま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLで全文検索 - FULLTEXTインデックスの基礎知識｜blog｜たたみラボ
http://mysql-faq.com/page/auto-increment-over-max-value.html
SSSSLIDE
Mroonga ソート - Google 検索
mysql 全文検索 ソート - Google 検索
mysql desc 複数 - Google 検索