クックパッドの検索の裏側 - クックパッド開発者ブログ
初めまして、インフラストラクチャー部の加藤 (@EugeneK) です。 クックパッドでは現在178万ものレシピが公開されていますが、目的のレシピを探すために検索機能を提供しています。 今回は検索機能の裏側の仕組みについて、インフラストラクチャーの観点からお話ししようと思います。 全ての検索機能を支えるSolrと周辺のアーキテクチャ クックパッドにはレシピの検索だけでなく様々な検索機能がありますが、その全てはSolrを活用して実装されています。 以前はMySQL Tritonnによる全文検索機能を使用していましたが、2011年頃からSolrに切り替わりました。 クックパッドではSolrをマスタ - スレーブ構成にすることで冗長性と負荷分散を実現しています。以下の構成図をご覧ください。 マスタとスレーブの間には、リピータと呼ばれる検索インデックスを中継するためだけの役割のサーバがいます。この
moco(beta)'s backup: Solrのコミット方式いろいろ
Solr (Lucene) ではインデックスを更新(update)しただけでは更新内容は検索結果に反映されません。一般的なRDBと同様、"commit"という操作を行なって初めて、検索結果に更新されたドキュメントが表れます。 Solr Wiki では"commit"は次のようにシンプルに定義されています。 A commit operation makes index changes visible to new search requests. また、コミットには(hard) commit / soft commitの2種類があります。(4.0より) (hard) commit (従来のfsyncを伴うコミット)soft commit (fsyncを伴わないコミット, 4.0から採用)soft commit はいわゆる擬似リアルタイム検索（Near Realtime Search）を実現す
tree-tips: solrを使う前に知っておくべき事 | Apache Solr
solrって何？ Apache solr solr wiki オープンソースのpure javaの全文検索エンジンです。 Apacheのトッププロジェクトであり、twitterやfacebook級のサイトでも使用されています。 solrにできる事は？ 超高速検索のエンジンを自分で作成可能（オレオレMySQLのようなものを作る事ができる）。 検索する項目を自分で定義可能（RDBのカラム）。 定義した項目に、順序を保持したままリスト形式で値を保存可能（カラムにjavaでいうところのListを保存できる）。 完全一致検索可能。 中間一致検索可能（フルスキャンで超低速になるので非推奨）。 前方一致検索可能。 超高速に件数を取得する、ファセット検索が可能。（select count(*)を100回同時に行なっても超高速） 超高速に同義語検索可能で、同義語の辞書を自分で定義可能。（or name =
Solr の DIH と ManifoldCF の違い - mukaken's blog
Solr の DIH と ManifoldCF の違いを調べてみました。 [改訂新版] Apache Solr入門 ~オープンソース全文検索エンジン (Software Design plus) 作者: 大谷純,阿部慎一朗,大須賀稔,北野太郎,鈴木教嗣,平賀一昭,株式会社リクルートテクノロジーズ,株式会社ロンウイット出版社/メーカー: 技術評論社発売日: 2013/11/29メディア: 大型本この商品を含むブログ (6件) を見るの P.162 に比較記事が書いてありました。 今のところ、PostgreSQL のシンプルなテーブル構造を扱うので、ManifoldCFで十分そうです。 というか、 DIHからPostgreSQLへ繋ごうとしたのですが、まったく繋がりませんでした。 もし、いい解説のページがあれば教えて下さい。お願いします。
「solrが解らないので実装できません」という言い訳が多い件 - 文系プログラマによるTIPSブログ
ちょっと、アレですね・・・ solrに限った話ではありませんが、最近「solrが解らないので実装できない・見積もりできない」という言い訳を沢山耳にします。 このセリフを吐く人は大抵solr以外の事もほとんど解ってないです。 solrが解らないから他も解らない事にしたいのか、と思ってしまう程に理解していない。 こんなセリフを言ってしまわないように、情報を整理し、思考停止状態に陥らないようにしましょう。 以外の部分が理解できているか確認する solrの何が解らないのかを明確にする インデクサが解らないのかサーチャーが解らないのか solrの制約について 以外の部分が理解できているか確認する そもそもsolr以外は理解できており、問題無いのか。 例えば「solrの事は全く考えなくていいから、他の部分を説明して」と言われた時、説明できるか。説明できなかったらそもそもsolr以外の事を理解する必要が
Apache Solr 4.4 日本語用設定 - 若竹文庫で読んでいた
Solr に Amazon商品データを登録して色々と試したのだけど、検索キーに対して結果が想定と微妙に異なることがあった。fieldType の設定はデフォルトのまま流用したのだけど、やはりちゃんと理解したうえで調整も必要なのだろう、ということで設定について調査している。（Web上には色々と情報も出ているがまとめとかないと、また後でやるときが面倒）徐々に書き足す予定。 ※ 2013/09/04 共通設定を分離 共通設定 N-GRAMと形態素解析の両方で使える設定をまとめる。 種別 class 説明 オプション 参考 charFilter solr.MappingCharFilterFactory マッピングファイルに書かれたルールに従って文字を変換する。 mapping=mapping-ja.txt Mapping CharFilterFactoryの使い方 charFilter solr
(GAEで日本語の形態素解析を試してみる)第3回 Kuromojiを使ってみる
GoogleAppEngineの勉強中です。 3回に分けて、GAEで日本語の形態素解析を試してみたことを書いています。 第1回 lucene-gosenを使ってみる 第2回 lucene-gosenのTokenFilterを試す 第3回 Kuromojiを使ってみる 今回は、第3回です。 使っている環境 Java JDK1.6.0_35(64bit版) Google App Engine SDK for Java 1.7.1 Eclipse IDE for Java EE Developers_ Juno (4.2)64Bit版 The Google Plugin for Eclipse, for Eclipse 3.8/4.2 (Juno) kuromoji-0.7.7 (1)はじめに もともと、kuromoji に関しては、GoogleAppEngineで動かせないと思っていました。
tree-tips: solrトップ | Apache Solr
基礎 まずはsolrの事を知りましょう！ solrを使う前に知っておくべき事 solrの利用事例 形態素解析器の種類 solrの環境設定をしましょう！ solrのインストール solrの設計をしましょう！ solrのフィールド設計 インデックス生成・検索のサンプルコードを書きましょう！ solrjでインデックス生成・検索 solrjでランダムソートする solrの管理画面を使ってみましょう！ solr adminでデータ確認 solrの辞書機能を使ってみましょう！ solrの同義語の設定 solrの日本語形態素解析の設定 応用 solrで実用的なインデクサを実装しましょう！ solrjで独自のインデクサを実装する solrで実用的なサーチャーを実装して色々な検索をしましょう！ solrjでfacet field検索 solrjでfacet query検索 kuromojiで漢字からカタカナ
Mapping CharFilterFactoryの使い方 - エメラルドアオキロック
Solrには文字列解析の為の仕組みがたくさん用意されています。またそれらは柔軟に組み合わせやパラメータによるカスタマイズが可能で、色んな用途に対応できるようになっています。それらは個々のカスタマイズ可能なコンポーネントとして、下記のURLで説明されています。 http://wiki.apache.org/solr/AnalyzersTokenizersTokenFilters コンポーネントによっては、上記ページの他にjavadocを見てもあまり詳しく説明がなかったり、パラメータにも何を設定できるのかまでは細かく書かれていません。そこで勉強がてら、これらのコンポーネントの使い方を一つずつ紹介していきます。また、使い方だけではなく、ソースコードから内部の詳細についても一緒に見ていこうと思っています。 （全体的な仕組みの詳細はSolr本を参照してください。機会があれば書いてみるつもりです。）
ManifoldCF in Action
No matter how exciting a search engine might be, it's worthless unless it has data to index. ManifoldCF is an open source framework for pulling content out of a repository and sending it on to targets such as Solr via a plug-in style, connector-based architecture. ManifoldCF includes connectors for numerous commercial and open source data sources, including Documentum, SharePoint, JDBC, and RSS. M
全文検索サーバ: これからSolrを始める人のためのApache Solr概要と便利な情報リスト集
はじめまして。 プロダクト&サービス事業部 リーダーの久保です。 今日は、当社で利用しているOSSの全文検索アプリケーションであるApache Solrについてご紹介したいと思います。 GoogleでSolrを検索しても、日本語圏のコンテンツはまだまだ少ないようです。 当社がSolrを使い始めた昨年は現在よりもさらに少なく、結構苦労しました。 今回はやや雑多な内容となりますが、新しくSolrを使う際に必要と考えられる情報をまとめてみました。 本エントリーでは、Solr1.3を対象としています。 Solr1.3が現在の安定版で、Solr1.4-devが開発版となります。 目次 Solrとは 機能一覧 実績/事例 Solrを使ったシステムの開発方法 おすすめする方 データ量/性能とハードウェア マルチコア構成 様々な検索 スケールアウト 検索と更新 Solrを始めるための情報リスト 全
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Solr vs.… by Alexandre Rafalovitch [Leanpub PDF/iPad/Kindle]
IBM Developer
Blog - Mikula Beutl - SEO Consulting
暇人プログラマの日記
Solr in Action
IBM Developer