人気順検索のSolrはスケールのためにディスクを捨てた - クックパッド開発者ブログ
技術部クックパッドサービス基盤グループの id:koba789 です。 昨年まではデータ基盤グループというところで 最新のログもすぐクエリできる速くて容量無限の最強ログ基盤 を作ったりしていました。 今年はちょっとチームを移動しまして、検索システムをいじっていました。今回はそのお話です。 なお、クックパッドには様々な検索システムがありますが、この記事では説明を簡単にするためにレシピの検索のみに焦点をあてています。 クックパッドの検索システムにあった課題 クックパッドにはレシピを検索できる機能があります。 プレミアム会員限定の人気順検索もこの機能の一部です。 しかし、この重要な機能を支える検索システムにはいくつもの課題がありました。 Solr が古すぎる クックパッドでは、レシピ検索を含む多くの検索機能にSolrを用いています。 今年の始めに私がこの課題に取り組み始めた時点では、その Sol
tree-tips: solrを使う前に知っておくべき事 | Apache Solr
solrって何？ Apache solr solr wiki オープンソースのpure javaの全文検索エンジンです。 Apacheのトッププロジェクトであり、twitterやfacebook級のサイトでも使用されています。 solrにできる事は？ 超高速検索のエンジンを自分で作成可能（オレオレMySQLのようなものを作る事ができる）。 検索する項目を自分で定義可能（RDBのカラム）。 定義した項目に、順序を保持したままリスト形式で値を保存可能（カラムにjavaでいうところのListを保存できる）。 完全一致検索可能。 中間一致検索可能（フルスキャンで超低速になるので非推奨）。 前方一致検索可能。 超高速に件数を取得する、ファセット検索が可能。（select count(*)を100回同時に行なっても超高速） 超高速に同義語検索可能で、同義語の辞書を自分で定義可能。（or name =
Solrのdismaxを使ってお手軽（？）レコメンド - Qiita
はじめに レコメンドといえば協調フィルタリングがパッと思い浮かびますが、傾向を表すために必要なデータが不足している場合などはルールベースのレコメンドをまず検討するかと思います。 今回はSolrを使ってルールベースのレコメンドをどうやって（比較的楽に）実現するかを検討してみました。 Mahout+Solrでゴリゴリやるぜ。という記事ではありません。 環境 Solr4.10.4 インデクスの準備 データはiTunes Media API、スキーマ定義はDynamicFieldで定義しインデクシングしました。インデクシング部分は本筋ではないので割愛します。 型の定義は、SolrのExamplesのCollection1と同様です trackIdをuniqueKeyとしています。_tはtext_ja,_lはlong,*_dtはdateです。 データのサンプルをお見せします。 "response":
OSSのツール「Solr」「Flume」「Banana」の組み合わせによるデータ可視化プラットフォーム構築
ヤフー株式会社には、技術や制作の分野において専門性に優れたエキスパート人財を「黒帯」に認定し、その活動を手厚く支援する黒帯制度があります。「ある分野に突出した知識とスキルを持っているその分野の第一人者」が黒帯として認定され、褒賞金と活動予算が付与され、それぞれの分野のエバンジェリストとして社内外で活躍します。この黒帯によるリレー連載として、第2回目は「Solr黒帯」が執筆します。 はじめに 企業において、データの可視化（Visualization）の重要性が取り上げられ、今注目されています。WebサイトやECサイトを運営しているのであれば、サーバーのアクセスログには、現在までの顧客の活動記録といった膨大な量のデータが蓄積されており、顧客がどんなキーワードで自社サイトにたどり着いたのか、どんな商品を購入していったのかなど、その内容は多岐にわたります。そのデータを分析することで、新たな発見につ
オープンソースの検索エンジン「Apache Lucene 5.0」リリース | OSDN Magazine
オープンソースの全文検索エンジンライブラリ「Apache Lucene」開発チームは2月20日、最新版となる「Apache Lucene 5.0」およびLuceneベースのNoSQL検索プラットフォーム「Apache Solr 5.0」をリリースした。 Apache LuceneはJavaで作成された検索エンジン。1時間あたり150GB以上というインデックススループットやランク付け、多数のクエリタイプサポート、フィールドによるソート、誤字補完といった機能を有し、全文検索を必要とするほぼすべてのアプリケーションで利用できるという。SolrはLuceneのサブプロジェクトで、Luceneをベースとしたエンタープライズ向けの検索プラットフォーム。 Apache Lucene 5.0は、2012年10月に公開されたバージョン4.0に続くメジャーバージョンとなる。インデックスの安全性強化とヒープ使用
クックパッドの検索の裏側 - クックパッド開発者ブログ
初めまして、インフラストラクチャー部の加藤 (@EugeneK) です。 クックパッドでは現在178万ものレシピが公開されていますが、目的のレシピを探すために検索機能を提供しています。 今回は検索機能の裏側の仕組みについて、インフラストラクチャーの観点からお話ししようと思います。 全ての検索機能を支えるSolrと周辺のアーキテクチャ クックパッドにはレシピの検索だけでなく様々な検索機能がありますが、その全てはSolrを活用して実装されています。 以前はMySQL Tritonnによる全文検索機能を使用していましたが、2011年頃からSolrに切り替わりました。 クックパッドではSolrをマスタ - スレーブ構成にすることで冗長性と負荷分散を実現しています。以下の構成図をご覧ください。 マスタとスレーブの間には、リピータと呼ばれる検索インデックスを中継するためだけの役割のサーバがいます。この
SolrとElasticsearchを比べてみよう
2. 名前: 菅谷信介 所属: N2SM, Inc. オープンソース活動: Apache Portals (Jetspeed2など) コミッタ Seasarプロジェクトコミッタ(S2Container, Teeda, SAStruts, DBFlute, S2Portlet, S2Robot..) Fessプロジェクト運営 などなど・・・ Github: https://github.com/codelibs Blog: http://www.chazine.com/ Twitter: https://twitter.com/shinsuke_sugaya/ 自己紹介
慎ましい構成で使うSolr « NAVER Engineers' Blog
お世話になっております、開発チームの池上です。 最近ちょっとした検索機能にSolrを導入しました。Solrは検索エンジンのミドルウェアでご存知の方も多いと思います。大規模な構成による導入実績が豊富でWeb上にもたくさんの事例がありますが、今回は慎ましい構成の事例を紹介させて頂こうと思います。 使用しているSolrのバージョンは2012年1月時点で最新の3.5.0です。 なお、検索エンジンやSolrに関する基礎的な情報につきましては、有用な解説がすでに多数存在していますので割愛させて頂きます。 今回はつぎの前提条件と要件を意識して構築しました。 前提条件 サーバは極力少なめで ミッションクリティカルな機能ではない データ量はそれほど多くない 要件 更新はある程度頻繁 遅くとも数分以内にはインデックスに更新を反映させたい 一般的なWeb検索のように「いい感じに見つける」よりは「（入力されたキ
全文検索エンジン Solr のパフォーマンスチューニングについて - にょきにょきブログ
この記事は古くなりました。新しい知見は下記を参照。aoking.hatenablog.jp 概要 全文検索エンジン Solr を使用していて、パフォーマンスチューニングに四苦八苦した話。 ここでは、検索時ではなくドキュメントの追加時についてのチューニングについて記してある。 更新自体は参照に比べて頻度が少ないが、参照はレプリケーションして負荷分散しやすい。 更新は整合性を保つために一台のマスターノードに対して行われるので更新はボトルネックになりやすいのだ。 定期的に IO 負荷が高くなる Solr を使っていると、一時的に猛烈に IO 負荷が高まる時がある。fsync になんと1分以上かかるような、猛烈な負荷だ。 これはインデクスのマージ時に起きる IO 負荷で、巨大なインデクス同士のマージだとその合計サイズ分の IO が発生することで IO 処理が専有されたままになっていた。 インデクス
Cloudera Searchってのが出たらしい（とりあえず、雑感？）
AWS Summitに来ていたのですが、TLでは、Cloudera Searchが賑わってました。 ということで、軽くどんなものか読んだり調べたりしたメモを残しとこうかと。 英語力はあやしいので、おかしいとこがあったらツッコミを。 Cloudera Searchとは？ CDH4.3に対応したCDHユーザ向けの検索システム（beta版）なのかな？ CDHに統合された検索フレームワークなのかな？ 基本はLucene/Solr 4.3でHadoopのペタバイトデータを検索することができるようになるみたいです。 どんな仕組み？ 次のものを利用しているようです。（GithubのREADMEから。） 使ってるもの Apache Solr(4.3.0＋α？) Apache Lucene（Solrつかってるからね） Apache SolrCloud（うーん、Solrに含まれるのに別に出してるのなんで？）
64ビットプラットフォームで絶対お勧めのLuceneのMMapDirectory （Uwe氏のブログより） | 関口宏司のLuceneブログ
一定期間更新がないため広告を表示しています
Solr vs Elasticsearch: Performance Differences & More - Sematext
“Solr or Elasticsearch?”…well, at least that is the common question we hear from Sematext’s consulting services clients and prospects. Which one is better, Solr or Elasticsearch? Which one is faster? Which one scales better? Which one is easier to manage? Which one should we use? Is there any advantage to migrating from Solr to Elasticsearch? – and the list goes on. These are all great questions,
Solr4.0のデフォルトのschema.xmlを読む
こんにちは。 前回Herokuで全文検索事情について書きましたが結局は自前でSolrのサーバを立てることになりそうです。 Herokuには前回とりあげた以外にもElasticSearchのラッパーが現在ベータ版のAddOnとしていくつかあるんですが、多分どれも似たり寄ったりです。(-- 結局のところ日本人スタッフのいない環境で作成された全文検索サービスはもれなく日本では使い物にならん！という結論に達しました。(^^;;; □□□□ そんな訳で最近よくSolrをいじっているわけですが、日本語での全文検索エンジンを構築する場合に早い段階で意思決定しなければならない事柄の一つに単語分割にN-gramと形態素解析のどちらを使用するか？という命題があります。 この両者がどういうアルゴリズムであるか？またそれぞれにどういうメリット・デメリットがあるか？という点については多くのサイトで解説されているので
solr3.6のpingのエラー：org.apache.solr.common.SolrException: undefined field text - 文系プログラマによるTIPSブログ
またこのエラーがでたのでまとめます。 2箇所で「org.apache.solr.common.SolrException: undefined field text」が起きました。 solr adminのping solr adminで [ping] を押下すると以下のようなエラーが起きました。 HTTPステータス 500 - Ping query caused exception: undefined field text org.apache.solr.common.SolrException: Ping query caused exception: undefined field text at solrjのsolrServer.ping() solrjで以下のようにpingを実行すると、 SolrServer solrServer = new LBHttpSolrServer("
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - inoio/solrs: An async, non-blocking solr client for java/scala, providing a query interface like SolrJ
solrmeter - Project Hosting on Google Code
Amazon.co.jp: [改訂新版] Apache Solr入門 ~オープンソース全文検索エンジン (Software Design plus): 大谷純 (著), 阿部慎一朗 (著), 大須賀稔 (著), 北野太郎 (著), 鈴木教嗣 (著), 平賀一昭 (著), 株式会社リクルートテクノロジーズ (監修), 株式会社ロンウイット (監修): 本![Amazon.co.jp: [改訂新版] Apache Solr入門 ~オープンソース全文検索エンジン (Software Design plus): 大谷純 (著), 阿部慎一朗 (著), 大須賀稔 (著), 北野太郎 (著), 鈴木教嗣 (著), 平賀一昭 (著), 株式会社リクルートテクノロジーズ (監修), 株式会社ロンウイット (監修): 本](https://cdn-ak-scissors.b.st-hatena.com/image/square/4de81ed6d503121c8efedfd338b26e9398b09178/height=288;version=1;width=512/https%3A%2F%2Fm.media-amazon.com%2Fimages%2FI%2F514TjyZH6DL._SL500_.jpg)
IBM Developer
Yokozuna 日本語検索機能を評価しました
Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan
