OSSのツール「Solr」「Flume」「Banana」の組み合わせによるデータ可視化プラットフォーム構築
ヤフー株式会社には、技術や制作の分野において専門性に優れたエキスパート人財を「黒帯」に認定し、その活動を手厚く支援する黒帯制度があります。「ある分野に突出した知識とスキルを持っているその分野の第一人者」が黒帯として認定され、褒賞金と活動予算が付与され、それぞれの分野のエバンジェリストとして社内外で活躍します。この黒帯によるリレー連載として、第2回目は「Solr黒帯」が執筆します。 はじめに 企業において、データの可視化（Visualization）の重要性が取り上げられ、今注目されています。WebサイトやECサイトを運営しているのであれば、サーバーのアクセスログには、現在までの顧客の活動記録といった膨大な量のデータが蓄積されており、顧客がどんなキーワードで自社サイトにたどり着いたのか、どんな商品を購入していったのかなど、その内容は多岐にわたります。そのデータを分析することで、新たな発見につ
クックパッドの検索の裏側 - クックパッド開発者ブログ
初めまして、インフラストラクチャー部の加藤 (@EugeneK) です。 クックパッドでは現在178万ものレシピが公開されていますが、目的のレシピを探すために検索機能を提供しています。 今回は検索機能の裏側の仕組みについて、インフラストラクチャーの観点からお話ししようと思います。 全ての検索機能を支えるSolrと周辺のアーキテクチャ クックパッドにはレシピの検索だけでなく様々な検索機能がありますが、その全てはSolrを活用して実装されています。 以前はMySQL Tritonnによる全文検索機能を使用していましたが、2011年頃からSolrに切り替わりました。 クックパッドではSolrをマスタ - スレーブ構成にすることで冗長性と負荷分散を実現しています。以下の構成図をご覧ください。 マスタとスレーブの間には、リピータと呼ばれる検索インデックスを中継するためだけの役割のサーバがいます。この
CakePHPでApache Solrに接続したかったら、datasourceを書いてみた - 仕事なんて大嫌い
CakePHPでApache Solrを使おうと思ったので、datasourceとか誰か作ってないかなぁと思って探したんだけど、見つからなかったのでざっと書いてみた。 Solrとの通信部分は自分で作成するのが面倒だったので、「solr-php-client 」を利用させて頂いています。 う〜ん助かる♪ 作成したファイルは、以下の通り。 ※ファイル名は、solr_source.php <?php App::import('Vendor', 'Service', array( 'file'=>'Solr'.DS.'Service.php' )); class SolrSource extends DataSource { var $fields = null; var $_baseConfig = array( 'driver'=>'solr' , 'host'=>'localhost' ,
アメーバサーチ 第二回solr勉強会
1. アメブロ記事検索に Apache Solr 1.4 をつかってみた （お蔵入りした資料） 第二回 Solr 勉強会 2010/03/11 @ECNavi 株式会社サイバーエージェント 新規開発局 2. Solr 導入の経緯 ■ 以前のアメーバサーチ ・ Lucene 使用（ RMI 機能利用） ・検索対象： 6000 万件ほど （直近 3 ヶ月～ 6 ヶ月） ・スケールしにくいつくり ・ Lucene のバージョンアップ困難 （ RMI は非推奨化予定？） ・「アクセス過多のため・・・・・」と 検索できない ・ QPS 50 ぐらい・・・・・ （ 4 セット合計で・・・）
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
第10回Solr勉強会を主催しました。#SolrJP | @johtani の日記
