「モノタロウの1900万商品を検索するElasticsearch構築運用事例」のポイント深掘り〜第50回 Elasticsearch勉強会後記〜 - MonotaRO Tech Blog
こんにちは。 EC基盤グループ サーチチームの 山村です。 この記事は、 Elastic Stack (Elasticsearch) Advent Calendar 2022 の 23日目です。 2か月ほど前になりますが、2022年10月26日に実施された 第50回 Elasticsearch勉強会 で発表させていただきました。 私が外部での発表するのは、2016年6月のSolr勉強会 以来で、非常に緊張しました。 日々の業務にかまけて、ブログが後回しになっていたことで大変遅くなってしまいましたが、上記の発表で話した内容とスライド資料から、話したかったポイントを抜粋するとともに、勉強会で不足していた部分について補足をします。 当日、発表を終えたところで気が抜けてしまい、Twitter で頂いていた質問に満足に答えられませんでしたので、この場で補足説明を含めて出来るだけ回答したいと思います。
クックパッドの検索の裏側 - クックパッド開発者ブログ
初めまして、インフラストラクチャー部の加藤 (@EugeneK) です。 クックパッドでは現在178万ものレシピが公開されていますが、目的のレシピを探すために検索機能を提供しています。 今回は検索機能の裏側の仕組みについて、インフラストラクチャーの観点からお話ししようと思います。 全ての検索機能を支えるSolrと周辺のアーキテクチャ クックパッドにはレシピの検索だけでなく様々な検索機能がありますが、その全てはSolrを活用して実装されています。 以前はMySQL Tritonnによる全文検索機能を使用していましたが、2011年頃からSolrに切り替わりました。 クックパッドではSolrをマスタ - スレーブ構成にすることで冗長性と負荷分散を実現しています。以下の構成図をご覧ください。 マスタとスレーブの間には、リピータと呼ばれる検索インデックスを中継するためだけの役割のサーバがいます。この
CentOS5.7で全文検索エンジンApache Solr3.4.0のインストールからMySQLデータのインポートまで - FAT47の底辺インフラ議事録
Apache Solr http://lucene.apache.org/solr/ Apache Solr（ソーラー）はApacheコミュニティによってオープンソースで開発されている全文検索エンジンです。 Apache LuceneのHTTPラッパーのようなものです。 Luceneでは全文検索を行う為にはそれなりにコードを書かなければいけないですが、Solrを使うとSolrに対してHTTPのリクエストを行うだけで指定したデータをHTTPレスポンスで返してきてくれます。 利用するにはTomcatなどのサーブレットコンテナを利用する必要があります。 MySQLのデータベースにあるデータをSolrにインポートしてデータを検索するといったことも可能です。 現時点（2011/09/16）で最新のSolrは3.4.0です。1.4.xの時は同梱されていたJettyのバージョンは6.13でしたが、Sol
Solrをdeamonで動かそうとして挫折した - 憧れ駆動開発
デーモンにしたほうがいいよねーと思ったけど、挫折した。 結局こうした cd solr_dir/example nohup java -jar start.jar & nohupでログアウトしても実行。 & でバックグラウンドで実行ですね。 start-stop-daemonというのがある 一番これが詳しそう。 @key3 さんのmybikeだ MyBike.JPで使ってるSolrのinit script | Go for it! 他にもstart-stop-daemonでググるといろいろStackOverFlowあたりが出てきた、気がする あとこれのUbuntu(Debian)パッケージが欲しかったので探してた Ubuntu Manpage: start-stop-daemon - start and stop system daemon programs gzファイルの解凍の仕方さえわか
Solr勉強会に行ってきました[solr][ecnavi][mapion][recruit] - d.hatena.zeg.la
Solr勉強会に行ってきました。 ECナビさんの事例の最後の質問付近から参加させていただきました。 Solr(ソーラー) 全文検索エンジンライブラリLuceneをベースに、管理画面やキャッシュ機構を取り入れたアプリケーション。 http://ja.wikipedia.org/wiki/Solr http://lucene.apache.org/solr/ 各事例紹介 ECNavi parasearch商用サーチエンジンを使っている ECTokenizerという独自Tokenizerで型番等のゆれを吸収している WebServer pound リクルート スピーカー 植野さん リクルートの人 開発、テスト MITの人 全社のインフラ 事業 営業、企画は社内 技術は大手SIerさん 全社的なインフラとかはMIT 某サイト (新作hotpepper?がSolrつかってる？) 25-280QPS
![Solr勉強会に行ってきました[solr][ecnavi][mapion][recruit] - d.hatena.zeg.la](https://cdn-ak-scissors.b.st-hatena.com/image/square/b28b3908e35537ae91e5b22a3567f0fd5fb2b045/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127044525658%2F17680117127044540763%2F1555521814)
Solrいろいろ比較
Solrいろいろ比較 shard, drive, version 株式会社ECナビ システム本部 ECナビラボ 春山 征吾 概要 •ECナビでのSolrの利用 •Shard 対 非Shard •HDD 対 SSD 対 ioDrive •Solr 1.3 対 Solr 1.4 •商品/ショップ検索構成(旧/新) •まとめ ECナビでのSolrの利用 •ECナビ の商品/ショップ検索 •CNET Japan サイト内検索(adingo) •アンケート回答者集計(リサーチパネル) 商品/ショップ検索をリニューアル(2010/02)するに あたり, 様々な構成を比較しました. 比較の前に...概要 毎秒何リクエストまでタイムアウト(10秒)ほぼなしで 耐えられるか! を比較. •item数/インデックスサイズ: 2600万件/22GB •実際のロボットが出したクエリ •shardはidで3つに分割
Solr/Lucene
Intro Solr/Lucene 4.4, but also relevant for later versions Term indices live in memory. If you have a lot of documents and/or lots of indexed fields those term indices will require a lot of memory. But you can do something to limit it. Problem The term index is basically the .tip files in your Lucene index-folder. They live almost 1-to-1 in memory. A concrete case I have worked on Have an indexed
pixiv サイバーエージェント共同勉強会 solr導入記
Proof Summit 2015 <http: /> で発表した、SAT/SMTソルバの仕組みです。 Proofということで、論理学的側面からの面白さを出来るだけ紹介しています。 This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusse
慎ましい構成で使うSolr « NAVER Engineers' Blog
お世話になっております、開発チームの池上です。 最近ちょっとした検索機能にSolrを導入しました。Solrは検索エンジンのミドルウェアでご存知の方も多いと思います。大規模な構成による導入実績が豊富でWeb上にもたくさんの事例がありますが、今回は慎ましい構成の事例を紹介させて頂こうと思います。 使用しているSolrのバージョンは2012年1月時点で最新の3.5.0です。 なお、検索エンジンやSolrに関する基礎的な情報につきましては、有用な解説がすでに多数存在していますので割愛させて頂きます。 今回はつぎの前提条件と要件を意識して構築しました。 前提条件 サーバは極力少なめで ミッションクリティカルな機能ではない データ量はそれほど多くない 要件 更新はある程度頻繁 遅くとも数分以内にはインデックスに更新を反映させたい 一般的なWeb検索のように「いい感じに見つける」よりは「（入力されたキ
Solr@twitter検索
This document discusses setting up Elasticsearch to make the Nicovideo video dataset searchable and analyzable. It describes importing over 25 billion comments from the 60GB JSON dataset into an Elasticsearch cluster on AWS in under 4 hours. Key steps included installing plugins, configuring the cluster, importing the data in bulk, and optimizing mappings and settings for efficiency. The dataset c
Nginx を Solr のフロントに使ってみる
Solr のフロントに Nginx を使ってみます。 外部からも select はできるけど update はできないようにして、 admin には BASIC 認証をかけます。 クリーンな環境の方が分かりやすいので、Amazon の EC2 を使います。 EC2 のインスタンスを用意 基本的な構成でインスタンスを作成します。 SSH のための 22 番ポートと、HTTP のための 80 番ポートを開放しておきます。 細かい手順はこの辺で。 Amazon EC2 を使ってみる (１月の記事) ec2-api-tools - blog.withsin.net ローカルマシンから EC2 のインスタンスには SSH で接続しますが、 このときにローカルマシンにポートを転送させます。 Solr は Jetty を使って 8983 番ポートで起動し、Nginx はデフォルトの 80 番ポートで起動
Solr って、書き込みの Disk I/O が多くて、リアルタイム検索は不可能なのかしら - kazuhoのメモ置き場
を読んでいて、pp.266-267 に、以下のような記載があった。 ・Optimize の重要性 コマンドは Solr のインデックスを物理的に最適化するコマンドです。具体的には、Solr では commit のたびに一群 11 個のファイルを作成します。 つまり、細かく commit を繰り返す形で文書の投入や更新を繰り返すと、その分だけインデックスとして多くのファイルを使うようになり、ひいてはファイルディスクリプタが枯渇する事態に陥ります。 仮に枯渇しなくても、多くのファイルを開いて検索に利用することになるため、パフォーマンスに甚大な影響を与えてしまいます。 この事態を回避するため、目安として 5 回程度 commit を行ったら最低 1 回は optimize コマンドを発行するようにしてください。 optimize を行うことで、複数回分に分かれてしまっていたインデックスファイル群
Solrの導入資料を公開します - Hatena Developer Blog
こんにちは、 id:yanbe です。 全文検索エンジンLucene上に構築されたSolrという検索ミドルウェアがあります。拡張性・カスタマイズ性に富み、既存のデータのインポート機能が豊富なのもあって、広く利用されています。 参考: Solr - Wikipedia 国内のウェブサービスでのSolrの採用事例を挙げるとNAVERやCookpad、アメーバなどがありますが、はてなでも以前より一部のサービスでSolrを採用しています。 Solrの公式ドキュメント(英語)はwiki形式で提供されており、網羅的な情報はこちらで手に入ります。また、Solrの基本的な使い方を学べるチュートリアルもありますが、「すでにある典型的なLAMP構成のウェブサービスにSolrによる検索機能を組み込む」までには、ここからさらに多くの情報を調べる必要があり、Solrの導入のハードルとなっていると感じました。 そこで
第2回Solr勉強会 資料公開しました：マピオンラボ(セミナー／勉強会)
1. Solr1.3 から Solr1.4 へ移行 ～マピオンの場合～ 2. はじめに * 対象者 o エンジニア。ちょっとは Solr かじった。 o それ以外の方、「 Apache Solr 入門 」を読みましょう * なぜ 1.4 にしたいのか？ o いつの間にかサーバが増えてしまった。 + クローラー用だとか法人向け用だとか。。。 o 1.4 にすればパフォーマンス上がりそうだし台数減らせるんじゃねぇ？ + 同時アクセスが多い場合のパフォーマンスがいい。 3. パフォーマンス比較 ※ 本番と同じ環境を用意できなかったので仮想サーバで比較 緯度経度検索＆同時アクセスが多い場合に、顕著に違いが現れる 4. スキーマ * integer フィールドを pint へ変更 * 緯度 / 経度フィールドを tdouble へ変更 o 1.3 の時はただの double * dynamicFi
Solr勉強会に行ってきました。2010 - 不可視点
3月11日にECナビにて第2回Solr勉強会がありました。事例紹介に「Solr@twitter検索」という発表で参加させて頂いた時の資料を公開しておきます。すごく勉強になりました。皆さんの発表の内容とか感想はのちほど追記…twitter/#SolrJP,yats/#SolrJP スライド：Solr@twitter検索2010 solr@twitter検索2010View more presentations from penguinana. 分かりにくいスライドですが「考え方が根本的に間違っている！」「これはこうすべきだし！」「これを使うべき。」「ここはどうなってるの？」などお気づきの点ありましたらコメント欄などでお知らせください。 もう少しSolrいじってみてまたブログに書いたりしてみようと思います。 メモ 追記予定
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
