クックパッドの検索反映時間を 1/288 にしたシステム改修 - クックパッド開発者ブログ
こんにちは。レシピ事業部の新井（@SpicyCoffee）です。 クックパッドではこれまで、レシピを投稿してから検索結果に反映されるまで最長で 24 時間程度の時間がかかっていました。今回、この時間を 5 分程度、最長でも 10 分程度に短縮することに成功しました。本記事では、プロジェクトオーナーの立場で関わった私が代表してその開発について紹介します。 プロジェクトの目的と数値目標 本プロジェクトでは上記の「レシピを投稿してから検索結果に反映されるまでの時間短縮」が目的とされました。しかし、時間短縮といっても現状 24 時間であるものを "1 時間" にするのか、"1 分" にするのか、"1 秒" にするのかでは話が全然違います。この数値目標は設計を始めとした後の意思決定に大きく影響を与えるため、しっかりとした意図を持った状態で明確に定めておく必要がありました。 そこで、私とプロダクトオー
第22回 Lucene/Solr勉強会 #SolrJP @Mercari
皆様、こんにちは。勉強会運営スタッフです。Lucene/Solr勉強会は 今年で10周年 の節目を迎えました。 10周年を迎える今回の勉強会は 株式会社メルカリ様 より会場提供いただき開催いたします。 また、勉強会後の LT & 懇親会 (会費：無料) も予定しています。お気軽にご参加ください。 開催概要 第22回Lucene/Solr勉強会 場所：東京都港区六本木6-10-1 六本木ヒルズ森タワー18F (会場：株式会社メルカリ 提供) 最寄駅：東京メトロ日比谷線「六本木駅」 都営大江戸線「六本木駅」 地図：https://goo.gl/maps/7JnQXFmRX8k2YnS1A 日時：2019/10/28(月) 19:00 ～ 受付開始 (LL階)、会場 (18階) 19:30 ～ 開始 ※ 会場までのエレベーターが混雑する場合がありますので、余裕を持ってご来場ください。 ※ 19:
形態素解析とNgramを併用したハイブリッド検索をSolrで実現する方法 - ZOZO TECH BLOG
こんにちは、バックエンドエンジニアの塩崎です。 今まではiQONの全文検索用のインデックスには形態素解析だけを用いていましたが、先日Ngramも併用することで検索を改善しました。 その結果、検索結果のヒット数が向上し、なおかつ検索ノイズの増加を軽微なものに抑えることができました。 この記事では、Ngramを併用することのメリット、およびそれをApache Solrで利用する方法について紹介します。 欲しい情報が見つからないとは そもそも、「検索したけど欲しい情報が見つからない状態」とはどのような状態でしょうか？ ここではその状態を以下の2つの状態に分解して考えてみます。 欲しい情報の数が少ない 1つ目の状態は「欲しい情報が検索結果中に少ない」状態です。 例えば、旅行情報サイトで「東京」と検索した時にDBの中には数千件のデータがあるのに検索結果数がわずか数件しかないような状態です。 欲しくな
第19回Lucene/Solr勉強会 #SolrJP
第19回 Lucene/Solr勉強会 皆様、こんにちは。勉強会運営スタッフです。 前回の勉強会の開催から5か月ほど経ってしまいましたが、全文検索エンジン Apache SolrとApache Luceneの第19回勉強会を開催いたします。 勉強会後の懇親会(会費：1,000円)も予定しておりますので、お気軽にご参加ください。 開催概要 第19回Lucene/Solr勉強会 * 場所：グラントウキョウ サウスタワー 41階 アカデミーホール （会場：株式会社リクルートテクノロジーズ 提供） * 日時：2016/12/13(水) 18:30 ～ 受付開始(1F)、開場 19:00 ～ 開始 ※ 1階の受付から会場までは、5～10分ほどお時間がかかる場合がありますので、余裕を持ってご来場ください。 ※ チケットの QRコード （画面またはプリント）をご用意いただくとスムーズに入場できます。 *
「リクルートにおける検索エンジンSolrの活用」
tf0054@r.recruit.co.jp / FIT / z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z ¾ z z ¾ z z ¾ z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z z Internet batch web batch web … 2 /FW DB/NFS 1 (F)
O'Reilly Media - Technology and Business Training
More than 5,000 organizations count on our digital courses and more to help their teams learn the tools and technologies that drive business outcomes. We can help yours too. New AI policy for O’Reilly authors and talent O’Reilly president Laura Baldwin shares the company’s ethical approach to leveraging GenAI tools and ensuring O’Reilly experts are compensated for their work. Read it now It’s time
Solr 3.6.2 と 4.1.0 の検索性能比較 - 株式会社ロンウイット
著者：関口宏司 はじめに Lucene/Solr 4.1.0がリリースされました。本記事は4.0から導入されたCodecに着目し、Codec（Flex API）導入以前の最終バージョンである3.6.2と最新の4.1.0の検索性能比較を行いましたのでその結果を簡単に報告します。 Codec〜Flex APIとは CodecはLuceneインデックスのセグメントファイルを読み書きする低レベルのプログラムです。提案当時（4.0開発当時）はFlex APIなどと呼ばれ、Luceneインデックス内を自在に（4軸方向に！）イテレートするAPIを提供するとともに、セグメントファイルのフォーマットをより柔軟に切り替えられるよう、Codecレイヤを明確に分離するように大幅に書き換えられました。 これにより新しいCodecを取り込むのが容易になったり、今後の研究で最新のCodecを試すのにLuceneが選ばれ
Large scale crawling with Apache Nutch
This talk will give an overview of Apache Nutch, its main components, how it fits with other Apache projects and its latest developments. Apache Nutch was started exactly 10 years ago and was the starting point for what later became Apache Hadoop and also Apache Tika. Nutch is nowadays the tool of reference for large scale web crawling. In this talk I will give an overview of Apache Nutch and desc
大規模テキストデータに対する高速クラスタリングの手法 ----Lucene と Hadoop の並列分散処理の利用研究 High-speed clustering technique for large scale data ---- The research of Lucene and Hadoop distributed technology �
大規模テキストデータに対する高速クラスタリングの手法 ----Lucene と Hadoop の並列分散処理の利用研究 High-speed clustering technique for large scale data ---- The research of Lucene and Hadoop distributed technology 胡 亜莉 1 山下雅喜 2 工藤修一 3 木村雅史 3 Yali Hu1 , Masayoshi Yamashita2 , Shuichi Kudou3 , Masafumi Kimura3 1,2,3 SCSK 株式会社 1,2,3 SCSK Corporation Abstract: With the popularization of internet it is much easier to obtain large amount in
Solr 4.0 の主な機能
4. Solr 4.0 の主要機能 プラガブルなシミラリティクラス FST対応 Codecプラグイン NRT PivotFacet pseudo-join SolrCloud ・3.6は3.x系の最後 ・4.0は年内、alphaは7/3リリース 5. Similarity いろんなランキングアルゴリズムに差し替え可能 参考 Lucene 4.0のスコア計算 http://www.slideshare.net/KojiSekiguchi/similarity-functions-in-lucene- 40-12652624 ・Okapi BM25 Model ・Language Models ・Divergence from Randomness Models ・Information-based Models 6. Finite State Automa
AnalyzersTokenizersTokenFilters - Solr - Apache Software Foundation
This page exists for the Solr Community to share Tips, Tricks, and Advice about Analyzers, Tokenizers and Filters. Reference material previously located on this page has been migrated to the Official Solr Reference Guide. If you need help, please consult the Reference Guide for the version of Solr you are using. The sections below will point to corresponding sections of the Reference Guide for eac
Solrの日本語対応 -新しく追加されたトークナイザ・トークンフィルタ- 株式会社ロンウイット
先日、Lucene/Solrのbranch_3x(3.6)とtrunk(4.0)にコミットされた日本語向けのトークナイザ・トークンフィルタをご紹介します。 LuceneのJIRAのチケット LUCENE-3305 にて、日本語形態素解析器Kuromojiが導入されました。 これにより、日本語ドキュメントに対して形態素解析に基づく単語分割が可能になります。 従来、Lucene/Solrで日本語対応をする場合は、lucene-gosenやSenを使用する方法などをとってきましたが、今回の対応であらかじめLucene/Solrに組み込まれたものを使用するということが可能になります。 また一方で、LUCENE-2906にて、CJK文字に関するトークンフィルタも追加されました。 本記事では、これらのトークナイザ・トークンフィルタに関して、2012/2/23時点のソースに基づいて調査したものを解説いた
supervisor から solr を起動してプロセス死亡時に再起動するようにしたときのメモ (ざっくり) - 人生いきあたりばったりで生きてます@はてな
supervisorの設定 systemのpythonに直接インストールする $ sudo pip install supervisor $ sudo mkdir /var/log/supervisor/ $ sudo mkdir /etc/supervisord.d/ $ sudo su - root -c "echo_supervisord_conf > /etc/supervisord.conf" $ sudo etckeeper commit -m"Add supervisord.conf" 各設定ファイルを記述 supervisorのグローバル設定 /etc/supervisord.conf diff --git a/supervisord.conf b/supervisord.conf index a29252e..b076add 100644 --- a/supervisor
DjangoでMySQLなサイトでのSolr環境構築メモ - 憧れ駆動開発
Solrとは なんかすごいOSSの検索エンジンであるLuceneを元にしたREST風になんか楽ができる検索サーバー。サーバーはJavaでできているが、クライアントはいろいろなスクリプトで取り出せるらしい 構築環境 Ubuntu 11.10 MySQL インストール とりあえずhomeにwgetしただけ。好きなところから落としましょう http://www.apache.org/dyn/closer.cgi/lucene/solr/ wget http://ftp.jaist.ac.jp/pub/apache//lucene/solr/3.5.0/apache-solr-3.5.0.tgz tar xzvf apache-solr-3.5.0.tgz インストールはこれだけでできる。ここではapache-solr-3.5.0を解凍したディレクトリを$SOLRとする。 実行にはJDKが必要らし
Island Life - Scheme脳とCL脳
About 南の島のプログラマ。 たまに役者。 Practical Schemeの主。 WiLiKi:Shiro 最近のエントリ 無限cxr高校受験Defense振り返ってみると2019年は色々学んで楽...覚えるより忘れる方が難しい(こともある)眼鏡のつると3DプリンタIris Klein Acting ClassSAG-AFTRA conservatory: Voice Acting創作活動って自分を晒け出さねばならないと...ループを使わずに1から100までMore... 最近のコメント shiro on 歳を取ると時間が速く過ぎるのは、新しいことに挑戦しないから? (2023/03/14)1357 on 歳を取ると時間が速く過ぎるのは、新しいことに挑戦しないから? (2023/03/01)ベアトリーチェ on ハイポハイポハイポのシューリンガン (2022/04/02)ベアトリーチ
第5回Solr勉強会に参加しました #SolrJp - nokunoの日記
というわけで、途中からですが第5回Solr勉強会に参加しました。会場は#TokyoNLPと同じECナビさん。Solrは最近勢いのあるオープンソースの全文検索エンジンで、mecabを使ったりして日本語の検索にも対応しているようです。第5回Solr勉強会 : ATNDWelcome to Solr Tokenizer いろいろ比較 by @haruyamaさん （途中から） Igoという形態素解析器がある Ngram系 vs 形態素解析：Ngram系のほうが速い バージョン3.1.0 vs 1.4.1: ほとんど差はなし モテるSolr系女子力の（ｒｙ 本日をもってECナビを退社→転職先募集中！ 図書館でのSolrの使い方 by @nabetaさん(田辺浩介) Project Next-LのはなしProject Next-L Official Page Next-L Enju: オープンソース
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Solr勉強会第10回
http://atnd.org/events/41368
http://atnd.org/events/37170
http://atnd.org/events/29826
