Amazon CloudSearch の Dynamic Fields を使ってみる
ちょうど去年の今頃にApache Solrの copyField と dynamicField についてブログを書きました↓ SolrのcopyFieldとdynamicFieldを使いこなす | shinodogg.com Amazon CloudSearchにおいては、Solr の copyField に該当する Source Field という機能があるので そちらが使えますが、今まで dynamicField に該当する機能がありませんでした。 この度、米国時間の12月22日の↓の発表で、Amazon CloudSearchでDynamic Fieldsが使えるようになったと。 Lean and Flexible Configuration with Dynamic Fields 詳しくは↓こちらのドキュメントをご覧くださいね、と。。 Using Dynamic Fields in
solr で独自基準ソート(function query) - LIFULL Creators Blog
ネクストでレコメンドエンジン開発をしてる古川です。 solrにおいて、複数フィールド値を組み合わせたソートを 実現する方法について紹介します。 実現方法としては、 function query を組み合わせて実現 独自のfunction query を作成して実現 独自のsearch component を作成して実現 という三つの方法があり、上から下に 実装方法: 簡単 → 大変 実行速度: 遅い → 早い 応用範囲: 狭い → 広い という特徴があります。 昨年リリースした、「HOME'S へやくる！」では、 2の方法で、たとえ指定した条件にすべて合致しなくても、指定した条件に、 近い順に物件リストを返すということを実現しています。 今回は、まず、1. function query を組み合わせによる実現方法を 紹介したいと思います。 以下、solr4.6.1 をベースに説明しますが、
SolrのcopyFieldとdynamicFieldを使いこなす
僕は、その昔、SIerで企業の業務システムの構築をしていました。 名寄せ検索とかよくある機能。例えば、姓名か名前に”海”って文字列が入ってる〜的な。 考えられるユースケース的には、企業の営業部とかで、、 Aさん：ｘｘ社のｘｘ担当の人の名前なんだっけ？ Bさん：春野さん だか、ナンチャラ春美さん だか、そんな感じ〜 Aさん：了解！調べてみる〜(検索窓に”春”って入力してボチっと) 当時はオープンソースの検索エンジンとか馴染みがなくて、RDBMSのLike検索で頑張っていました。 お察しの通りに、データ件数が増えていくとイヤ〜ンな事になったりして。 パフォチューしようにも、あんまりデータベースのスキーマ変えられなかったり。。 ということで、当時コレがあったらさぞかし便利だっただろうに、、というSolrの機能をご紹介したいと思います。 流れ的には↓の最近改訂版が出た Apache Solr入門
アメーバサーチ 第二回solr勉強会
第二回Solr勉強会で発表できたらなぁとおもってて諸般の事情により出せなかったお蔵入り資料。 Read less
第10回 Solr 勉強会にいってきた - 復刊 ボルシチは食べ物です。
3月26日に開催された、第10回 Solr 勉強会にいってきた。だいぶ遅くなったけどもろもろメモ。 http://atnd.org/events/37170 辞書型コーパスからの類義語知識の自動獲得 株式会社ロンウイット 関口さん 資料 http://www.slideshare.net/KojiSekiguchi/wikipediasolr Solr で同義語検索は SynonymFilter で簡単にできるけど、辞書を用意するのが大変。 Wikipedia から同義語辞書を作ってみましょう的なお話し。 誤抽出は検索時に上位にさせない工夫をする余地があるので、実用になりそう。 今回の抽出対象は原型語とその省略語ということで、「Mr.Children」と「ミスチル」のようなものは対象外。 そのような類義語辞書が必要な場合は別の方法（手動？）が必要。 オライリーから Lucene / Sol
第10回Solr勉強会 at VOYAGE GROUPに行ってきました
ここのところ、業務でSolrを触ってないせいか、っていうか、 ↓のブログ書いたの最後カモ的な感じで、 先日リリースされたSolr4.0と話題のSolrCloudを試してみる | shinodogg.com アンテナ下がり気味で、勉強会があることを直前まで知りませんでした。。 そんなこんなで10分ちょい遅刻くらいで参加させていただきました。 ■ 1. 株式会社 ロンウイット 関口 宏司さん タイトル：Wikipediaからの類義語知識の自動獲得について 10分くらい遅れて参加。何やら難しい数式が。。 精度と再現率の算出→結構人手で。 ウィキペディアの見出し語はそんなに精度が高くない。 ・結果 ”サンジャポ”とか、”マツケン”も二種類ちゃんと取れるし。”丸ビル”とか。 ⇒ 日本語は発音が長いとすぐ略されてしまうのが分かる。 ・失敗も当然ある。 ”スマホ”は抽出できたけど”スマフォ”はできない。
[NLP] 日本語WikipediaからSolr用の類義語辞書を自動作成する - 株式会社ロンウイット
日本語Wikipediaなどの「辞書型コーパス」からLucene/Solr用の類義語辞書を自動作成するシステムを開発しましたので、簡単にご紹介します。 参考資料（SlideShare） 辞書型コーパスからの類義語知識の自動獲得（SlideShare） Lucene/Solrと類義語検索 Lucene/SolrではSynonymFilterを使って類義語検索を簡単に実現することができます。たとえば次のような内容のsynonyms.txtを用意し： 自動車損害賠償責任保険, 自賠責保険 Solrのschema.xmlファイルに次のようなフィールド型を定義すれば： <fieldType name="text_ja" class="solr.TextField" positionIncrementGap="100"> <analyzer> <tokenizer class="solr.Japane
![[NLP] 日本語WikipediaからSolr用の類義語辞書を自動作成する - 株式会社ロンウイット](https://cdn-ak-scissors.b.st-hatena.com/image/square/05aaa2c0891efcc9c0687adc729c2094a968ac35/height=288;version=1;width=512/http%3A%2F%2Fwww.rondhuit.com%2Fwordpress%2Fwp-content%2Fuploads%2F09b26830239f52887ae9193ddee1694e-480x224.png)
iQONでのファッションアイテムの検索(Solr導入編) | VASILY TECH BLOG
こんにちは、この夏はほぼ毎日ガリガリくんを食べていた村田です。 最近無意識的にガリガリ君を食べなくなったことで秋を感じつつあります。 今回のリニューアルではiQONのバックエンド（DB、WebAPI、検索、バッチ処理など）のシステムを担当しました。 今日はファッションアイテムの検索について紹介したいと思います。 Apache/Solrの採用 今回のリニューアルを機にファッションアイテムの検索にApache/Solrを採用しました。 採用に踏み切った理由として 検索速度 今までiQONではファッションアイテムの検索にMySQLを使っていました。 日に日に増えるデータ量に合わせて検索のスピードは落ちて行き、その都度対応するという苦しい日々が続きました。 単純にMySQLを使う従来のやり方よりは確実にスピードは期待出来ると思っていました。 実際にフタを開けてみると約5〜7倍の速度を確保す
強烈に素晴らしいプロダクトに変貌した Apache Solr - Solr 4.0 登場 - にょきにょきブログ
Apache Solr 4.0 がリリースされた。 本記事では Solr 4.0 の新機能や改善された点のうち気になるものを紹介する。 概要 Solr 4.0 では、下記の変更が入る。 83 個の新機能 13 個の最適化 121 個のバグ改修 Solr 4.0 はメジャーバージョンアップにふさわしい、非常に強力なリリースとなる。 SolrCloud Solr 4.0 の数ある新機能のうちの目玉機能。 SolrCloud という名前から推測できるように、Solr の分散構成が行えるようになった。とはいうものの、Solr 3.6 以前でもレプリケーションは行えたのだが、Solr 4.0 は一味ちがう。 今までより断然賢くなった。シャーディングもクラスタリングも簡単な設定で行うことができる。インデクス書き込みも複数ノードから行える。そしてなにより自動フェイルオーバーができるようになった。 さらに
全文検索エンジン Solr のパフォーマンスチューニングについて - にょきにょきブログ
この記事は古くなりました。新しい知見は下記を参照。aoking.hatenablog.jp 概要 全文検索エンジン Solr を使用していて、パフォーマンスチューニングに四苦八苦した話。 ここでは、検索時ではなくドキュメントの追加時についてのチューニングについて記してある。 更新自体は参照に比べて頻度が少ないが、参照はレプリケーションして負荷分散しやすい。 更新は整合性を保つために一台のマスターノードに対して行われるので更新はボトルネックになりやすいのだ。 定期的に IO 負荷が高くなる Solr を使っていると、一時的に猛烈に IO 負荷が高まる時がある。fsync になんと1分以上かかるような、猛烈な負荷だ。 これはインデクスのマージ時に起きる IO 負荷で、巨大なインデクス同士のマージだとその合計サイズ分の IO が発生することで IO 処理が専有されたままになっていた。 インデクス
SolrとElasticsearchの比較
SolrとElasticsearchの比較1. elasticsearchとSolrの比較 兼山 元太 @penguinana_ Sunday, December 16, 12 2. 自己紹介 • 兼山 元太 @penguinana_ • レシピ検索チーム @ http://cookpad.com/ • Solr4.0 Sunday, December 16, 12 3. Solrのバージョンアップを 検討しているとき... Sunday, December 16, 12 4. Elasticsearchも 調べたほうがいいのでは？ Sunday, December 16, 12 5. • Luceneベース • HTTP API • 分散検索OK • 日本語OK Sunday, December 16, 12 6. • Luceneベース • HTTP API 既視感 • 分散検索OK
Solrとelasticsearchについて発表してきました @ Solr勉強会 - 不可視点
Solr勉強会でElasticsearchを発表（ゴリ押し）してきました 資料： solrとelasticsearchの比較 // Speaker Deck サンプルにつかったRailsのコード：https://github.com/penguinco/ld_gourmet_search 文章の追加から、検索まで書いたのは100行無いと思いますのでさくっと試せます。 勉強会の内容については以下の方々が詳しくまとめてくれています 第9回Solr勉強会に行ってきた #SolrJP 第9回Solr勉強会を主催しました。#SolrJP | @johtani の日記 今回思ったのはkuromojiいいですねっていうことと、 jettyのマルチテナントを活用した開発環境の紹介は非常に勉強になりました。こういうのがないと開発者が多い場合に大変ですよね。 あとは、懇親会でいろいろな方がSolrをいろんな用
AWS上での 検索エンジンについて(solr , elasticsearch)
MATSUO a.k.a マッツォ @understeer 時間作って、Mongo on EC2, Solr on EC2をちゃんと体に染み込ませておきたい脳 (´・ω・`) 2012-01-14 21:27:32
solrとelasticsearchの比較
elasticsearchの紹介です！ atnd.org/events/33718
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
第15回 Solr勉強会 #SolrJP Amazon CloudSearch Deep Dive
Lucene - Java Developer - [jira] [Created] (SOLR-2500) TestSolrCoreProperties sometimes fails with "no such core: core0"
東京Ruby会議10 (#tkrk10) で「レシピ検索開発のレシピ」という話をしました。 - Stats of the Rivers
http://atnd.org/events/33718
Elasticsearch入門 pyfes 201207
#elasticsearch on Tumblr