boilerpipeを使ってみる : mwSoft blog
■概要 HTMLから本文を抽出してSolrに登録する用事があったので、Javaの本文抽出ライブラリを探してみたところ、boilerpipeという子を見つけた。 英語色が強そうだけど、そこそこに精度は出そうに見えたので使ってみた。 ■導入 とりあえずjarをダウンロード http://code.google.com/p/boilerpipe/downloads/list もしくはMavenから http://mvnrepository.com/artifact/de.l3s.boilerpipe/boilerpipe ■本文抽出を実行してみる URL url = new URL("http://www.yahoo.co.jp/"); String text = DefaultExtractor.getInstance().getText(url); System.out.println(te
クックパッドの検索の裏側 - クックパッド開発者ブログ
初めまして、インフラストラクチャー部の加藤 (@EugeneK) です。 クックパッドでは現在178万ものレシピが公開されていますが、目的のレシピを探すために検索機能を提供しています。 今回は検索機能の裏側の仕組みについて、インフラストラクチャーの観点からお話ししようと思います。 全ての検索機能を支えるSolrと周辺のアーキテクチャ クックパッドにはレシピの検索だけでなく様々な検索機能がありますが、その全てはSolrを活用して実装されています。 以前はMySQL Tritonnによる全文検索機能を使用していましたが、2011年頃からSolrに切り替わりました。 クックパッドではSolrをマスタ - スレーブ構成にすることで冗長性と負荷分散を実現しています。以下の構成図をご覧ください。 マスタとスレーブの間には、リピータと呼ばれる検索インデックスを中継するためだけの役割のサーバがいます。この
「関連する○○」機能を手軽に実現できる。そう、Elasticsearch ならね。 - クックパッド開発者ブログ
セコン (id:secondlife, @hotchpotch) です。ウェブサービスにはよく「このエントリーに関連するブログ記事」や「このレシピに関連するレシピ」という機能が実現されてますよね。さて、この機能はどのように実現すれば良いでしょうか。例えば tf-idf で単語の類似度を求め…といった実装が必要になり、いささか面倒です。 しかしながら Elasticsearch や Solr *1を使うと手軽に実現できます。例えば、クックパッドニュースの記事では Solr を使い「この記事を読んだ人におすすめ」の機能に、最近クックパッドにジョインしたインドネシアの会社の DapurMasak では Elasticsearch を使い「Resep serupa(関連レシピ)」の機能で利用しています。 クックパッドニュースでのこの記事を読んだ人におすすめ DapurMasak での関連レシピ 使
Yokozuna: Riak2.0の新しい全文検索機能
Helping Users Find Their Own Way: Creating Modern Search Experiences
Elastic — The Search AI Company
Search and analytics, data ingestion, and visualization – all at your fingertips.
Etsy Engineering | Turbocharging Solr Index Replication with BitTorrent
Note: In 2020 we updated this post to adopt more inclusive language. Going forward, we'll use "primary/replica" in our Code as Craft entries. Many of you probably use BitTorrent to download your favorite ebooks, MP3s, and movies. At Etsy, we use BitTorrent in our production systems for search replication. Search at Etsy Search at Etsy has grown significantly over the years. In January of 2009 we
Solr/SolrJ1.3のCoreAdmin(マルチコア)機能を用いて動的にCoreを追加する方法(SolrJのバグの対処方法) | イージーネット Tech Blog
こんにちは。 株式会社イージーネット プロダクト&サービス事業部 リーダーの久保です。 前回書いたSolrの記事 全文検索サーバ: これからSolrを始める人のためのApache Solr概要と便利なリンク集 は沢山のアクセス/ブックマークをいただきました。 来週月曜日の7/21には、Lucene/Solrで有名なロンウイットの関口さん(参考: 関口宏司のLuceneブログ)などが参加されるSolr勉強会も開催されるようですので、Solr人気は高まっているのかもしれません。 今回は前回から変わって小さなネタになりますが、 Solr/SolrJ1.3のCoreAdmin(マルチコア)機能を用いて動的にCoreを追加する際にはまるSolrJのバグと、その対処方法について書きます。 Solr1.3のマルチコア機能とは 単純に言うと、1つのSolrアプリケーション(サーブレットアプリケーショ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
勉強会 | @johtani の日記