Elasticsearch - Wikipedia
ベルリン Buzzwords 2010で発表する開発者Shay Banon Elasticsearch（エラスティックサーチ）はLucene基盤の分散処理マルチテナント対応検索エンジンである。バージョン7.10以前はApache License 2.0下で、8.16以降はAGPLv3下で利用可能なオープンソースソフトウェア（OSS）である。7.11からAGPLv3が追加されるより前の間のバージョンはOSSではないもののソースコードが公開されているソースアベイラブル・ソフトウェアであった。[2]現在はオランダ・アムステルダムに本社を置くElastic社が中心になって開発が進められている[3]。なお「Elastic Search」といったように間に空白を入れる・「search」の頭を大文字にするといった表記は誤り（ただしVer.1.0.0リリース前にはそのような表記も混在していた）[4]。 全
Apache Solr 5.x＋crawler4jで、Webサイトをクロールしてインデックス化する - CLOVER🍀
Apache Solrを使った、Webクローリングと全文検索をどうやってやろうかなぁ〜と思いまして。 OSSのクローラーっていくつかあると思うんですけど 参考） Comparison of existing open-source tools forWeb crawling and indexing of free Music http://ja.scribd.com/doc/123153248/Comparison-of-existing-open-source-tools-for-Web-crawling-and-indexing-of-free-Music#scribd FessやNutchのようなものを使ってもよいのですが、今回はある程度カスタマイズなどを前提にして、自分でプログラムを書くタイプのものがいいなぁと思いまして。 で、今回選んだのがこちらのcrawler4j。 craw
Uploading Structured Data Store Data with the Data Import Handler | Apache Solr Reference Guide 7.0
Descriptions of the Data Import Handler use several familiar terms, such as entity and processor, in specific ways, as explained in the table below. Datasource As its name suggests, a datasource defines the location of the data of interest. For a database, it’s a DSN. For an HTTP datasource, it’s the base URL. Entity Conceptually, an entity is processed to generate a set of documents, containing m
Streaming Expressions | Apache Solr Reference Guide 6.6
Streaming Expressions provide a simple yet powerful stream processing language for Solr Cloud. Streaming expressions are a suite of functions that can be combined to perform many different parallel computing tasks. These functions are the basis for the Parallel SQL Interface. Request/response stream processing Batch stream processing Fast interactive MapReduce Aggregations (Both pushed down facete
検索システムだって高可用性にしたい！SolrCloudを用いた高可用性構成の紹介 - ZOZO TECH BLOG
こんにちは、バックエンドエンジニアの塩崎です。 最近のTECH BLOGではMatzさんのインタビュー記事を書いたり、RubyKaigiの発表まとめを書いたりして、他人の褌で相撲を取っていました。 今回は心を入れ替えて（？）、自分自身が取り組んだ内容について書きます。 VASILYでは検索用のミドルウェアとしてApache Solr（以下、Solr）を使用しています。 全文検索や、ファセット機能などはMySQLだけでは不十分なために、Solrを併用しています。 Solrのサーバー構成例にはいくつかのパターンがありますが、今回はその中でも最も可用性の高いSolrCloudをサービスインしたので、それについて紹介を行います。 Solrの構成例を幾つか紹介 Solrの構成例は大きく以下の3つに分けられます。 まずは、それぞれについて詳しく説明していきます。 スタンドアローン構成 master s
Solr5.4のログの設定 - Qiita
Solr 5.4 の環境構築で、ログ周りの設定が意外につまったので、整理としてのメモ。 ログの種類 おおむね、次の三つ gcログ solr本体 jetty（アクセスログ） アクセスログは標準では出力されないですし、大体の場合は不要でしょうが、solr 3.x 以前はtomcatにデプロイした形だとtomcatのアクセスログがあったので、それも残しておきたいケースもあるかと思い、あわせてとりあげます。 起動時の設定ファイル 公式サイトにあるように、インストールスクリプトでやったものとします。 https://cwiki.apache.org/confluence/display/solr/Taking+Solr+to+Production#TakingSolrtoProduction-Logsettings /etc/init.d/solr が起動スクリプトで、その中のSOLR_ENVに指定
Upgrading Solr | Apache Solr Reference Guide 6.6
If you are already using Solr 6.5, Solr 6.6 should not present any major problems. However, you should review the CHANGES.txt file found in your Solr package for changes and updates that may effect your existing implementation. Detailed steps for upgrading a Solr cluster can be found in the appendix: Upgrading a Solr Cluster. Solr contribs map-reduce, morphlines-core and morphlines-cell have been
SolrCloud | Apache Solr Reference Guide 6.6
Apache Solr includes the ability to set up a cluster of Solr servers that combines fault tolerance and high availability. Called SolrCloud, these capabilities provide distributed indexing and search capabilities, supporting the following features: Central configuration for the entire cluster Automatic load balancing and fail-over for queries ZooKeeper integration for cluster coordination and confi
Home - OURNEM
The 11th conference will be the largest in its 6 years of existence. Waiting for you: 2 floors of the Palladium Conference Hall; 4 separate stages, each of which will have its own thematic area; More than 60 speakers. Organized by and for the community, the 11th conference will focus on the interests of market participants and become a hub for the exchange of knowledge and experience between exper
GKEで検索サーバ(Solr)を運用する話 - Qiita
GCP上で検索エンジンを動かしたくなることは割とある思いますが、小規模な検索サーバを極力メンテフリーでGCP上で動すための方法を模索・稼働することになったのでメモ代わりに。 はじめに 検索が必要とされるプロジェクトであっても、検索対象となるコンテンツは割と小規模(10万程度)で、検索インデックスの更新頻度も日次で十分という、ライトな条件であることも案外多いのではないかと思います。そこで以下条件を踏まえてGCP上で検索サーバを動かす方法をいろいろ考えた結果、GKEで検索サーバを立てて動かすことにしました。 検索条件 検索対象のコンテンツはDatastore(やBigQuery)に入っている いろいろなフィールドに対して込み入った論理式で条件絞り込みを行いたい(位置条件含む) 表記揺れ・記入ミスが多少あってもうまく文書を引っ張りたい 用途に応じてランキングをカスタマイズしたい 検索インデックス
KMLを元にしたSolrの空間検索に挑戦 - 一休.com Developers Blog
この記事は一休.comアドベントカレンダー2017の22日目です。 いよいよ今年も終わりですね。 みなさん クリスマスの、忘年会のご予約はすみましたか？ というわけでアドベントカレンダー2打席目、一休.comレストラン 検索 & 集客担当のにがうりです。 一休の本社は赤坂見附の駅からほど近くにあり、お昼ごはんの選択肢が非常にバラエティに富んでいるのが嬉しいところです。 もちろん、その中には一休.comレストランにご加入いただいている店舗様もたくさんあります。 本エントリでは 筆者のお昼休み中に通える範囲内にあり 一休.comレストランでランチが予約できる レストランがどのくらいあるのか、Solrの空間検索( Spatial Search )を利用して調べてみました。 なお、前回のエントリ同様、Solrのバージョンは7.1.0を前提としています。 事前準備 Solrのスキーマ構成 ひとまず、
How to handle solr replication when master goes down
I have solr setup, which is configured for Master and slave. The indexing is happening in master and slave is replicating the index at every 2 Min interval from master. So there is a delay of 2 Minutes in getting data from master to slave. Lets assume that my master was indexing at 10:42 some data but due to some hardware issue, master went down at 10:43. So now the data which was indexing at 10:4
Solr in AWS: Master Slave Replication & Mitigation Strategies
Solr is the popular, blazing fast open source enterprise search platform from the Apache Lucene project. Its major features include powerful full-text search, hit highlighting, faceted search, near real-time indexing, dynamic clustering, database integration, rich document (e.g., Word, PDF) handling, and geospatial search. Solr is highly reliable, scalable and fault tolerant, providing distributed
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Efficient data transfer through zero copy
国税庁法人番号公表サイト
solr memo - Qiita
はてなブックマーク検索PWA
Uploading Data with Solr Cell using Apache Tika | Apache Solr Reference Guide 7.0
Fast Full-text Search with Ecto and PostgreSQL
Solr あるある | 関口宏司のLuceneブログ
