Elasticsearch の位置検索（Geolocation）を学ぶ | DevelopersIO
ども、藤本です。 最近、Elasticsearch を使うプロダクト開発に本格参画し、Elasticsearch を改めて勉強しています。機能レベルで理解していても、要求を実現するためにインデックス構造、クエリを設計・実装するのは難しいですが、それ以上に面白い！今回は位置検索について調べたことをまとめました。 概要 GPS 対応デバイスの普及に伴い、位置情報による検索は多くのシステムに必要となってきました。例えば、お腹すいた時に現在地から近い食事処を検索します。ただ位置情報で検索できればいいわけではなく、定食屋、焼肉屋、カレー屋などカテゴリで絞りたいですし、今現在オープンしているお店だけに絞りたいですし、近さとともに食事処の評価・スコアを踏まえてソートして欲しいです。ユーザーはワガママです。 著名な RDB でも位置情報の検索にも対応しています。例えば、MySQL では、geometry型
Elasticsearch の Percolator を使った地理属性判別システムの構築 - クックパッド開発者ブログ
こんにちは、ホリデー株式会社の内藤です。Holiday ( https://haveagood.holiday/ ) というサービスの開発を行っています。 先日開催した Cookpad TechConf 2016 では、『おでかけスポット検索のむずかしさ - Holiday を支える検索技術』という題で発表を行いました。 おでかけスポット検索のむずかしさ - Holidayを支える検索技術 from Yusuke Naito www.slideshare.net この発表では、 おでかけスポットの検索では、全文検索だけでは満足のいく結果は得られない 地理空間検索に拡張することでよりよい検索体験を作ることが可能 これを実現するための Elasticsearch の機能を紹介 というような内容を紹介しました。 例えば、我々が「中目黒」を思い浮かべた時にイメージするエリア内の住所には、「中目黒」
第１回 Elastisearch 入門 インデックスを設計する際に知っておくべき事 | DevelopersIO
今回、第1回目の Elasticsearch 入門という事で、今回は「インデックスを設計する際に知っておくべき事」というテーマにしてみました。ここでのインデックスの設計とは RDB のデータベースとかテーブル、ビューの設計に当たるところです。 Elasticsearch は RDB など他のデータベスに比べ、その設計方法も結構独特です。（と言うか同じ事を実現するにしても色々な方法が用意されていて、さらにアプリケーション要件〜システムアーキテクチャ、運用面など広い範囲が関わってくる）RDB との比較も交え解説していきます。 Index で分けるか？ Type で分けるか？ 例えば、商品情報を保存するインデックスの設計を考えてみましょう。いわゆるRDBの設計で言うところのテーブル設計ですね。おそらくRDBではアプリケーション要件のみが、その設計の中心になるはずです。例えば、商品名や説明、価格情
Elasticsearchとkuromojiでちゃんとした日本語全文検索をやるメモ | GMOメディア エンジニアブログ
技術推進室の浅井です。Elasticsearchで日本語全文検索をちゃんとやるための説明、日本語でちゃんと書かれているものが無くて少々困ったので、ちゃんと書いてみます。 Elasticsearchのインストール※ 2013/12/17 13:30 インストールするJDKのバージョンを7u45から7u25に変更 ※ 2013/12/17 12:50 JDKのバージョンについての説明を追記 @johtani さん指摘ありがとうございます この記事内の説明でOracle JDK 7u45をインストールしていましたが、Apache Luceneが7u45を推奨していないため、7u25をインストールしたほうが良いようです。（後ほど記事内の説明も修正します 修正しました） http://lucene.472066.n3.nabble.com/What-is-recommended-version-of
Elasticsearchで AND OR LIKE 検索したい
Elasticsearchでクエリ書くときにちょっとわかりづらかったので、メモ 例えば、SQLだとこういう検索をしたい SELECT * FROM table WHERE (body = 'わーい' OR body = 'ろくでなし' ) AND create_at >= '2014-03-01' AND create_at <= '2014-04-01'; これをelasticsearchのqueryだとこう { "query": { "bool": { "should": [ { "bool": { "must": [ { "term": { "body": "わーい" } }, { "range": { "create_at": { "from": "2014-03-01", "to": "2014-04-01" } } } ] } }, { "bool": { "must": [
Elasticsearch インデックスの設定、マッピングの定義、概念・用語あたりのメモ - Keep it simple
2015 - 06 - 30 Elasticsearch インデックスの設定、マッピングの定義、概念・用語あたりのメモ Elasticsearch インデックスの設定とか マッピング の定義とかにあたって概念・用語あたりについて少しまとめてみる。細かいのでちゃんとつくるときは詳細をドキュメントで確認。 インデックス データを保存する場所。 ドキュメントタイプ ひとつのインデックスに 複数 のタイプを定義できる。異なる構造や意味を持つドキュメントを同じインデックスに持つ場合とかに便利な識別子となる。 ドキュメント 行。 フィールド 列。 基本データ型 この基本データ型を、各フィールドに指定できる。 String (文字列型) Number (数値型) Date (日付型) Boolean ( ブーリアン 型) Binary (バイナリ型) データ型によって各フィールドに指定可能な属性 この属
Elasticsearch のインデックスを無停止で再構築する - クックパッド開発者ブログ
こんにちは。ホリデー株式会社の内藤です。 ホリデー株式会社では Holiday（https://haveagood.holiday） という新規サービスの開発・運営を行っています。*1 以前投稿した記事でご紹介したように、Holiday では全文検索エンジンとして Elasticsearch を利用しています。 Ruby on Rails で構築されたアプリケーションから Elasticsearch を操作するには、公式 gem である elasticsearch-rails を使うのがとても便利です。 もちろん、Holiday でも活用させてもらっています。 大方の機能についてはこの gem で提供されるもので満足だったのですが、一点だけ、Holiday の運用をしている中で困ることがありました。 それが、サービス公開後のインデックスの再構築です。 elasticsearch-rails
データ構造について – AWSで始めるElasticSearch(4) | DevelopersIO
はじめに @smokeymonkeyです。ここまで「とにかくElasticSearchをAWS上で動かす」ことを中心に調べてきました。ここで一度ElasticSearch自体の構造について整理したいと思います。 ElasticSearchの構造 ElasticSearchは大きく以下のようなデータ構造になっています。 index ... その名の通り索引です。このindexに検索対称のドキュメントを格納します。Indexは複数もつことが出来ます。 type ... 格納するドキュメントを種類によって分別することが出来ます。同じfieldリストを持つdocmentの集合体であり、データベースで言えばテーブルに相似します。 document ... 格納されたドキュメントです。また個々のドキュメントの識別子をidと呼びます。ドキュメントは1つ以上の項目(field)を持ち、データベースで言えば
Elasticsearch マッピング
Elasticsearch におけるマッピングとは、リレーショナルDBでいうところのテーブル定義に相当します。しかし、単にデータを格納する為のフィールドを用意して型を設定するだけではありません。Elasticsearch では、フィールドの型の他に言語解析処理などのドキュメントを検索可能にする為の各種設定が可能です。 スキーマーレスが一つの特徴の Elasticsearch では、ドキュメントをインデックスすると自動的に各フィールド毎にフィールドタイプなどのマッピングが自動で設定されインデックスが作成されます。また、事前にマッピングを設定可能な仕組みとなっています。 自動マッピングまずは以下の内容で、インデックスを作成し自動マッピングについて見て行きます。 ブログ記事毎に１つのドキュメントをインデックス各ドキュメントはドキュメントタイプ story にインデックスドキュメントタイプ sto
csvを読んでelasticsearchのバルクインサート用のjsonに整形する - Qiita
elasticsearchにバルクインサートする時、 データのjson1行につきコマンドのjsonを1行追加しないとならないので。 see also: http://blog.johtani.info/blog/2014/04/24/usage-stream2es/ stream2es だと一気に登録までしてしまうので、 変換の時点で一度確認したかったので書いてみた。 中身は 1行目にヘッダ。 それ以降がデータ。 エスケープなどはRFC4180 っぽい感じ。 "item_id","title","description","price","url","image_url" "11111","たいとる","でぃすくりぷしょん","1000","http://example.com/item/11111","http://example.com/11111.jpg" "22222","たいとる
ElasticSearchのインデクシングを高速化する - サナギわさわさ.json
諸事情でElasticSearchの事ばっかり書いてますが、Solrの方が好きです。 ElasticSearchのインデクシングを高速化するためにやった事を残しておきます。 基本的には↓に書いてあることばかりです。 Performance Considerations for Elasticsearch Indexing | Elastic データ投入方法 データの投入にはBulk APIを使います。 なお、公式では1つのbulk Importのサイズは5~15MBにすることを推奨しています。 curl -XPOST http://localhost:9200/_bulk --data-binary @databatch.json >/dev/null メモリ関係 ES_HEAP_SIZEに実メモリの半分程度を割り当て、mlockall:trueでElasticSearchのメモリがスワッ
Elasticsearch で位置情報を検索する手順 - Qiita
Elasticsearch は、オープンソースの全文検索エンジンです。Apache Solr と並んでよく取り上げられるようになってきました。 位置情報の検索機能も標準搭載しているとのことで、試しに使ってみました。 Elasticsearch の導入 下の情報が大変参考になりました。(環境は Mac。事前に Java と homebrew の導入が必要です） elasticsearch - ElasitcSearch ことはじめ - Qiita [キータ] 試しに使ってみる 下のサイトが大変参考なりました。 Elasticsearch を試してみる - ようへいの日々精進 位置情報を検索してみる 下のようなスキーマのデータを登録して検索する想定です。
ElasticsearchをUbuntu 14.04にインストールする - Qiita
Elasticsearch をインストールする 参考:Repositories インストール方法は、上記の公式ドキュメントに丁寧に書かれているが、ここでは主要な手順だけを抜き出してみます。 リポジトリを登録する $ wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - $ echo "deb http://packages.elastic.co/elasticsearch/2.x/debian stable main" | sudo tee -a /etc/apt/sources.list.d/elasticsearch-2.x.list
Elasticsearch API 一覧
APIの一覧をまとめた資料が見当たらなかったので、APIでできることを把握できるようにAPIの一覧をまとめてみました。 NOTE: バージョン1.x の本家リファレンスを参考にしています。 Elasticsearch の提供している各種APIは、以下の図のように検索やドキュメントの登録だけではなく、各種設定、モニタリング、メンテナンスの為のAPIまで幅広く提供されています。 Elasticsearch API Over Viewdocument apisドキュメントの追加・更新などのドキュメント操作の為のAPI 【document api】 PUT /{index}/{type}/{id} # ドキュメントの追加更新 POST /{index}/{type} # ドキュメントの追加更新（ID自動生成） GET /{index}/{type}/{id} # ドキュメントの取得 GET /{i
Elasticsearchチュートリアル - 不可視点
目的 検索用サーバーとして最近注目されているElasticsearchですが、ついに1.0 RC1がリリースされたそうです。 Googleトレンドを見ても、この分野で先行するApache Solrに迫る勢いを感じます。 そういうわけで私もElasticsearchについて興味を持って調べてみましたが情報がちょっと少ないですね… 「調べたけど断片的な情報しかない」 「公式doc英語だし、専門用語が多すぎてわからん」 「え、できること多すぎ。よくわからん。どれが重要？」 と言った感じで、最初ちょっと大変… そこで調べ始める人が、概観をつかむためのチュートリアルをつくろうと思います。 コマンドを全部実行する必要ありません。用語をおさえることで調べものが捗ることがひとつのゴールです。 自分の理解の整理も兼ねています。間違ってる箇所あったら教えて下さい。 part 1:ESを使ってレストラン検索を作
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
雪うさぎの夢: Proxyサーバーを経由する環境での、elasticsearch、fluentd 導入
http://blog.yoslab.com/entry/2014/04/24/000317
Adding mapping to a type from Java - how do I do it?
ElasticsearchにMySQLからデータ挿入、JDBC River Pluginのインストールと使い方
CentOS6にElasticsearchをインストールしMySQLからデータをインポート