Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Elasticsearch で More Like This Query を使って類似文書検索を行う際に設定できるパラメータについて調べてみました。 内容としては以下のドキュメントをまとめたものになります。 More Like This Query 手元の環境は以下になります。 Ubuntu 16.04 LTS Elasticsearch 6.2.0 More Like This Query で実現できること 任意のテキスト文字列と類似した文書を検索することができる インデクシング済みの文書(単数/複数)と類似した文書を検索することがで
はじめに 俺も世の中のイケてるエンジニアみたいにビッグデータを可視化してドヤ顔したい! …ので友人から教えてもらったelasticsearchとkibanaを へっぽこエンジニアがローカル環境で動作させるまでのメモ 環境 Windows 10 Home 1803 elasticsearch 6.3.0 kibana 6.3.0 curl 7.61.0 今回テストに使用するデータ 各家庭や工場等の電力消費量を集めたデータセット https://archive.ics.uci.edu/ml/datasets/ElectricityLoadDiagrams20112014 特徴 データ取得期間: [2011/1/1, 2015/1/1] 測定欠測値は存在しない 期間中に利用開始・終了がある場合、測定値は0と表示される データ形式 CSV形式 カラム区切り文字: semicolon (;) 小数点
はじめに 前回は docker上でしnginxを動かしaccessログをLogstashでelasticsearchにためていましたが、 それに Filebeatでlogstashに送信するように変更しました。 ソースは github にあげました。 環境 docker-compoase elasticsearch kibana Logstash Filebeat nginx ディレクトリ構成 └── es_logstash └── es_d ├── docker-compose.yml ├── Dockerfile └── config └── elasticsearch.yml └── kibana_d ├── docker-compose.yml ├── Dockerfile └── config └── kibana.yml └── logstash_d ├── docker-co
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Elasticsearchとは ElasticsearchとはElastic社が開発しているオープンソースの分散型全文検索/分析エンジン。 RDBのようにSQLでクエリを書くのではなく、jsonでクエリを作成しPOSTするRESTfulな検索を行う。 特徴 RESTfulな検索 RDBではSQLを用いてデータを検索するが、ESはRESTfulインターフェースを用いてデータを検索する。NoSQLデータベースを使ったことがあるならば受け入れやすいかもしれない。 クエリはjson構造となっており、構造化したクエリを発行できる。 スコアによる検
Elasticsearch で More Like This Query を利用して類似文書検索を行う際に、データを絞り込む必要があった場合の方法になります。 More Like This Query の使い方自体は以下のドキュメントにまとまっています。 More Like This Query 手元の環境は以下になります。 Ubuntu 16.04 LTS Elasticsearch 6.2.4 ICU Analysis Plugin、Japanese (kuromoji) Analysis Plugin Elasticsearch 6系 からインデックスにはひとつのタイプとなったので、親子関係のデータを実現している場合は類似文書検索でもデータのタイプを指定する必要があります。 その場合は Bool Query と filter を使えば絞り込むことが可能です。 この記事 のデータを引き
はじめに docker-composeファイルを分割させた時にしたことです。 今回はkibanaからelasticsearchに通信します。 環境 docker-compoase elasticsearch kibana 分割前のdocker-compose.yml version: '2' services: elasticsearch: container_name: esc image: esi:1.0.0 build: ./es volumes: - ./data/es:/usr/share/elasticsearch/data ports: - 9200:9200 expose: - 9300 kibana: container_name: kibanac image: kibanai:1.0.0 build: ./kibana links: - elasticsearch po
Description SQLで言うところの「group by」に相当するElasticsearchの「aggregation」機能を使ってみたので、それについてまとめた。 Environment Elasticsearch: 6.3.2 Setup 今回はdocker環境のElasticsearchを使用し、公式のサンプルデータで試してみた。 これらについては以下の記事を参照。 Install Elasticsearch with Docker | Elasticsearch Reference 6.3 | Elastic Loading Sample Data | Kibana User Guide 6.3 | Elastic Usage aggregation機能はsearch apiに対して、「aggs」というキーの条件をつけると実行できる。 サンプルデータの場合、logstash
Spring BootとElasticsearchを連携したアプリケーションを作成中し、Document APIを叩いたところ、 java.lang.ClassNotFoundException: org.elasticsearch.common.xcontent.LoggingDeprecationHandler が発生したので解決策をメモしておきます。 根本原因 エラーの内容の通り、原因はLoggingDeprecationHandlerというクラスが存在していないためですが、 なぜClassが存在しないかというと、依存性が不足しているからです。 当初mavenの依存性にはElasticsearchの依存性として次のように記述していました。 <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elas
簡単です。 Index ※2018/8/11追記 同一_idのドキュメント有無によって、Insert or updateになりますのでご注意を。 kibana POST /product/default/_bulk { "index":{ "_id" : "100" } } { "price": 100} { "index":{ "_id" : "101" } } { "price": 101} Curl curl -XPOST "http://localhost:9200/product/default/_bulk" -H 'Content-Type: application/json' -d' { "index":{ "_id" : "100" } } { "price": 100} { "index":{ "_id" : "101" } } { "price": 101} ' Upd
elasticsearch(5.6.9 ちょっと古い。。)でWikipediaのデータをlogstashから取り込みkibanaで見れるまでの環境作り データの用意 Wikipediaのデータはここからダウンロードできるのできます。内容確認して問題なければウィキペディア日本語版のダンプからjawiki-yyyyMMdd-pages-articles-multistream.xml.bz2 の名前ものを落とします。 環境構築 ディレクトリ構成はこんな感じでやります。 . ├── docker-compose.yml ├── elasticsearch │ └── Dockerfile ├── kibana │ └── Dockerfile └── logstash ├── Dockerfile ├── input │ └── test.xml └── pipeline └── wikiped
Elasticsearchの類義語辞書を動的に更新する方法の調査: codelibs/elasticsearch-analysis-synonymElasticsearch検索辞書類義語 概要 elasticsearchで類義語を扱うための機能であるsynonym token filterは、類義語辞書の内容の更新を検索に反映する場合、ノードの再起動か、インデックスのクローズ・オープンが必要となっています。 しかし、数十台からなるElasticsearchクラスタを運用している場合、クラスタの全ノードを再起動するとなると結構大変ですし、ましてやインデックスのクローズ・オープンはサービスの停止が必要になってしまうので、そう簡単にできるものでもないでしょう。。。 類義語辞書は日々更新されるものなので、できるだけ低コストで検索に反映したいものです。 というわけで、elasticsearchのsy
概要 久々にElasticsearch達をインストールしたら思わずハマったので、記録に残します。 以下の想定となっています。 OS Ubuntu18 ElasticStack Elasticsearch 6.3.2 Kibana 6.3.2 Logstash 1:6.3.2-1 リポジトリを足して入れる。アップデートしやすい、はず? エグゼクティブサマリ(?) Javaを入れる場合、openjdk-8-jdk を使う事 openjdk-11-jdkやdefault-jdk(中身はopendjk-11)を利用すると、 logstashのインストール に失敗します。 JAVA_HOME、なくても動くっぽい リポジトリ追加する方法の方が、安全だしアップデートしやすそう インストール Javaのインストール まずはJavaを入れる必要がある。 openjdk-11-jdk を入れると、Elasti
Elasticssearch node1: localhost:9200 Elasticssearch node2: localhost:9201 Elasticssearch node3: localhost:9202 Kibana: localhost:5601 で起動します。 docker-compose.yml シングルノード用のものです。 version: '3' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:6.3.2 ports: - 9200:9200 volumes: - ./docker/elasticsearch/data:/usr/share/elasticsearch/data - ./docker/elasticsearch/config/elastic
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く