インデックステンプレートとLogstash
前回の「Logstashを利用したApacheアクセスログのインポート」の続きです。 前回の記事では、Logstashの設定ファイルについて説明しました。 今回は「Elasticsearchに設定するインデックステンプレート」について説明します。 テンプレートの設定 Elasticsearchでは、登録するデータの特性に合わせてMappingを定義する方がデータを効率良く扱うことができる場合があります。 この場合、通常ですと、インデックス作成時にMappingを指定します。 ただ、今回は、インデックス名に「年」を含める形で指定してあります。 「年」はLogstashで処理したデータによって決まります。このため、あらかじめMappingを指定してインデックスを作成するのは難しいです。 このような場合に便利な機能として、「インデックステンプレート」があります。 インデックステンプレートとは 実
Japanese (kuromoji) analysis plugin | Elastic Documentation
The Japanese (kuromoji) analysis plugin integrates Lucene kuromoji analysis module into Elasticsearch.
Kafka+Spark Streaming+Elasticserachによるシステム構築と検証の進め方
はじめに 前回はSpark Streamingの概要と検証シナリオ、および構築するシステムの概要を解説しました。今回はシステムの詳細構成と検証の進め方、および初期設定における性能測定結果について解説します。 この検証ではメッセージキューのKafka、ストリームデータ処理のSpark Streaming、検索エンジンのElasticsearchを組み合わせたリアルタイムのセンサデータ処理システムを構築しています。今回はKafkaとElasticsearchの詳細なアーキテクチャやKafkaとSparkの接続時の注意点も解説します。 システムの詳細構成 マシン構成とマシンスペック 評価に向けたマシンの初期構成を図1に示します。本システムは以下のノードから構成されます。 センサデータを収集してKafkaに送信する収集・配信ノード Kafkaクラスタを構成してメッセージの受け渡しを行うキューとして
Elasticsearch Site Search UI Components – Searchkit
Searchkit is an open source library which helps you build a great search experience with Elasticsearch. import Searchkit from "searchkit" import Client from '@searchkit/instantsearch-client' import { InstantSearch, SearchBox, Hits, RefinementList, Pagination, RangeInput } from 'react-instantsearch'; const sk = new Searchkit({ connection: { host: 'http://localhost:9200', // cloud_id: "elastic-cloud
Elasticsearch data source | Grafana documentation
Solutions All end-to-end solutions Opinionated solutions that help you get there easier and faster
Cardinality aggregation | Elasticsearch Guide [8.15] | Elastic
A single-value metrics aggregation that calculates an approximate count of distinct values. Assume you are indexing store sales and would like to count the unique number of sold products that match a query: resp = client.search( index="sales", size="0", aggs={ "type_count": { "cardinality": { "field": "type" } } }, ) print(resp) response = client.search( index: 'sales', size: 0, body: { aggregatio
![Cardinality aggregation | Elasticsearch Guide [8.15] | Elastic](https://cdn-ak-scissors.b.st-hatena.com/image/square/cbbc87b803e58787f8346841e5b65698d408f3c5/height=288;version=1;width=512/https%3A%2F%2Fwww.elastic.co%2Fstatic%2Fimages%2Felastic-logo-200.png){kind=logo}
Elasticsearch for Hadoop
Search and analytics, data ingestion, and visualization – all at your fingertips.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Will Shield encrypt the data in Elasticsearch?
GitHub - elasticfence/kibana-auth-plugin: Authentication & Login generic plugin for Kibana
Elasticsearch
Apache Storm support | Elasticsearch for Apache Hadoop [8.6] | Elastic
Migrating to aggregations | Elasticsearch Guide [1.4] | Elastic
Japanese (kuromoji) analysis plugin | Elasticsearch Plugins and Integrations [master] | Elastic
PySpark 1.5.2 + Elasticsearch 2.1.0 導入手順と実行 - Qiita
elasticsearch/curatorを使ってみる - Qiita
Installation | Curator Reference [8.0] | Elastic
ElasticSearch - Return Unique Values
cat shards | Elasticsearch Guide [1.4] | Elastic
GitHub - lmenezes/elasticsearch-kopf: web admin interface for elasticsearch
Elasticsearch Users - Indexing Json using Java API