Elasticsearchのデータをバックアップして、別ノードにリストアする - togatttiのエンジニアメモ
Elasticsearchを運用していて、あるノードのデータをバックアップして、それを別のノードにリストアする方法を探した。 以前は、elasticsearch-knapsackやesclientといった方法があったらしい。 Elasticsearchのデータを簡単にimport/exportする - (ﾟ∀ﾟ)o彡 sasata299's blog elasticsearchのindexバックアップ - Qiita ただ、Elasticsearch自体の機能に、バックアップ、リストアの機能が備わっている。 技術の進歩って早いね！！ はじめに 192.168.0.2 データ移動元ノード 192.168.0.3 データ移動先ノード、インストール後の状態で用意。 共に、Ubuntu 16.04.1 LTS、 Elasticsearch 2.4.1で構築している。 データのバックアップ バックア
ElasticsearchをAmazon Elasticsearch Serviceへ移行する | DevelopersIO
はじめに 藤本です。 先月、Amazon Elasticsearch Serviceがリリースされました。AWSフルマネージドなElasticsearchということで面倒なキャパシティ管理や高可用性管理をAWSに任せることができるとあり、是非とも活用していきたいですよね。ただ既存環境でElasticsearchをご利用中の方もいらっしゃると思います。そんな方のために今回は既に稼働中のElasticsearchからAmazon Elasticsearch Serviceにデータ移行する方法をご紹介します。 概要 ElasticsearchのSnapshot/Restore機能を利用し、今回はElasticsearch on Amazon LinuxからAmazon Elasticsearch Serviceへデータ移行します。 以下の制約があることはご注意ください。 移行元のElastics
Elasticsearch 日本語でフレーズ検索が必要なわけ
Elasticsearch クエリーのデフォルトのオペレーターは OR です。これ自体は問題ないのですが、このORが適用されるタイミングがとても違和感 … 。 どうやら、リクエストする単語が１単語でもアナライザーで解析され、分割された最小単語単位でORで検索されるみたい！ どういう事かと言うと、キーワード：「東京都」 で検索した場合、アナライズ後、「東京」 と 「都」 の２単語にトークナイズされ、検索は 「東京 OR 都」で検索される動きをしているようです。 もちろんこの場合、「東京都」を含んでいるドキュメントもマッチしますが、「東京」だけ、「都」だけ、または、「東京 … 都」「都 … 東京」などの単語が離れているドキュメントにもマッチする可能性があります。 ネットを調べてもあまり見当たらず、みんなどうしているんだろう？当たり前の仕様なのか？この動き違和感ありありです。 デフォルトの仕様を
elasticsearch クラスタを EC2 上に構築する - ようへいの日々精進XP
はじめに elasticsearch クラスタを EC2 上に構築してみてクラスタ構築の手順について整理する 既に稼働しているクラスタにノードを追加する手順についても整理する 参考 ElasticSearch入門 Cluster機能を使う – AWSで始めるElasticSearch(2) elasticsearch on ec2 クラスタ構築の手順 ノード間でクラスタ名をあわせる elasticsearch は基本的にノード間でクラスタ名を同じ名前にしておくと勝手にクラスタ構成を組んでくれる。 cluster.name: mycluster-test どうやって仲間を見つけるか？ クラスタ内の仲間を見つける場合、elasticsearch.yml に以下のように書かれておりデフォルトでは Multicast を使って仲間を見つける。 Discovery infrastructure en
Elasticsearch導入前に気を付けておきたいこと！ - Qiita
はじめに Elasticsearchを仕事で使うことになったので導入前に考えるであろうことを調査・検証し、まとめてみました。 記載されている内容はほぼ公式ドキュメントから引っ張ってきています。それぞれの章にリンクを付けてありますので、記載されていること以外に気になる部分があればそちらを参照されるとよいと思います。 インストールについて ここで設定している内容はすべてansibleのスクリプトに落としてあります。 5分あればcurl,javaのインストール、Elasticsearchのインストール・初期設定、プラグインのインストールが終わるはずです。 https://github.com/uzresk/ansible-elasticsearch2 環境 CentOS6.7 Java1.8.0_45 Elasticsearch 2.1.1 HeapSizeの設定 Elasticsearchが使
Elasticsearchインデクシングパフォーマンスのための考慮事項 - Qiita
マッピングタイプを使いすぎないようにする Elasticsearchでは１つのインデックスの中に複数の異なるスキーマ定義を持つことができる。このスキーマ定義をマッピングタイプという。単に「タイプ」と呼ばれる事もある。フィールドのデータタイプとは別の概念。インデックスはデータベースに、マッピングタイプはその中のテーブルに例えられる事が多いが、同じ名前のフィールドはマッピングタイプが異なっていても定義が共有されたりして、データベースのテーブルほど互いに独立していない中途半端なものになっている。（2.0より前のバージョンではタイプごとにフィールド定義が異なっていても多少使えたりしたが、2.0以降は厳密に禁止されるようになった. 参照：Conflicting field mappings） タイプが異なっていてもデータは同じLuceneインデックスの中に混ざって入ってしまうため、タイプ間で互いに影
elasticsearchでtemplateをconfigファイルで管理する方法 - Qiita
通常上記のtemplateをelasticsearchに登録する場合は、以下のようなhttpリクエストを送って行います。 しかし、ansibleなどを使った場合、curlでtemplateを登録しようとすると「まだelasticsearchがready状態じゃないからリクエストを受け付けてくれない」場合があるので、ファイルでtemplateを管理する方法を記載します。 elasticsearchのtemplateとは elasticsearchでは、template（データベースでいうschema）を定義できます。 urlなどを保存する場合、elasticsearchが勝手にurlを解析して、protocol,domainなどに分けてしまい、解析に支障が出る場合があります。 その際は、urlフィールドが勝手に解析されないよう、以下のようなtemplateを定義することになると思います。 {
ElasticSearchインストール on CentOS7 - 長生村本郷Engineers'Blog
以下に移行しました。 kenzo0107.github.io
tree-tips: elasticsearch.ymlの設定 | elasticsearch
elasticsearch version0.20.6の設定 elasticsearchの設定ファイルです。 solrで言うところのsolrconfig.xmlに当たります。 では早速 /usr/local/elasticsearch/config/elasticsearch.yml を見ていきます。 solrconfig.xmlより少ないとはいえ、それなりの量なので軽く流し見しましょう。 elasticsearch.yml ##################### ElasticSearch Configuration Example ##################### # This file contains an overview of various configuration settings, # targeted at operations staff. Appli
Amazon EC2 を使用して Elasticsearch クラスタをセットアップする
Amazon Web Service や、Microsoft Azure の IaaS 環境に、 Elastic Stack をインストールして運用されるケースが増えています。ここでは、Amazon EC2 インスタンスに Elasticsearch 2.3.2、Kibana 4.5.0 をインストールする方法を紹介します。 クラスタの構成VPCにひとつ、もしくは複数の EC2 インスタンスをセットアップし、それぞれに Elasticsearch をインストールするような構成を検討します。Kibana のインストール対象は専用の EC2 イスタンスでも、Elasticsearch をインストールしたものでも結構です。 EC2 インスタンスのセットアップAMIElasticsearch は、CentOS、Redhat、Ubuntu をはじめとして様々なオペレーティングシステムに対応しています
Elasticsearch2.3.0のバックアップとリストア - Qiita
概要 Elasticsearchを運用していてうっかりデータを消して悲惨なことになった（本番環境ではないですが）ので、 Elasticsearchのインデックスのバックアップ及びリストア方法についてまとめます。 個人的な備忘メモとなりますので、詳細は本家のガイドラインを参照してください。 https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-snapshots.html 環境情報 Elasticsearch: 2.3.0 リポジトリ準備 スナップショットの作成、リストアを行う前にスナップショット用のリポジトリを用意します。 今回はリポジトリとして共有ファイルシステムを利用しますが、公式のプラグインを利用することでバックエンドとしてAmazon S3やAzure Storage Repositoryを利
Kibana Graphファーストインプレッション - Qiita
はじめに 最近、グラフDBあたりをちょっと学習していて、タイムリーにKibana Graphの情報をキャッチしたのでその流れで触ったみた http://qiita.com/nakamura-tsuyoshi/items/d284ad1eb7ca848d5d79 http://qiita.com/nakamura-tsuyoshi/items/4a0cbf20ce9ba4c934b9 http://qiita.com/nakamura-tsuyoshi/items/5ae38b04373a224d9a34 環境準備 elasticsearchのインストール いつものように公式サイトから楽チンにインストールします バーションの確認 [root@elastic_test ec2-user]# curl localhost:9200 { "name" : "Ord", "cluster_name"
Elasticsearch のクラスタを構築する - Carpe Diem
概要 Vagrant上にElasticsearchのクラスタを構築してfailoverを検証してみます。 環境 Ubuntu 14.04 Elasticsearch 1.4.4 Vagrant 1.7.2 以下の３台でクラスタを構築します。 ノード IP web1 192.168.33.10 web2 192.168.33.11 web3 192.168.33.12 Vagrantの用意 以下のコードをVagrantfileに追加して起動してください。 config.vm.define :web1 do |web| web.vm.network :private_network, ip: "192.168.33.10" web.vm.provider "virtualbox" do |vb| vb.memory = "1048" end end config.vm.define :web2
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to copy some ElasticSearch data to a new index
elasticsearch.yml
fluent-plugin-elasticsearch/README.md at master · uken/fluent-plugin-elasticsearch
GitHub - elastic/curator: Curator: Tending your Elasticsearch indices