※この記事は個人ブログに移行しました Elasticsearchは公式でコンテナイメージを提供してくれているのでそれを利用してクラスタを組みたいと思います。 ドキュメントにはdocker-compose.ymlも公開されていますが、docker-composeということはコンテナホストはひとつになるから可用性的にNGだなー、と感じました。(Swarm modeとか使うと解決できるのかな?) コンテナホストは複数台に分散したいと考えたので、検証してみました。 検証環境 Mac OS X El Capitan(10.11.6) docker-machine version 0.10.0, build 76ed2a6 VirtualBox 5.1.14 r112924 (Qt5.6.2) ポイント docker-machineを利用してVirtualBox上に3つのコンテナホストを起動 各コンテ
概要 Kibanaを5.xにメジャーアップデートする際、Elastic社公式のdocker imageも用意されたのでdocker-composeでまとめて作ることにしました。 その際調べたこと、ハマったことをまとめます。 環境 docker 17.03.1-ce docker-compose 1.11.2 Elasticsearch 5.3.0 Kibana 5.3.0 docker-compose.yml まずは全体のソースを貼ります。 後ほどポイントを説明します。 version: '2.1' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:5.3.0 container_name: elasticsearch environment: - cluster.name=dev-k
Tweet Cerebro とは Elasticsearch クラスタを運用するにあたって、REST API を使ってインデックスやクラスタそのものの操作をすることは避けられません。 その際、API の結果として返ってくる JSON だけでクラスタの状態を想像してオペレーションを行うのは、ウサギや人類には結構厳しいものがあります。 また、インフラエンジニアだけではなく、サービスエンジニアが自分たちのプロダクトで使っている Elasticsearch を責任を持って管理できるようにするためにも、使いやすい管理ツールは強力な武器となります。 Elasticsearch 5.0 以前は Kopf というプラグインが主流でしたが、site plugin が廃止されたためスタンドアロンな管理ツールが必要になります。 site plugin の廃止については以下のブログ記事が詳しいです。 Runnin
前回はElasticsearch を Linux上、Dockerコンテナでシングルノードでインストール起動しました。 前回のエントリは下記をご参照ください。 sfujimoto.hatenablog.com 今回も Linux上、Dockerコンテナそれぞれでのクラスタ構築を実施します。 Elasticsearch クラスタ on Linux まずは Linux OS 上で Elasticsearch クラスタを構築します。ノード数は2台とします。 環境 プラットフォーム : VirtualBox on Mac OS : CentOS 7.3 ツール : vagrant Elasticsearch : 5.1.1 ノード1 IPアドレス : 10.255.0.100 ノード2 IPアドレス : 10.255.0.101 Elasticsearch インストール Elasticsearch
環境 オフィシャルのDocker コンテナを利用して環境を作ります。 バージョン Elastic Search 5.1 Kibana 5.1 Docker composer 1.8.1 プラグイン X-Pack クラスタの状態をKibanaからみられる様に Elastic SearchとKibanaの両方にインストールします。 Elastic Searchのバージョン5以降は 関連プロダクトも含めてElastic Stackとして整備されました。それ以前は有償プラグインとして提供されていた Marvel(モニタリング)、Shield(セキュリティ)、Watcher(アラートと通知)、Graph(可視化) を一まとめにしたものです。 今回はX-Packをインストール後にモニタリングだけを有効にしておきます。 kuromoji 形態素解析のために kuromoji をプラグインからインストール
こんにちは、藤本です。 以前、下記エントリで Elastic社公式の Docker イメージをご紹介しました。 Elastic社公式のDockerイメージ(Beta版)が提供されるようになりました 当時は Elasticsearch、Kibana のイメージのみが提供されていましたが、Logstash のイメージも追加されていたようです。 Elastic 社のドキュメントにも利用方法が記載されています。 Running Logstash on Docker 試してみた 環境 今回はローカルの Docker for Mac を利用しています。 Docker for Macに関しては以下のエントリをご参照ください。 Public BetaになったDocker for Macを使ってみる Logstash のコンテナを起動する 下記パスがイメージのパスとなります。 docker.elastic.
目的 Elasticsearch clusterの複数nodeを跨いだshardsの動きを実際に確認したい VMを複数起動するのは面倒なのでdockerでさっくり試したい 環境 MacOS X El Capitan (10.11.5) Docker Toolbox 1.11.2 準備 Docker Toolboxの導入などは、こちらの記事などをご参考ください docker machineのIPアドレスは192.168.99.100とします (Macだとデフォルトでこれになるはず) dockerコマンドがすでに使える状態を前提で話を進めていきます 複数nodeでなくて良い、かつ、pluginの追加が必要ない時は 公式イメージをそのまま利用すれば良い コンテナ起動 $ curl http://192.168.99.100:9200 { "name" : "Wong", "cluster_nam
最近ElasticsearchとKibanaのDockerイメージに、DockerHubのものを使ってみたのですが elasticsearch (OFFICIAL REPOSITORY) kibana (OFFICIAL REPOSITORY) @johtaniさんに怒られまして…。 ElasticsearchのDockerイメージ、自分でビルドして作ってたけど5系からsysctlのところでハマるようになって、DockerHubにあるの使うようにした 2016-12-22 23:21:37 via Twitter Web Client @kazuhira_r うちの使ってよ、、、 2016-12-23 11:40:10 via twicca to @kazuhira_r あー、そういえば、あるって聞いたことあったような…。 調べてみると、確かに…。 Install Elasticsearc
この記事はFess Advent Calendar 2016の24日目の記事になります。 ←前の記事 次の記事→ 今回は、Dockerを使ってデータを永続化させるひとつの手段であるNamed Data Volume機能を用いて、ElasticsearchのデータをNamed Data Volumeに保存してみたいと思います。 Named Data Volumeとは コンテナでデータを管理する — Docker-docs-ja 1.9.0b ドキュメント こちらに書かれているように、データ保持のため Named Volume と呼ばれる領域をホストOSに作成し、それに名前をつけて管理しています。 ここでは詳しくは述べませんが、以下のリンクがわかりやすかったです。 Docker の Data Volume まわりを整理する それでは、ElasticsearchのデータをNamed Data V
EFK(Elasticsearch,Fluentd,Kibana)で簡単ログ基盤をdocker-compose使って立ち上げるFluentdElasticsearchDockerKibanaEFK GoogleAnalytics一辺倒のWeb運用から自前のDWHなんかを立てる運用にWeb運用の主戦場が移り変わってきてると感じる今日このごろ。 Web界隈に生きるエンジニアとしてはログ基盤くらいちょろっと調達できなければいけません。 とはいえ何を使っていいのやらと悩むことも多いことでしょう。 勝手に鉄板構成 いろんな選択肢がある中から、下記の選定をしてしまうと楽な気がします。 ログ集める:Fluentd ログためとく:Elasticsearch ログ見る:Kibana Elasticsearchはけしてためとくのが得意じゃないので、ちゃんとためておきたい場合はS3とかファイルとかに出しておきま
es: image: elasticsearch:5 ports: - "9200:9200" - "9300:9300" volumes: - ./es_config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml - ./es_data/:/usr/share/elasticsearch/data/ environment: - ES_JAVA_OPTS=-Xms512M -Xmx512M ki: image: kibana:5 ports: - "5601:5601" links: - es environment: - ELASTICSEARCH_URL=http://es:9200
こんにちは、藤本です。 Elastic社が公式のDockerイメージの提供を開始したので早速試してみました。 詳細は下記ページをご参照ください。 Introducing Docker images for Elasticsearch and Kibana 以前からDocker HubにてElasticsearch、Kibanaが提供されていました。こちらはElastic社公式のDockerイメージではなかったのかな。。 Elastic社公式Dockerイメージ 今回、Elastic社が持つDockerレジストリサーバーでイメージの提供を開始しています。また簡単にコンテナを利用できるようにElastic社のGithubリポジトリにて、Dockerfile、docker-compose.ymlを提供しています。 elastic/elasticsearch-docker elastic/kiba
Dockerでelasticsearchの環境を作って、そのイメージをterraform使ってEC2にデプロイするAWSElasticsearchDockerTerraform 概要 Elasticsearch運用をDockerに移行する為に、とりあえずは手元のMac環境でElasticsearchを立ててみる。ついでに、terraformで立てたEC2に、dockerhubに登録したイメージをデプロイする。 それぞれバラバラにしか触ったことなかった、docker,terraformをしっかり触って理解するのが目的。 チェックポイント まずは、やってみたレベルなのでここを目標にする elasticserch1.6のDockerイメージを作る ローカルで2台起動してクラスタ構成の確認 ドキュメントの登録と両ノードで引けることを確認 作ったイメージをEC2にデプロイしてみる elasticse
Elasticsearch, Logstash, Kibana (ELK) Docker image documentation This web page documents how to use the sebp/elk Docker image, which provides a convenient centralised log server and log management web interface, by packaging Elasticsearch, Logstash, and Kibana, collectively known as ELK. Contents Prerequisites Installation Pulling specific version combinations Usage Running the container using Doc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く