Docker で filebeat も試す - 社内se × プログラマ × ビッグデータ
公式に filebeat 用の Docker Image が提供されているので、簡単に試すことが可能です。 filebeat からデータを投入する elasticsearch については、以下の記事で作成したイメージを使っていきます。 blueskyarea.hatenablog.com ディレクトリ構造 上記の記事では、logstash なども用意していますが、本記事内では必要最低限の分だけ記載します。 ├── docker-compose.yml ├── elasticsearch │ ├── config │ │ └── elasticsearch.yml │ └── Dockerfile ├── filebeat │ ├── config │ │ └── filebeat.docker.yml │ ├── Dockerfile │ └── log
fluentd、elasticsearch、kibanaをdocker-composeで動かす - 東京生まれHOUSE MUSIC育ち
やりたい構成になりました。 構成 今回目指す構成は以下です。 docker-composeを使用し、録画サーバ上にfluetntd、elasticsearch、kibanaを動かします。 fluentdで受け取ったログをファイルに書き出すようにもしています。 設定 送信側 送信先のIPアドレスを録画サーバに変更しています。 docker container run --rm \ --name httpd \ --log-driver=fluentd \ --log-opt fluentd-address=tcp://192.168.1.254:24224 \ --log-opt tag=docker.{{.ImageName}}.{{.Name}}.{{.ID}} \ -v /etc/localtime:/etc/localtime:ro \ httpd:2.4.37 受信側 以下の記事を
dockerコンテナのログをelasticsearchに集めて解析する方法 - Qiita
TL;DR dockerコンテナのログをfluentdに集める方法 の続編です． この記事から読み始めることもできます． Docker logdriverの機能を利用して，コンテナのログをelasticsearchに蓄積する仕組みを作ります https://github.com/myoshimi/es-docker-logging にdocker-compose.ymlがあります dockerコンテナのログをfluentd形式で送信します（logdriverの設定） fluentdコンテナでログを受け取り，elasticsearchに蓄積します kibanaで蓄積された情報を可視化，解析できます コンテナ構成例 下記のLogsパッケージ部分を作ります． 3つのコンテナから成ります データ転送サーバ Fluentd (fluentd) 全文検索エンジン Elasticsearch (es)
Dockerコンテナ上のElasticsearchのデータを永続化する - Qiita
5分でMacにDockerをインストールしてElasticsearchを起動する の続編です。 Dockerコンテナ上のElasticsearchのデータを永続化してみました。 やりたいこと コンテナ上に状態を持たずにデータを永続化する docker-composeを書いてみる 前提 MacOSであること Dockerがインストール済であること Gitがインストール済であること "~/DockerWorkspace"というディレクトリで作業します 手順 docker-compose.ymlの作成 version: '3.3' services: elasticsearch: # Docker Hubからイメージを取得 image: elasticsearch ports: - "9200:9200" expose: - 9300 volumes: # コンテナのディレクトリをvolumeへ
Docker Compose | Fluentd
This article explains how to collect Docker logs and propagate them to EFK (Elasticsearch + Fluentd + Kibana) stack. The example uses Docker Compose for setting up multiple containers. �����U Elasticsearch had been an open-source search engine known for its ease of use. Kibana had been an open-source Web UI that makes Elasticsearch user-friendly for marketers, engineers and data scientists alike.
無料＆オープンソースで大規模なネットワークを常時グラフィカルに監視できる「Moloch」
コンピューターの通信をキャプチャするソフトウェアとしては「Wireshark」が有名ですが、Wiresharkは大規模なネットワークの通信を常時キャプチャして表示するのは得意ではありません。無料でオープンソースの「Moloch」は、大規模なネットワークで通信を常時監視し、わかりやすく表示するのに適したソフトウェアです。 Moloch https://molo.ch/ 記事作成時点ではCentOS 6／7／8、Ubuntu 16.04／18.04向けにコンパイル済みのパッケージが提供されているので、今回はUbuntu 18.04にMolochをインストールしてみます。 Molochは検索エンジンのElasticsearchを使用するため、Elasticsearchも準備しておく必要があります。今回はMolochが動作するサーバー上にDockerコンテナとしてElasticsearchを構築し
Elasticsearch 7.6 と Kibana 7.6 に Security を有効化してDockerで起動する（コピペ） - Qiita
Elasticsearch 7.6 と Kibana 7.6 に Security を有効化してDockerで起動する（コピペ）MacElasticsearchDockerKibanaLightsail やりたいこと ログの集計・可視化をElasticsearchとKibanaを使って行いたいと思い、色々調べてみたところ、どうやらAmazon Lightsailで動かすのが安そうということで、環境構築について検討した。 Elastic Cloudだと手軽に始められる反面、インスタンスコストが割高で、最小構成だとリサイズに失敗したりしてほとんど何もできなかった。 Lightsailの場合、4GB RAMのインスタンスが$20/月なので、2GBをElasticsearchに、1GBをKibanaに、という構成ができそう。 そして、比較的最近、無償ライセンスのBasicプランでもX-Pack S
ElasticsearchとBERTを組み合わせて類似文書検索 - Ahogrammer
本記事ではElasticsearchとBERTを組み合わせて類似文書検索を行う方法について紹介します。Elasticsearchでは最近、ベクトルに対する類似文書検索の機能が実装されました。一方、BERTを使うことでテキストを固定長のベクトルに変換することができます。つまり、BERTを使ってテキストをベクトルに変換すれば、Elasticsearchを使って類似文書検索ができるということになります。 本記事では以下のアーキテクチャでElasticsearchとBERTを組み合わせた検索システムを実現します。Dockerを使ってアプリケーション、BERT、Elasticsearchのコンテナを分けることでそれぞれをスケールしやすくする狙いがあります。記事中では重要な部分のみ提示しますが、システム全体はdocker-composeのファイルとして記述しこちらのリポジトリに置いてるので、参照してく
初めてのElasticsearch with Docker - Qiita
はじめに Elasticsearchの公式チュートリアルやってみました。 公式ドキュメント以外にも色々調べながら進めたのですが、「7.0系（type新規作成廃止後）」×「Docker」の記事が少なかったので、備忘も兼ねたまとめです。 Elasticsearchとは Elasticsearchは、オープソースの高スケーラブルな全文検索および分析エンジンです。大容量のデータをすばやく、ほぼリアルタイムで保存、検索、分析できます。通常、検索の機能と要件が複雑なアプリケーションを強化する基礎となるエンジン/技術として使用されます。 （Elasticsearchリファレンスより） つまり、めっちゃ検索ができるすごいミドルウェアです。 座学 実際に触る前にお勉強です。 用語とイメージ 論理構成 点線で囲った部分がElasticsearchの外側から見た構成（論理構成）です。 cluster > ind
Elastic Stackで簡単！Dockerコンテナ監視ダッシュボード作成 - Taste of Tech Topics
こんにちは、CI/CDツールなどを活用し、DevOps推進活動などに携わっている横山です。 本記事は、Docker Advent Calendar 2018 - Qiitaの20日目です。 はじめに Elastic Stackを使うと、簡単にDockerコンテナの監視ダッシュボードが作成できるので、今回はその紹介をしたいと思います。 きっかけとしては、「開発環境で立ち上げている複数コンテナの問題調査を楽にしたい」というのがあります。最近、開発環境に複数のコンテナを立ち上げて開発メンバーに提供していますが、開発メンバーから「重たいので環境を確認してほしい」といった声が上がってきます。その際、どのサーバのどのコンテナに問題が発生しているのか確認したいですが、その都度サーバに入って、docker statsなどのコマンドで確認するのはやや面倒です。 そこで、コンテナの監視ダッシュボードを作って、
Docker Composeで手軽に開発環境を構築 (すっきりPHPなど） - Qiita
Docker Composeで手軽に開発環境を構築（PHP+MySQL+Elasticsearch+Memcached）で紹介したファイル群をリファクタリングしました。記事にする前にリファクタリングしろよっていう話ですが・・・。 DockerやDocker Composeについての基本的な記事は、上記をご覧いただければ幸いです。 今回作成したファイル群は、こちらに置いてあります。 docker-composeが入っていれば、 git clone https://github.com/acro5piano/docker-compose-dev-env.git cd docker-compose-dev-env docker-compose up
Elastic StackのAuditbeatで何ができるのかDockerでさくっと確認してみる - YOMON8.NET
別件で調べていたところ掲題のツール見つけました。 Filebeatって色々種類あるんですね。 特に個人的に心を惹かれた監査データ用のモジュールAuditbeatを試してみました。 監査データのための軽量シッパー | Elastic Linuxの監査フレームワークデータを収集し、ファイルの整合性を監視します。Auditbeatからリアルタイムで送信されるイベント情報に基づいて、Elastic Stackがさらに分析を進めます。 はじめに 設定・準備 auditbeat.yml ソース 補足 start.sh ソース 補足 docker-compose.yml| ソース 補足 docker-composeでコンテナ起動 Kibanaのダッシュボード 参考URL Elastic社のDockerデモ群 Elastic社のDockerイメージ一覧 はじめに 最初に参考情報ですが、Elastic St
Install Elasticsearch with Docker | Elasticsearch Guide [8.15] | Elastic
Docker images for Elasticsearch are available from the Elastic Docker registry. A list of all published Docker images and tags is available at www.docker.elastic.co. The source code is in GitHub. This package contains both free and subscription features. Start a 30-day trial to try out all of the features. If you just want to test Elasticsearch in local development, refer to Run Elasticsearch loca
![Install Elasticsearch with Docker | Elasticsearch Guide [8.15] | Elastic](https://cdn-ak-scissors.b.st-hatena.com/image/square/cbbc87b803e58787f8346841e5b65698d408f3c5/height=288;version=1;width=512/https%3A%2F%2Fwww.elastic.co%2Fstatic%2Fimages%2Felastic-logo-200.png){kind=logo}
Dockerでデータ可視化環境をサクッと用意する - そんな今日この頃でして、、、
先週に引き続きBitcoin関連で週末コーディング。 blue1st.hateblo.jp 取引アルゴリズムを考える前に、とりあえずは可視化（と仮説の検証）が必要だろうということで。 ポート管理やら各種パスやら環境変数やらに煩わされたくない怠惰系のアプリケーションエンジニアとしては、 この手のツールがDockerで用意されてると簡単に試せて本当に助かる。 以下Docker Compose導入後という前提で。 blue1st.hateblo.jp 簡単なグラフ化ならGrowthForecast 表題どおり、何かしらの時間で変化する数値をサクッとグラフ化するだけの要件なら、GrowthForecastを立ち上げてスクリプトなり何なりから値を投げ込むのが楽だろう。 GrowthForecast - Lightning fast Graphing / Visualization 導入 適当にディレ
docker-compose 環境の ElasticSearch + Kibana を 5.3.0 から 5.5.2 にしたときつまづいたところ - 嵐の小舟より
docker-compose 環境の ElasticSearch + Kibana を 5.3.0 から 5.5.2 にしたときつまづいたところ しばらくぶりに ElasticSearch を触ることになったため、以前 Docker コンテナで作ってあった環境を見直してみました。 すると ElasticSearch + Kibana の新バージョンとして 5.5.2 が出ていたので、 せっかくなので更新するかとバージョンを上げてみたところ素直に動作しませんでした。 結論から言えば ElasticSearch + Kibana に起因するものではなく、 docker-compose.yml のコンテナ間ネットワークの設定を間違えたことが原因です。 結論としては以下のような感じです。 5.3.0 の頃にあった links によるコンテナ間接続は不要 networks 指定により Elastic
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker input | Filebeat Reference [7.15] | Elastic
Docker for Mac で Elasticsearch を動かした際に too many open files でエラー。Volume内のfile descriptor は増やせない？
GitHub - deviantony/docker-elk: The Elastic stack (ELK) powered by Docker and Compose.
Docker for Elasticsearch, Kibana, and Logstash
Docker @ Elastic