ローカルPCのDocker上でCloudWatch Logs Insights連携の簡易分析基盤(Elasticsearch)を使う - YOMON8.NET
AWSを運用しているCloudWatch Logsを分析することが良くあると思います。 数年前はCloudWatch Logsのファイルをダウンロードしてきて、分析していて面倒でしたが、 CloudWatch Logs Insights が出てきてそれもかなり楽になりました。 それでも毎回調べながらクエリを打つのは結構面倒なので、ログ分析基盤としてElasticsearchなどを利用する場合もあると思います。 この記事ではログ分析基盤が無い環境でも、ローカルのElasticsearchに流し込んで簡単に分析できる環境をDockerで整理したので書いていきます。 前提 全体像 リポジトリ 使い方 ダウンロードからのコンテナ起動 Jupyter Lab接続 パラメータ設定 AWS Profile CloudWatch Logs データロード Kibanaで分析 後片付け 前提 Docker d
無料＆オープンソースで大規模なネットワークを常時グラフィカルに監視できる「Moloch」
コンピューターの通信をキャプチャするソフトウェアとしては「Wireshark」が有名ですが、Wiresharkは大規模なネットワークの通信を常時キャプチャして表示するのは得意ではありません。無料でオープンソースの「Moloch」は、大規模なネットワークで通信を常時監視し、わかりやすく表示するのに適したソフトウェアです。 Moloch https://molo.ch/ 記事作成時点ではCentOS 6／7／8、Ubuntu 16.04／18.04向けにコンパイル済みのパッケージが提供されているので、今回はUbuntu 18.04にMolochをインストールしてみます。 Molochは検索エンジンのElasticsearchを使用するため、Elasticsearchも準備しておく必要があります。今回はMolochが動作するサーバー上にDockerコンテナとしてElasticsearchを構築し
elasticsearch on Kubernetes(Docker for Mac)
はじめに [ pires/kubernetes-elasticsearch-cluster - Github ] を参考にelasticsearchクラスタを立てます。 Kubernetesを使用して拡張性を高く(スケールしやすい等)、 冗長化とx-pack無しのBasic認証導入とデータの永続化までやります。 デフォルトの設定を加えるためGCPのelasticsearchイメージに設定ファイルやプラグインのインストールコマンド、環境変数を加えたものを使用します。 動作確認 Docker CE for Mac(Edge): Version 18.02.0 Kubectl: Version 1.8 elasticsearch: Version 5.6 現時点(2018年2月)ではkubernetesを使うためDocker for Mac edge版を使います。 インストールしていない場合はD
ElasticSearch, Redis, nginx, Djangoでエロサイトを作った時のTips [インストール編] - Qiita
こんにちはJapornLady開発者のリヒトです スケーラブルなデータベースが簡単に手に入る時代なのだから、何万人ものユーザを抱える様な大規模なサービスを作って運用してみたいなぁという思いから、熟考した果てのエロサイト ジャポルノレディーズ を作る事を決めました。このページは開発にあたってのTipsとジャポルノレディーズの宣伝です（人気AV女優のフルDVD動画が見れるよ）。 今までに教育向けとか真面目なサービスを作った事もありましたが今いちニーズがあるのか無いのかわからずに細々とやってました。そこで気づいたのはニーズあるなし論争は常に疑心暗鬼になってつらい。 という事でニーズがあるとわかってるエロサイトを作ることに決定 コンテンツも豊富かつスケーラブルでレコメンドエンジンも備えた快適エロサイト（笑）を作ろう！の備考メモ ちなみにコンテンツ収集はクロール手法のため非公開です。 環境 OS :
![ElasticSearch, Redis, nginx, Djangoでエロサイトを作った時のTips [インストール編] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/cbc1f0f7d57c0fbd7dc87d81bc07542c36a83eff/height=288;version=1;width=512/https%3A%2F%2Fcdn.qiita.com%2Fassets%2Fqiita-fb-2887e7b4aad86fd8c25cea84846f2236.png)
15分で作る、Logstash＋Elasticsearchによるログ収集・解析環境 | さくらのナレッジ
たとえば、inputに「stdin」、outputに「file」というプラグインを使用すれば、標準入力からイベントを受け取り、それをファイルに出力することが可能となる。そしてLogstashが注目されている理由の1つのが、出力先として「Elasticsearch」が利用できる点だ。 検索機能に優れた分散型データベース「Elasticsearch」 Elasticsearchはオープンソースで開発されている分散型データベースシステムだ（図2）。「Elastic」という名前のため勘違いされやすいが、米Amazonが提供しているクラウドサービス「Amazon Elastic Compute Cloud（EC2）」とは無関係だ。 図2 ElasticsearchのWebサイト ElasticsearchはJavaで実装されており、またデータ検索エンジンとして「Lucene」が組み込まれているのが特
dstat + fluentd + Elasticsearch + kibana でサーバモニタリングする - blog.nomadscafe.jp
普段はサーバのメトリクス可視化のためにcloudforecastを使っていますが、某案件用に数秒単位で数十台のサーバのメトリクスを表示したいので、記事タイトルのような構成を作ってみた。 dstatでとった各種値の他に、nginxとmemcachedの情報も合わせて表示させています。 セットアップ もろもろのセットアップのメモ 監視サーバ まず、監視サーバにElasticsearchとkibanaをいれる。環境はCentOS6 $ sudo yum install java-1.7.0-openjdk $ sudo rpm -Uvh https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.x.x.noarch.rpm Elasticsearchは特に設定なく起動 $ sudo service
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
excale.net