dockerコンテナのログをelasticsearchに集めて解析する方法 - Qiita
TL;DR dockerコンテナのログをfluentdに集める方法 の続編です． この記事から読み始めることもできます． Docker logdriverの機能を利用して，コンテナのログをelasticsearchに蓄積する仕組みを作ります https://github.com/myoshimi/es-docker-logging にdocker-compose.ymlがあります dockerコンテナのログをfluentd形式で送信します（logdriverの設定） fluentdコンテナでログを受け取り，elasticsearchに蓄積します kibanaで蓄積された情報を可視化，解析できます コンテナ構成例 下記のLogsパッケージ部分を作ります． 3つのコンテナから成ります データ転送サーバ Fluentd (fluentd) 全文検索エンジン Elasticsearch (es)
Redis Expire Performance - Maverick's tech blog
Scala書けますで入社した筈なのにnewrelicみながらDBのチューニングばかりしてる、ぽんこつです。 今回はRedisをどうやって叩くと早くなるのかを、主にexpireまわりで適当にベンチしたりした。 私のDBの経験値がMySQLに偏っているのであまり手出ししてこなかった弊社のRedis環境だが、パフォーマンス絡みの問題を聞いたり見かけるようになってきたので、Redisのパフォーマンスを引き出す方法について調査をした。 弊社のサーバアプリケーションは主にScalaで書かれているので、ScalaからRedisに繋いだときのベンチマークが中心になる。 JMH JMHはマイクロベンチマークツールの一種。JVMはJITによって、何度も同じ箇所を実行すると、徐々にコードを最適化して早く動くようになる、等々の要素を排除し、できるだけ正しいベンチマークをすることができるツール。 ScalaでJMH
Python 3(pyenv) と Google Cloud SDK を共存する - Qiita
GCP を使う上である種必須とも言える Google Cloud SDK は、Python 3がデフォルトの環境だと動かない問題がある。 Python 2の死までもう4ヶ月を切っているけどリプレースする気はあるのだろうか (pyenvの導入方法などは割愛) pyenvを使っている環境で pyenv global 3.x.x とした際には $CLOUD_SDK_PYTHON という環境変数に Python 2 へのパスをセットするのが一般的なのだと思っていた。 しかし、 pyenv global 3.x.x 2.x.x とバージョンを2つ記載するとPython 2/3の環境を共存させることができる。 この場合の各バージョンは以下のようになる。 $ python --version Python 3.x.x $ python2 --version Python 2.x.x $ python3
Cloud Composerを使ってMySQLのデータをBigQueryに同期する | スペースマーケットブログ
こんにちはデータエンジニアの小林です。 データ分析をしたいときにログデータと事業DBをデータウェアハウスに入れてSQLでJOINをしたり したいと思います。事業DBをBigQueryなどのデータウェアハウスに入れればできるんですが やり方がいっぱいあって悩むと思います。 今日はGCPに最近リリースされたCloud Composerを使ってMySQLにあるデータをBigQueryに同期させる方法を書きます。 対象読者 airflowやworkflow engineなどの概念を理解している方。 Cloud Composerとは？ Cloud Composer(以後Composer)はGCP上でボタン1つ押せばairflowというworkflow enginzeをGKEに立ち上げてくれるサービスです。 今回airflowでやること Composerの立ち上げ DBからデータを取得してGCSにjs
zabbix3系でのアクション自動登録機能を使って監視対象ホストを自動で追加する - Qiita
監視の自動登録 APIを駆使する、ディスカバリを使うなどいくつか方法はあると思いますが 今回はアクションの自動登録の機能を使って監視対象を自動登録してみます アクション機能からのホスト自動登録時は ・適用テンプレートの指定 ・追加したいホストグループの設定 などもできます 今回テスト環境 zabbixサーバ ・CentOS7 zabbix3.2 zabbixクライアント(自動登録する対象) ・CentOS7 zabbix3.0 (大きな理由は無いのですがバージョン違いを入れています) 前提 将来的にクラウド環境などで、マシーンを新規作成した際などで agentを立ち上げるだけでzabbixサーバへ監視対象として自動で登録されるようにしたい なお、マシーンの新規作成でagentを入れて起動するまでの自動化 監視対象として追加後のディカバリの自動操作などは今回は含みません また、zabbixサ
Fluentd v0.14 では fluent-plugin-forest が不要な話 - Usual Software Engineer
少し前のことですが、 Fluentd の v0.14 が stable になりましたね。 イコール v1.0 である通り、安定感が増した感じがしています。 ブログのネタが無いので今回は Fluentd の小ネタを投稿することにしますｗ 一応ここでは比較のために v0.12, v0.14 と表記します、というか v0.14 に慣れすぎてまだ v1.0 と呼ぶのに慣れてないだけなんですが。 v0.12 まで必須だったようなプラグインの機能でも、 v0.14 ではコアの機能でカバーできることが多くなりハッピーになりましたが、どのように設定を修正していいのかパッとわからない場合があります。 例として、 fluent-plugin-forest の話を紹介しましょう。 GitHub - tagomoris/fluent-plugin-forest Fluentd 公式のプラグインリストのダウンロード
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
