どうも、手短野郎かっぱ（@inokara）です。今回も手短に。 効率よく = 設定ファイルを最小限に 下図のように複数の VirtualHost のアクセスログファイルを読み込んで S3 のバケットに読み込むファイル毎にフォルダを作ってログを放り込むようなことをしたいと思った時に… うっかりとして各ログファイル毎に match ディレクティブを書いてしまいそうになった時、fluent-plugin-forest に出会い、td-agent.conf の設定は下記のように設定することで冗長な td-agent.conf にならずにすみました。 <source> type tail path /var/log/httpd/access_xxxxx.log pos_file /var/log/td-agent/access_xxxxx.log.pos tag apache.xxxxx forma

最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En

概要 複数のサーバのアクセスログをAggregatorにまとめます。こうすることでログの管理が一元化されるので、ログの管理先をS3やElasticsearchに変更したりするときにAggregatorだけの対応で済みます。 環境 Ubuntu 14.04 Nginx 1.4.6 fluentd 0.12.12 構成 IP 名前 役割 192.168.33.100 aggregator ログをまとめる 192.168.33.101 node1 nginxのログをforward 192.168.33.102 node2 nginxのログをforward 事前準備 Vagrantfileを編集して上記構成の３台を用意します。 config.vm.define :aggregator do |fluentd| fluentd.vm.network :private_network, ip: "19

The recommended way to install Fluentd on Windows is to use MSI installers of fluent-package.

Windowsにfluentdを導入するという記事があまりに少ない・ヒットしないのでメモ書き。そもそもAWSでWindows使ってる人・案件少ないのかな？ インストール 基本的に以下のリンクの内容でインストールできる。キャプチャも貼ってあるので丁寧だ。 sqlazure.jp 手順詳細 インストールがうまくいかなかったり、導入してもうまく動作しなかったり、いろいろうまくいかないことは世の常（というよりWindows + Ruby環境は昔から魔窟である印象）なので手順の詳細を以下に書きました。 概ね以下のような手順となる。 rubyをインストール DevKit-mingwをインストール gitをインストール fluentdをインストール fluentdのプラグインをインストール fluentdをサービス登録 fluentdの設定ファイルを設定 fluentdを起動 gemからfluentdを

昨年末に Go言語で書いた Web アプリケーションの習作をサービス化して公開するところまでやってみた - えいのうにっき で公開したサービス・Yukizuri のデーモン化手段を、今日、supervisor から systemd に変更した。理由は単純で、会社の同僚（先輩）と「なんで supervisor 使ったの？」「今なら systemd がいいんじゃない？」といったような会話があったため（別に咎められたわけではない）。 今まで supervisor で以下のような指定をして動かしていたものを、 ; for yukizuri [program:yukizuri] command=/var/www/yukizuri/app/yukizuri.bin -addr=":8080" -logging=true autostart = true startsecs = 1 user = roo

概要 Fluentdで生ログを転送するための設定を残したいと思います。 source側のformat noneだけでいけると思っていたが、それだけではfluentdの標準的なメッセージフォーマットで出力されてしまい、望んでいた出力結果にはならなかった。なので、結論から言いますと、file出力側でformat single_valueを指定することで送信元のログのまま出力されます。 転送元の設定 例）転送するログ

2019/05/16 更新しました。エラー検知ツールを紹介 ログ収集系の個人的な超簡易的なまとめです。 僕みたいなそんなの全然追っかけてないけど、運用監視のシステムを作る必要あったので最近のセオリーを調べないとな－っていう人向け。 既にもっと詳しいものはありますが、自分でまとめたかったのでまとめてみました。 とりあえずは有名どころの名前を羅列して最低限俯瞰できるようにしておきます。 ※内容間違っているとかあったら指摘ください。 エラー検知(エラートラッキング or エラーモニタリング)ツールについて 厳密にはログ収集と言ってはいけないかもしれませんが。。。 最近使い始めたのでおすすめしておきます。主にJavaScriptなどのフロントエンド向けですが、PHPやNode.jsなどのサーバーサイドもエラー検知可能です。 僕が今使っているのはSentryです。無料で十分使えて綺麗な管理画面もあっ

追記: 訳文修正いたしました（2018/03/28）。 概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: SOLID Principles #1: Single Responsibility Principle | Netguru Blog on Ruby/Ruby on Rails 原文公開日: 2018/02/13 著者: Marcin Jakubowski サイト: netguru 翻訳記事の相互リンクは今後更新いたします。 「SOLIDの原則シリーズ」へようこそ。このシリーズ記事では、SOLIDの原則をひとつずつ詳しく説明し、分析します。シリーズの最後にはいくつかのヒントや考察を含む総括記事をお送りしますのでどうぞご期待ください。 それでは始めましょう。「SOLIDの原則」とはそもそも何なのでしょうか？SOLIDとは、オブジェクト指向プログラミング設計における一般的な原則

地下と地上のインフラをARを用いて可視化する地理情報システム「vGIS」下水道管、ガス管、電線などを表示 2018-03-28 カナダに本拠を置くMeemimは、地上と地下のインフラをARを用いて可視化する地理情報システムビジュアリゼーションプラットフォーム（vGIS）を発表しました。 インフラには、水道管、下水道システム、ガス、電線などが含まれており、Microsoft HoloLensなどのデバイスを使用して、現実世界にデジタルオブジェクトとして重ねてリアルタイムに表示します。これらは、iPhone、Androidデバイス、Microsoft HoloLens、Windows Mixed Realityで見ることができます。 操作は、音声コマンドとハンドジェスチャをサポートしているため、作業する方はハンドフリーでコントロールすることができます。 すでにエンタープライズ向けに販売しており