NLBでfluentdのforwardパケットを分散させてみた - Qiita
AWSの新しいロードバランサであるNLB(Network Load Balancer)を使ってfluentdのforwardパケットを分散してみたので、レポートをまとめておく。 NLB自体については、クラスメソッドのブログ等で紹介されているのでそちらを参照するのが分かり易い。 静的なIPを持つロードバランサーNetwork Load Balancer（NLB）が発表されました！ 試してわかった NLB の細かいお作法 ざっくり言うと、TCPプロトコルを対象にしたALBって感じ。 ターゲットグループはポートレベルで設定できるので、コンテナ環境と相性が良い。 ポート違いで複数fluentdが立っていても同じグループとしてまとめて分散できる。 利用までの流れ ターゲットグループを作成し、TCPレベルでコネクションが貼れるかのヘルスチェックの設定をする インスタンスもしくは対象IPと、ポートの組を
akms道東
10000はどこかでメモしてた気がするけど見つからなかったので12年経過で20000アクセス達成しましたのメモ。 今日含めて2日くらい誰もアクセスがなかったので逆に決定的な瞬間をスクショできました。 20000記念 いつもpyenvなどでもaptで事前インストールしてたパッケージを忘れるのでメモ。 今まではanyenv→pyenvという流れでやっていたがasdfを知ってからはそっちで設定をしている。 最近までasdfの存在を知らなかったので情報収集量が減っているなと思った。 以下インストールしたパッケージはWSL環境だったりクラウドサーバー環境だったりで微妙に違うかもしれない。 WSL環境のaptのインストールログを見て必要そうなものを確認してからクラウドサーバー環境で実行した。 apt install -y libedit-dev make gcc zlib1g-dev libssl-d
Spark StreamingからAmazon Kinesis Analyticsへ移行する話 - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の森本です。主な業務は記事配信アルゴリズムの改善とログ基盤の整備です。 Gunosyでは、ユーザーへより良い記事を提供するためにアクセスログをストリーム処理し、集計結果を記事配信アルゴリズムに活用しています。 ストリームログ基盤にはSpark Streamingを利用していますが、現在Kinesis Analyticsへ移行中です。 この記事ではKinesis Analyticsへ移行する理由や運用上のTips等についてお話します。 Spark Streamingを利用したストリームログ基盤構成 現在のストリームログ基盤はSpark Streamingで集計を行い、結果をRDSに保存しています。 なぜSpark StreamingからKinesis Analyticsへ移行するのか サーバーコストと運用コストの削減を目的としています。 サーバーコストについ
macにfluentd(td-agent)をインストールする手順 - Qiita
概要 macにfluentd(td-agent)をインストールする手順です。 環境 OS X Yosemite(バージョン10.10.5) fluentd-0.12.19(td-agent-2.3.0-0) インストール手順 公式サイトからtd-agentのdmgをダウンロード 最新版はtd-agent-2.3.0-0.dmgでした（2016/05/14時点） dmgダブルクリックでtd-agent-2.3.0-0.pkgができるのでインストール 全てデフォルト設定でインストール td-agentの起動・停止コマンド # 起動 sudo launchctl load /Library/LaunchDaemons/td-agent.plist # 停止 sudo launchctl unload /Library/LaunchDaemons/td-agent.plist
DevNullParserで始めるFluentd パーサプラグイン入門 - Qiita
whoami Fluentd Advent Calendar三日目は、Fluentdコミッタの@kiyototamuraがお届けします。トレジャーデータという会社で、日本国外でのFluentdの啓蒙活動を主にやっております。おそらく日本ではもっとも知名度の低いコミッタです。 追記：@repeatedly先生のフィードバックを受けて、コードがシンプルになりました。 2014/01/07 更新: v0.10.58、v0.12.0以降で新APIが生えた[1][2]のでそちらを使うようにサンプルコードを更新 で、パーサプラグインって何よ 一言で言うと、インプットプラグインのformatパラメータを拡張できる機能です。インプットに入ってくるデータは必ずしも構造化されていないため、ログをJSONとして持つ設計のFluentdでは、インプットプラグインがパースをする必要があります。この役割を担うのがパー
SlowQuery を検知して Explain で解析し Slack へ通知 - 長生村本郷Engineers'Blog
以下に移行しました。 kenzo0107.github.io
Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluentd Meetupのデモでは9億件を7秒程度で検索していたが、BigQueryの真の実力はこれより1〜2ケタ上だからだ。ちょっと手元で少し大きめのテーブルで試してみたら、120億行の正規表現マッチ付き集計が5秒で完了した。論より証拠で、デモビデオ（1分16秒）を作ってみた： From The Speed of Google BigQuery これは速すぎる。何かのインチキである（最初にデモを見た時そう思った）。正規表現をいろいろ変えてみてもスピードは変わらない。つまり、インデックスを事前構築できないクエリに対してこのスピードなのである。 価格も安い。さすがに120億行のクエリは1回で200円もかかって気軽に実行できなさそうであるが、1.2億
Fluentd v0.12の目玉機能らしいFilterを試してみた - Qiita
Advent Calendar書くネタなんてなかったからどうしようかマジ焦った＾＾； 背景 apacheのエラーログなんかをfluentdに投げて、チャットツールに流したりしてる。 そんなことしていると、余計なデータがいっぱいチャットログに出るのでフィルタリングしたいなーって思ってた。 とりあえずfluentdのプラグインをいろいろ組み合わせればやれそうだなーと思っていた。 実際fluent-plugin-grepやfluent-plugin-hipchatとか組み合わせてやってみてできたのだけど、 痒いところに手が届かなかった。 そこでoutputプラグインを自作してそれを使っていた。 ただ自作のプラグインは、目的は達成できたものの、もろもろの条件などをベタ書きした糞コード。 全然イカしてない・・・・・・ なんとかならんのか・・・・ そんなときに神のお告げをきいた：Fluentd v0.
Fluentd v0.12 Filter プラグインの使い方と作り方 - Qiita
Fluentd v0.12 がリリースされました。git log を見るに v0.10.1 がリリースされたのは 2011/10/16 とのことなので、３年越しのメジャーバージョンアップとなりました。自分が Fluentd の開発に携わってから初ですね。感慨深い。 Fluentd v0.12 には Fluentd v0.12 is Released で言及されているように、今まであった Input プラグイン、Output プラグインに加えて、Filter プラグイン という仕組みが追加されています。本記事ではその使い方、および作り方を解説します。 2014/12/30更新 v0.12.2 で filter メソッドで nil を返すとメッセージを削れるようになったので記事を修正。cf. #515 合わせて v0.12.2 で、Filter プラグインのテストヘルパーが追加されたのでテスト
いまさらだけど、Nginx が出力したアクセスログ（ltsv形式）を fluentd 経由で BigQuery に送ってみたよ - えいのうにっき
前回の いまさらだけど fluentd に入門した - えいのうにっき に引き続き、「いまさら fluentd」シリーズ（？）。 blog.a-know.me 事例としてはめちゃくちゃありそうなこの組み合わせ、「自分的にかゆいところ」に手が届いてるかんじの記事がないような気がしたので、それを少しでも増やすことができれば、という思いで、書いてみる。 nginx のアクセスログの形式を ltsv 形式にする まずはこれから。 そのために nginx の conf に手を加える必要がある。たとえばこんな↓かんじかな。 log_format ltsv "local_time:$time_local" "\thost:$remote_addr" "\tforwardedfor:$http_x_forwarded_for" "\treq:$request" "\tstatus:$status" "\t
ログ収集サービスのlogdnaを試す - トレタ開発者ブログ
佐野です。ここ2ヶ月くらい坐骨神経痛を患って、座ると痛い、立つと痛い、歩くと痛い、朝起きると痛い、くしゃみすると痛い。靴下がはけない(痛いから)、しゃがめない(痛いから)、夜痛みで目が覚める。という生活をしています。こちらの記事( 頭痛に耐えかねて自殺する人も…【激痛を伴う病気ワースト5】 )によると、痛すぎる病気ワースト4位らしいです。さて、ご近所のplaidさんからlogdnaというログ収集サービスを教えていただいたのですが、試してみました。 logdna logdna https://logdna.com/ ローンチは2016年、つまり今年のようです。fluentd同様、エージェントをサーバに棲ませて、それがログをlogdnaに転送します。トレジャーデータ似ていますが、まだ機能は少なくて分析などはできないです。特定文言のハイライト、通知、grep...など全サーバのログを一覧するよう
Fluentdを使ってRDSのSlowLogをSlackに通知する - Qiita
これはなにか RDSのSlowLogをSlackに通知したかった。 AWSのAPIで download-db-log-file-portion があったが通知するには使い勝手が悪かったので MySQLのテーブルにSlowLogを保存して、それをFluentdからSELECT & Clear をすることにした。 この記事はMysqlの設定なので、他のDBの場合はよしなに変更してください。 使ったもの fluent-plugin-slack : https://github.com/sowawa/fluent-plugin-slack fluent-plugin-rds-slowlog : https://github.com/kenjiskywalker/fluent-plugin-rds-slowlog RDSの設定 Parameter Group slow_query_log : 1 l
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Adtech Application Logging | Fluentd
GitHub - fluent-plugins-nursery/fluent-plugin-filter_where: Fluentd plugin to filter records with SQL-like WHERE statement
DeNA流データエンジニアリングの極意
Fluentd
exec | Fluentd
Fluentd
FluentdでRuby DSLを使う - Qiita
Fluency - Yet another fluent logger
