GitHub - lestrrat/go-fluent-client: [MOVED] See github.com/lestrrat-go/fluent-clientYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
![GitHub - lestrrat/go-fluent-client: [MOVED] See github.com/lestrrat-go/fluent-client](https://cdn-ak-scissors.b.st-hatena.com/image/square/533edbdeaeaa767bda525e4c02b148b261a4509a/height=288;version=1;width=512/https%3A%2F%2Fopengraph.githubassets.com%2Fdf9c27338166604fefac411327cea625e23c26ad759560fa3e59443bd459dfe7%2Flestrrat%2Fgo-fluent-client)
Fluent Loggerの信頼性を高めるには - 2017-04-28 - ククログ
はじめに Fluentdにログを送る方法として、Fluent Loggerを使う方法があります。 RubyやJavaにはそれぞれfluent-logger-rubyやfluent-logger-javaなどのFluent Loggerがあり、よくメンテナンスされています。 この記事ではFluent Loggerを使ってFluentd v0.12またはv0.14にログを送信する時にどのようにするとより確実にログ転送ができるようになるかを解説します。 最小構成のFluent_Loggerを作成するには では最小構成のFluent Loggerはどのような仕様に基づき実装されるべきかを解説しました。この記事はその続編です。 確実にログを送るには 確実にログを送るにはエラーが起きた時にそのエラーを回復する手段を提供されていることが必要です。 ログが送れたことをFluent Logger側で検出する
Fluentdで始めるPrometheus / Prometheus Tokyo Meetup #1
Try Prometheus with Fluentd
Influent ベンチマーク - Part 2 #fluentd - おくみん公式ブログ
Java 版 Fluentd サーバである、Influent のベンチマーク第二弾です。 MessagePack デシリアライズ処理を改善したので、その効果を測定します。 テスト概要 http://blog.okumin.com/entry/2017/01/24/002953#テスト概要 Disclaimer http://blog.okumin.com/entry/2017/01/24/002953#Disclaimer テスト環境 インスタンス 送信側、受信側共に Google Compute Engine asia-northeast1 リージョンの n1-highcpu-32 を用いました。 送信側は二台用意し、それぞれ20プロセス、合計40プロセスの Fluentd が並列にイベントを送信します。 バージョン 環境構築は influent-benchmark の a4565f88
スケーラブル tail -f | grep on AWS - KAYAC engineers' blog
こんにちは。組長こと @fujiwara (id:sfujiwara) です。 早速ですが皆さん、ログは見ていますか? 当然見ていますよね。tail -f で追いかけるとか大好きですよね。という前提で話を進めましょう。 この記事は Tech KAYAC Advent Calendar 2016 の24日目の記事です。 TL;DR 多種多様なホストから発生するログの末尾を tail -f で追いかけたい fluentd + ローカルファイルで行うのはちょっと面倒 Amazon Kinesis + Lambda を使ってスケーラブルな仕組みを考えてみた kinesis-tailf というツールも作った 既存の仕組みと問題点 techblog.kayac.com 弊社の Lobi とソーシャルゲームでは、この記事で紹介されたような Fluentd を活用したログ集約の仕組みを整備しています。この
ソーシャルゲームのカスタマーサポートを支える行動ログとredash - KAYAC engineers' blog
この記事はTech KAYAC Advent Calendar 2016の21日目の記事です。 こんにちは、ソーシャルゲーム事業部のぼくらの甲子園！ポケットのサーバサイド開発・運用を担当しておりますマコピーことid:mackee_wです。 ↑のヘッダ画像の人物はワタクシ、という噂があります。みなさま答えはあっていましたでしょうか。 ぼくらの甲子園！ポケットとは 2014年9月にリリースされた共闘スポーツRPGのスマートフォン向けゲーム 現在3年目でございます！！！ 甲子園をモチーフにしてプレイヤーとプレイヤーが協力して別のチーム(CPUではない)と対戦して甲子園の頂点を目指す チーム(高校)の部員がプレイヤー9人揃わなければ試合が始まらない縛りとかも特徴です そんな感じで運営しておりますので興味を持たれましたらこちらからダウンロードのほどよろしくお願いしますm( )m。 ちなみにこの記事は
Fluentdのプラグインのv0.14への移行の仕方 - 2016-08-26 - ククログ
はじめに クリアコードではFluentdというソフトウェアの開発に参加しています。Fluentdはログ収集や収集したデータの分配・集約などを行うソフトウェアです。 Fluentdのv0.14はv0.12とある程度の後方互換性が保たれているメジャーバージョンアップです。 v0.14での新機能を使ったプラグインを作成する際にはこれまでの Fluent 以下のクラスではなく、Fluent::Plugin 以下のクラスを継承し、実装する必要が出てきました。 また、v0.14からはプラグインでよく書かれるコードをカプセル化し共通に使えるヘルパーを提供することで、よりプラグイン開発者が簡潔で良くテストされたコードを使ってプラグインが開発出来るようになる、とアナウンスされています。1 Inputプラグインの場合 Inputプラグインをv0.14のプラグインに移行する際には Fluent::Input の
TCP serverをSSL/TLS化するのに nginx の stream_ssl_module/stream_proxy_module が便利 - たごもりすメモ
最近 Fluentd の通信プロトコルまわりをアップデートするためにあれこれいじっている*1んだけど、これはおおむね fluent-plugin-secure-forward がサポートしていた内容を Fluentd 組込みの forward plugin でもサポートしますよ、というものになる。 んで問題なのが secure-forward は SSL/TLS での接続のみしかサポートしてなかったんだけど forward では生の TCP で通信する*2ので、本当に secure-forward と forward それぞれの実装間で互換性が保たれているのか、直接的には確認する手段がない、ということになってしまう。 TCP server の SSL/TLS 化 一方世の中には SSL/TLS ターミネータという機能があって、たとえばロードバランサなんかがこの機能を持っている。何をやるかと
YAPC::Asia Hachiojiに行ってきた＆しゃべってきた - たごもりすメモ
この週末に開催されていた YAPC::Asia Hachioji に参加してきた。2日目は体調崩してダウンしてたので1日目だけだったのが残念だけど、楽しかったー。 yapcasia8oji-2016mid.hachiojipm.org しゃべってきた 普段あんまりプログラミングテクニックそのものについてはプレゼンをやる機会がないんだけど、Fluentd v0.14で使わざるをえなかったあれこれとか一度しゃべっとくかということで出してたので、やった。主に黒魔術について。なんだろう、使っても許される黒魔術の用途と実践、みたいな感じ? Fighting API Compatibility On Fluentd Using "Black Magic" from SATOSHI TAGOMORI 30分という時間*1で何故そういうハックが必要なのかを説明して実装を説明して、ということになって、また大
EmbulkとDigdagとデータ分析基盤と
2. WHO AM I ? • Toru Takahashi (@nora96o) • Treasure Data, Inc. • Support Engineering Manager • メールにチャットに、ブログ書いたり、コードを書いたり、 • http://qiita.com/toru-takahashi • 気づくと、社会人４年目に突入・・・ 2 3. 質問です！ • Treasure Data を 知っている人は ？ • Fluentd を 知っている人は ？ • Embulkを知っている人は？ • Digdagを聞いたことがある人は？ • インフラ / 分析基盤 を普段から運用や開発をしている人は？ • iOS / Android / Unity / フロントエンドの人は？ 3
fluentdのCPU使用率をPrometheus, Grafanaでモニタリングしたい - wyukawa's diary
fluentdはRubyで実装されていることもあり複数CPUを使えないので、トラフィックが増えてきた場合などはポートを分けて複数プロセスで起動することが一般的です。 なのでマシンごとのCPU使用率を見てもfluentdの状況がどうなのか判断することは難しいです。 ちなみにJavaだとそういうことをする必要がないしJMXもあるのでfluentdが特殊なミドルウェアなのかなという気がします。 fluentd以外でユースケースを思いつかない。 そこでfluentdのプロセスごとのCPU使用率をモニタリングしたいわけですが、どうやるかというのが今回のテーマです。 やっかいなことにfluentdはsupervisorとworkerの2プロセスあってモニタリングしたいのはworkerです。まずはworkerのpidを求めないといけないわけですが、その辺の話は省略します。 process_nameがある
Fluentd + Kinesis + Elasticsearch + Kibana / Grafanaでのリアルタイムログ解析基盤 | Tech Blog - リクルート住まいカンパニー
こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、csshX地こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、 csshX 地獄に陥りました。（以下の図のような状態のことです。） ログの確認が必要になった際に、この csshX を使用して秘伝のワンライナーで確認したい部分をtailして抽出していましたが
AWSのAutoScalingを利用して、td-agentクラスタを準備する - Qiita
検証を思いついた経緯 appサーバ側のforward設定で複数の<server>タグを管理したくない td-agentのconfigに影響されず、AWSメンテナンスやインスタンス障害の対応を行いたい アプリケーションが乗るappサーバと違い、td-agentクラスタは純粋に負荷を見極めやすいため、AutoScalingに適している fluentdのコミュニティで「TCPロードバランシングはユーザ側で試して欲しい」という状況で更新が止まっていた https://groups.google.com/forum/#!topic/fluentd/3ZuG_1dPovE td-agentクラスタ環境準備 1.環境構成 今回、VPC,SecutityGroup,AMIの作成方法は割愛。 以下の環境を準備する。 2.appインスタンスのtd-agent設定 <source> type forward <
fluentd の out forward の secondary を S3 にして信頼性を向上する - tkuchikiの日記
オートスケールするサーバ(web、アプリ)に立てている fluentd(以下、sender) から、 ログ集約用の fluentd(以下、aggregator) にデータを送るとき、 aggregator がデータを受け付けられないと sender で buffer すると思います。 この状態でスケールイン(ディスクごとサーバを削除)すると、 buffer していてもデータをロストしてしまいます。 そこで、sendor から aggregator に送れない場合は Amazon S3 に送ることができたのなら、 信頼性を向上できるのではないかと考え実験しました。 検証環境 fluentd 0.12.22 fluent-plugin-s3 0.6.6 ruby 2.3.0 注意点 sender から aggregator にデータを送れない状況を再現するために、 server には flue
Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜
Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 Backend Author: cubicdaiya エンジニアではなくプログラマと呼ばれたい@cubicdaiyaです。今回はメルカリのログ分析基盤のお話です。 メルカリにおけるログデータ分析 メルカリでは初期の頃からログデータの分析をサービスの成長にとって重要なタスクとして位置づけ、そのための基盤作りに取り組んできました。ログの種類はいくつかありますが、中でも代表的なのがアプリケーションサーバで出力されるアクセスログやアプリケーション固有のログです。これらのログはサイズが大きいので効率良くログデータを転送するための工夫が必要になります。そこで活躍するのがFluentdです。 大雑把に説明するとアプリケーションサーバで出力されたログはFluentdから最終的にBigQu
Fluentdのin_forwardに流れているレコードをtcpdumpで見る - ryotarai's blog
本番環境で動いているFluentdのin_forwardに何が流れているのかを知りたい、けど設定を触りたくない…みたいな場合に流れているタグやレコードを見る方法です。特にFluentdに限った話ではないですが、備忘録として書いておきます。 1. tcpdumpでキャプチャ 調べたいサーバ上で、tcpdumpを使ってパケットキャプチャを取ります。in_forwardのポート番号などを指定してキャプチャします。 $ sudo tcpdump -i eth0 -w fluentd.pcap port 24224 and tcp 2. tcptraceでTCPストリームのデータだけ吐き出す tcptraceは-eオプションを渡すと、TCPストリームごとのデータをファイルに吐いてくれるのでこれを利用します。なお、tcptraceはHomebrewやaptで入ると思います。 $ tcptrace -e
Fluentdから#SORACOM Funnel経由でAmazon Kinesis Firehoseにログを送信する | DevelopersIO
ども、大瀧です。 SORACOMから発表された新サービスFunnelは、IoTデバイスの通信をバックエンドのクラウドサービスに転送します。今回は、IoTデバイスからの通信として、Fluentd(td-agent)からKinesis Firehoseへの転送を試してみます。 Fluentdとは Fluentdは、ログなどのデータ収集ソフトウェアとして広く用いられているOSSです。手軽に導入するために、開発主体のTreasure Data社が提供するtd-agentディストリビューションを利用するのが一般的です。 *1 Kinesis Firehoseとは Kinesis Firehoseは、AWSのマネージドなストリーミング基盤サービスの一つで、簡単にS3やRedshiftへのデータ格納を行うことができます。 SORACOM Funnelなしでも、FluentdにはKinesis Fireh
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ログ環境とDevOps ~一休.comでの事例~
秒間数万のログをいい感じにするアーキテクチャ
ログの欠損をできるだけ避ける Fluentd の out_forward 設定サンプル cf. http://blog.livedoor.jp/sonots/archives/44690980.html
