[B! fluentd][heroku] bojovsのブックマーク

Google Data Studio で BigQuery ログを可視化してディレクターのデータ依頼から解き放たれる - Qiita

この記事は「エムスリー Advent Calendar 2016」の 10日目の記事です今年の5月に無償版が提供されている Google Data Studio ですが、使った人たちのコメントを見ているとドキュメントを読まなくても、いきなり使えるというメリットがあったものの、SQLを書けないというデメリットがあって、他の無料ツールの Re:dash (無料だとサーバーが必要)の方がデータ分析的に使えるかなと思っていました。しかし、最近この記事を読んでいて、逆に SQLクエリを書かなくて良いということが (ディレクターに丸投げできるという意味で) 最大の魅力ということに気づきました。ということで、 Google Data Studio を使うことで、ディレクターがよく見たい指標ランキング TOPに挙がるであろうユーザーのアクセスログを可視化したので、ログ収集部分からまるっと解説します。

bojovs 2017/10/27

リンク

世界最速でFluentdを立ち上げる on Heroku - Qiita

Treasure Agentをさらに使いやすくご存知の方も多いかと思いますが、トレジャーデータ社では、out_tdプラグインを使うことで、Fluentdから簡単にデータを流し込めるようになっています。これはHeroku上でも動くようになっており、heroku-td-agentとして公開されています。ただこれ、意外と面倒くさいです。具体的には Treasure Dataのアカウントを持っていることが前提。そしてAPIキーをメモ。 GitHubのHerokuアプリをクローンしてきて bundle install... あああああああああああああああああああ、やってられるかボケえぇぇぇ!!!! これではいかん。せっかくHerokuという、ソフトウェアのデプロイを抹殺してくれたプラットフォームにいるんだ。その恩恵を100％受けてやろうじゃないか。出ましたTreasure Agent Her

bojovs 2014/12/10

リンク

Heroku アプリのログを fluentd で ElasticSearch に突っ込んで Kibana で監視する方法 - hakobera's blog

目的 Kibana で Heroku アプリのログを可視化したい。ただし、レスポンスタイムとかは New Relic でも見れるので、ここではアプリが出力したらログを可視化する方法を紹介する。また、今回、アプリからの出力を可能な限りに簡単にするために、アプリからは Heroku の STDOUT に出力するだけで、ログを Kibana サーバに送信できるようにしてみた。具体的にはこう。（Ruby の場合）出力の形式は、Treasure Data addon の方法を真似ている。 puts "@[tag.name] #{{'uid'=>123}.to_json}" これで、tag.name が fluentd の tag 名に、それに続く JSON 文字列が送信するデータとして処理される。環境 Amazon EC2 上に Kibana サーバを構築 OS は Ubuntu 13.1