[B! ログ] tkmiya34のブックマーク

tkmiya34 id:tkmiya34

ログに関するtkmiya34のブックマーク (8)

Rails4 + Fluentd + MySQL でランキング機能作ってみた - 筋肉とエンジニアリングですべてを解決するブログ
アクセスランキングを作ってみよう！今、Rails4 を使ってアクセスログからランキング作ってみたいなぁーと思ってたんですが、みんなどうやってんだろうって聞いてみたところ、 Fluentd ってのを組み込むだけで簡単に集計とかできるよーって話だったので、使ってみました。 Fluentd とはまず読み方は、「ふるーえんとでぃー」であって、「ふるーえんど」とかじゃないっぽいです。d はたぶんデーモンの d 。色々説明面倒なんで省略しますが、ログ収集元とか出力先が簡単に設定できて、自分の欲しい形でログ保持できますよーって感じっぽい。なので、「シェルスクリプトで処理した tail の処理結果をファイルに」「nginx から出力されたアクセスログを mongo DB に」とかそういう処理を自前で書く必要なく、簡単な設定だけでいけちゃう。詳しくは → 柔軟なログ収集を可能にする「fluentd
tkmiya34 2014/10/14
Fluentd

MySQL

rails

ruby

ログ
リンク
Fluentdのお勧めシステム構成パターンについて発表しました - Y-Ken Studio
2014年9月9日開催の『サーバ/インフラエンジニア養成読本ログ収集〜可視化編』　出版記念！執筆者が語る大講演会！にて発表してきました。今回は「Fluentdのお勧めシステム構成パターン」というタイトルで、ユースケース毎にどのようなシステム構成をすると運用しやすいかのノウハウをお話しさせていただきました。また、パネルディスカッションではラジオ番組のようなスタイルで、モデレータに @naoya_ito（伊藤直也氏）をお招きして行い、Kibana以前の可視化はどうしていたの？など、ざっくばらんなトークが出来てとても楽しい経験でした。発表資料今回は書籍に書かれた内容をざっとおさらいしつつ、システム構成パターンについて解説しました。発表資料はSlideshareにアップしております。 Fluentdのお勧めシステム構成パターン書籍本書はWEB+DB Pressを取り扱う書店のほか、
tkmiya34 2014/09/12
Fluentd

ログ

サーバ

log
リンク
[Android] JSONの整形ってこんなに簡単にできるの！？〜ログが劇的に見やすくなる魔法の引数〜 | DevelopersIO
[Android] JSONの整形ってこんなに簡単にできるの！？〜ログが劇的に見やすくなる魔法の引数〜 JSON使ってますか？モダンなアプリ開発とJSONは切っても切れない関係です。今、この記事を見ているあなたもきっとJSONに触れたことがあるでしょう。今回は、Android開発時に覚えておくと便利なJSONの小技を紹介します。こんな時に使うと便利ですネットワークとの通信を行うと、レスポンスがJSONで返ってくるってことよくありませんか？そんなときは、大抵ログにレスポンスの内容を表示するものです。この「ログ出力」するときに今回紹介する小技を使うと、ログが劇的に見やすくなってどんな値が入っているのかが一目でわかるようになります！結局どうすればいいの？実際なんてことないものなんで、さらっとご紹介します。 JSONを文字列に変換するときにJSONObject#toString
tkmiya34 2014/08/30
json

ログ

Android
リンク
ログ集計／時系列DB／可視化ツールの調査結果 - Qiita
近年、自分の中で集計／可視化は Fluentd(datacounter)+Growthforecast で定番化していました。しかしプロダクトで新たに集計／可視化の要件が出てきたことと、最近可視化ツール周りで「Kibanaってなんじゃ？」「Graphiteってなんじゃ？」「Influx DBってなんじゃ？」など、このツール達は一体何なんだろう…？というのが前々から気になっていました。今回良い機会なので ◯◯は何をするものなのか？というのを一つ一つ調べてみました。いわゆる「触ってみた系」の記事なのでだいぶ浅い感じです。大分類大きく分けると、可視化ツールは以下の３つに分けられそうです。ログ収集/集計時系列DB（＋API）の担当。バックエンド側。可視化部分の担当。今回はバックエンドと可視化部分に焦点を当ててみます。バックエンド全文検索時エンジン+Restfu
tkmiya34 2014/08/26
api

Fluentd

DB

elasticsearch

github

可視化

ログ
リンク
Fluentdとログ収集のパターン - Go ahead!
「ログを集めて保存する」と言うのは簡単だけど，ログ収集の構成にはいくつか方法があり，勉強会などでちょくちょく聞かれるので，いくつかのパターンについて書く．「俺はもうバリバリログ収集やってるぜ！」という人は多分すでに知っていることが書かれているので，タブを閉じて良い．ここではログコレクタにFluentdを想定しているが，他のログ収集プロダクトにも適用出来るはず．ただ，Fluentdはタグベースのルーティングを持ち，単体でもキューのように動作させることが可能で，既存のものより複雑な問題を解決しようとしているので，少し工夫が必要かもしれない． Fluentdそのものについては公式ドキュメントや，Fluentdとはどのようなソフトウェアなのかを参考に．クライアントから直接保存するいきなりFluentdを使わないパターン．JavaScript SDKを提供している解析サービスやモバイル端末
tkmiya34 2014/08/01
Fluentd

log

ログ
リンク
excale.net
This domain may be for sale!
tkmiya34 2014/02/28
Fluentd

ログ

DevOps

運用

log
リンク
増えるログ、多様化するログをどう効率的に運用するか
増えるログ、多様化するログをどう効率的に運用するか：今さら聞けないfluentd～クラウド時代のログ管理入門（1）（1/2 ページ）仮想化やクラウド化、モバイル化の進展に伴い、管理すべきログが多様化・肥大化しています。そんな中でも効率よく、意味のあるログ管理を実現するツールとして注目されている「fluentd」を、これから始めたい方のために一から解説します。システムを安定して効率良く運用していくために、ログ管理は欠かせない要素の1つです。仮想化やクラウド化、モバイル化の進展につれてシステムはますます大規模化し、それに伴い管理すべきログが多様化・肥大化する傾向にあります。 fluentdはこういった中でも、効率よく、意味のあるログ管理を実現するために非常に有用なツールです。本連載では、fluentdの基本と具体的な活用方法を紹介します。ログ管理の現状と課題環境の仮想化・クラウド化、さ
tkmiya34 2014/02/05
ログ

Ruby

fluentd

インフラ
リンク
fluentd(td-agent) の導入 | Raccoon Tech Blog [株式会社ラクーンホールディングス技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 Rubyfluentdtd-agentlog はじめまして。開発チームの yuzuki です。 7/1に弊社の決済サービスPaid（ペイド）のサーバー群へログ集約の改善を目的として導入した fluentd(td-agent) の導入手順などをまとめてみました。ログ集約を改善する動機弊社ではこれまで（今も大部分は） cron + rsync を使い、週次バッチでWebサーバー上のログファイルをファイルサーバーへ転送することで一応の集約をさせてきました。（集約というよりはバックアップといった意味合いの方が強いかもしれません）サーバー台数が少なかった頃はこの仕組みでも特に大きな問題はなかったと思いますが、サービスの成長にあわせて、サーバー台数が増え
tkmiya34 2013/12/03
Fluentd

ログ

apache

fluent

log
リンク
1