Fluentdのお勧めシステム構成パターン2014年9月9日開催の『サーバ/インフラエンジニア養成読本 ログ収集〜可視化編』 出版記念！執筆者が語る大講演会！ での発表スライドです。 Read less
FluentdとMysqlを利用した簡単なRecommendEngineの開発 - Y's note
WEB+DB PRESS Vol.72 作者: 近藤宇智朗,生井智司,Dr.Kein,tokuhirom,森田創,中島聡,堤智代,A-Listers,はまちや2,竹原,川添貴生,久保達彦,道井俊介,飯田祐基,中村知成,規世やよい,後藤秀宣,天野祐介,奥野幹也,WEB+DB PRESS編集部出版社/メーカー: 技術評論社発売日: 2012/12/22メディア: 大型本購入: 11人 クリック: 94回この商品を含むブログ (10件) を見る RecommendEngineを作りたい Fluentd Casual Talks LT #fluentd #fluentdcasual Fluentdを使ってNginxLogをMysqlにリアルタイムで格納する - Yuta.Kikuchiの日記 興味連動型広告におけるマッチングの微妙な知識だけを活かして最近は仕事をしている@yutakikucです。こ
td-agent2をAmazon Linuxで独自ビルドする | DevelopersIO
ども、大瀧です。 皆さん、Treasure Data Serviceやfluentdを活用するためのクライアント・エージェントであるTreasure Agent(通称td-agent)を活用してますか?AWS環境でも、Amazon KinesisやAmazon DynamoDBとの連携などビッグデータに関わる処理では欠かせないツールになりつつあります。 ただ、Treasure Data社公式のtd-agentパッケージはサポートOSにAmazon Linuxが含まれておらず、独自にビルドして使用することが推奨されています。そこで本エントリーでは、その独自ビルドを検証した結果をシェアしたいと思います。Amazon Linuxでのサポートについて、詳しくは以下のQiitaエントリーを参照してください。 td-agent - Treasure AgentとAmazon Linux - Qiita
fluentdの効果的な活用例と安定運用のポイント
fluentdの効果的な活用例と安定運用のポイント：今さら聞けないfluentd～クラウド時代のログ管理入門（3）（3/3 ページ） fluentdの安定運用に向けて 実際にfluentdを使う場合には、ここまで紹介してきたようなfluentdの内部仕様を正しく理解した上で、ログをロストせず、確実にログ管理ができるよう運用していかなければなりません。そのためには、fluentdの稼働状況を把握することが非常に重要です。 「fluentdのプロセスが正常に稼働しているか」「fluentd自体のログにエラーログが出力されていないか」といった基本的な状態監視に加え、fluentdの内部状態を把握することも有効です。 fluentdには「in_monitor_agent」というfluentdの内部状態を監視するための標準組み込みインプットプラグインがあります。この章ではin_monitor_age
広告ログ解析基盤にFluentdを使っている話 - すずけんメモ
これはFluentd Advent Calendar 14日目の記事です。 私は現在、VOYAGE GROUPの子会社であるadingoで、DMP cosmiの開発をしています。今日はcosmiでのfluentd利用の話をしようと思います。 DMPについて 過去に勉強会でアドテクまわり及びDMPについて話したのでそれを貼っておきます。ざっというと、いい感じにいろんなログを受けいられるようにして、それらをモニタリングしながら整理して使えるようにする、という役割をもったプロダクトです。 Head First Ad Technology and DMP http://www.slideshare.net/suzuken/head-first-ad-technology-and-dmp どこで使っているか ほぼ全てです。構成としては ログ収集サーバ | | out-forward (roundro
fluentdと定番プラグインのインストール
fluentdと定番プラグインのインストール：今さら聞けないfluentd～クラウド時代のログ管理入門（2）（1/2 ページ） 前回の記事「増えるログ、多様化するログをどう効率的に運用するか」では、fluentdの大まかなアーキテクチャについてご紹介しました。第2回では、fluentdがどういったものであるかをもう少し具体的に理解するために、実際の利用までの流れを紹介します。 fluentdの使い方 fluentdを利用するには、各サーバーにfluentdをインストールし、どのプラグインを使って処理を行うかについての設定が必要になります。 インストール手順 fluentdはさまざまな方法でインストールできます。例えば、 rpmパッケージによるインストール（CentOS、Red Hat Enterprise LinuxなどのOS向け） debパッケージによるインストール（Ubuntu、Deb
fluentdによるログ収集システムの構築～応用編
はじめに 基本編では、ログ収集サーバーおよび、クライアントのインストールと基本的な設定について解説しました。応用編では、サーバーが収集したログをデータベースに集積し、検索する方法を解説します。 データベースへのログ集積 基本編では、fluentdが収集したログは全てファイルとして保存していますが、保存されたログファイルのサイズが大きくなると、ログの解析も困難になります。 そこで、公式プラグインとして用意されているmongoプラグインを使用して、収集したログをMongoDB上に集積します。 なお、セットアップはサーバー上で行って下さい。 MongoDBレポジトリ設定 インストールに先立ち、MongoDBのリポジトリを設定します。 $ sudo vi /etc/yum.repos.d/mongo.repo [mongo] name=MongoDB Repository baseurl=http
Fluentdで始めるリアルタイムでのログ有効活用
はじめに Fluentdは、ログを収集し格納するためのログ収集基盤ソフトウェアです。Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプットとアウトプットはモジュール化されており、モジュールを追加することでインプット元とアウトプット先を追加できるようになっています。 Fluentdは急速に知名度を高め、多くのWebサービス会社で実際に使用されるようになりました。従来のログが抱えていた問題も、Fluentdが適切な解決策となっていると認知され、かつ簡単に導入・スモールスタートできるミドルウェアであったことが大きかったと思います。 本稿では、Fluentdの簡単な仕組みと導入方法、シンプルな動作事例について紹介します。 対象読者 システム管理者 データサイエンティスト 必要な環境 UNIX系OS Ruby 1.9 ログを出力する理由 システム運用を始める
Happy Elements Labs: fluentdとMongoDBでユーザー行動を見える化
はじめに エンジニアの@ryooo321です。 よろしくお願いします。 今回は弊社で運用中の全アプリで利用している行動分析プラットフォームについてご紹介したいと思います。 2012年の6月に作ってから、約9ヶ月ほど運用しています。 特徴 ・手がかからないデータストア ・さまざまな問い合わせ対応で利用できる柔軟なクエリ ・機敏なMap/Reduceによる集計 ・集計結果をCSVやグラフで可視化 目的 ・ユーザーの問い合わせに効率的に対応し、アプリの企画・開発に集中するため ・ユーザーの行動を抽象化・可視化することでPDCAの質を向上させるため 行動ログのフロー 1. ユーザーからRuby on Rails製のソーシャルゲームにリクエスト 2. Railsからローカルのfluentdにログ出力(fluent-logger-ruby) 3. ローカルのfluentd
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluentdでログが欠損する可能性を考える : sonots:blog
Fluentd