Design & Implement Batch Stream Processing Application for Ruby沖縄Ruby会議01発表「Rubyによるバッチ業務のストリーム処理化の設計と実装」 http://regional.rubykaigi.org/okrk01/
Fluentd Casual Talks #3でLT＆Fluentd Advent Calendar 2013で記事書きしていました #fluentd - koeだめ 過去アーカイブ[〜2013-12-14]
「ご家庭でFluentd」というタイトルでFluentd Casual Talks #3でLTしつつ、そのサブセットをFluentd Advent Calendar 2013の記事としてまとめました。 提示資料: https://speakerdeck.com/bash0c7/fluentd-in-my-sweet-home 記事: http://qiita.com/bash0C7/items/a8aea4810cc5ec6f1eb9 概要 構成: Fluentd on MBA -> Amazon SQS -> Fluentd on Raspberry Pi MBA MBAではtd-agentを動かしています。 プラグイン開発・検証を行う場合は、https://rubygems.org/gems/fluentd を利用しています。 Raspberry Pi Fluentdは https:/
![Fluentd Casual Talks #3でLT＆Fluentd Advent Calendar 2013で記事書きしていました #fluentd - koeだめ 過去アーカイブ[〜2013-12-14]](https://cdn-ak-scissors.b.st-hatena.com/image/square/74ee82589b045126b39f6e7b4b564ed0ea6c77c2/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117126976353052%2F17680117126976354649%2F1550818797)
柔軟なログ収集を可能にする「fluentd」入門 | さくらのナレッジ
複数台のサーバーやクラウド環境を組み合わせてのサービス運用においては、ログの収集方法に工夫が必要となる。こういった場合に有用なのが、さまざまなログの収集手段を提供するfluentdだ。今回はfluentdのアーキテクチャやそのインストール/設定方法、基礎的な設定例などを紹介する。 さまざまな方法でログを収集できるfluentd 今回紹介するfluentdは、Treasure Dataが開発するログ収集管理ツールだ（図1）。オープンソースで公開されており、Linuxや各種UNIXで動作する。 図1 fluentdのWebサイト ログ収集のためのソフトウェアとしてはsyslogdやsyslog-ngなどが有名だが、fluentdがこれらと異なる点としては、以下が挙げられる。 さまざまなソースからのイベントをさまざまな媒体に出力できる fluentdの大きな特徴としては、ログの収集方法やログの記
SIOS ビッグデータ技術ブログ: DevOps向けFluentd勉強会 at IPROSの参加報告
お久しぶりです、髙橋＠SSTDです。 私は最近、SSTD（Sios Support for Treasure Data）としてTreasureDataさんと一緒にお仕事をさせて頂くことが非常に多く、勉強になることばかりです。 そういったこともあり、こちらのDevOps向けFluentd勉強会 at IPROSにも参加させて頂きました。 勉強会は三部構成で行われました。 特別講演 （トレジャーデータ 中川）導入編 （IPROS 竹内）実践編 （IPROS 外山） 1. 特別講演特別講演では、トレジャーデータの中川さんが、fluentdが生まれた理由から概要、更には各種プラグインについてまで、幅広くかつ少し深く話されました。 fluentdはなぜ生まれたか？データをいかに集めるかに関する決定的なソフトが無かった。 fluentd以前は、日毎のログ転送などを行っていたが、スループットの問題などが
グリー技術者が聞いた、fluentdの新機能とTreasure Data古橋氏の野心
fluentdのほかにもバイナリシリアライゼーションフォーマット「MessagePack」の開発などで知られる古橋氏だが、学生時代からその技術力の高さには定評があり、注目され続けてきたスーパーエンジニアでもある。 今回、fluentdのユーザーでもあり、古橋氏とは旧知の仲でもあるグリー 開発本部 リーダーの森田想平氏がインタビュアーとなり、fluentdにまつわるトピックや、トレジャーデータでの開発、オープンソースへの想いなどを訊いている。本稿では、その模様をお伝えしながら、“エンジニア・古橋貞之”の魅力に迫ってみたい。 fluentd v11の注目ポイント 森田 まずは、グリーでも大変お世話になっているfluentdについて、いろいろ聞かせてください。開発中の新バージョン（v11）では、かなり大きな変更や機能追加があると伺っていますが、注目ポイントをいくつか教えてもらえますか。 フィルタ
fluentd の output plugin のテストのかきかた
fluentd のプラグインのテストで、他のoutputも利用するタイプのプラグインはどうテストするのかなあと思ってしらべてみた。@tagomoris さんの out_forest はちゃんとテストが存在したのでそれを読む事に。 https://github.com/tagomoris/fluent-plugin-forest/blob/master/test/plugin/test_out_forest.rb#L416 まず fluentd のプラグインのテストの書き方から理解していないので理解しなければ、と 公式ドキュメント を読むと: Please see Fluentd’s source code for details. うっ、はい… まず前準備に Fluent::Test.setup を呼ばないといけないっぽい。これ、engine.rb に書いてある所為でgrepしないと見つか
List of Plugins By Category | Fluentd
Amazon Web Services / Big Data / Filter / Google Cloud Platform / Internet of Things / Monitoring / Notifications / NoSQL / Online Processing / RDBMS / Search / AMAZON WEB SERVICES Certified Download Name Author About Version BIG DATA Certified Download Name Author About Version FILTER Certified Download Name Author About Version GOOGLE CLOUD PLATFORM Certified Download Name Author About Version I
Fluentd meetup #2
Big Data Day LA 2016/ Big Data Track - Fluentd and Embulk: Collect More Data,...Data Con LA
第4回 インフラ勉強会＠福岡 Fluentdハンズオン
2. 自己紹介 名前： 松崎 学 所属： 株式会社キャム （SaaS型の経営管理システムを提供中） http://www.cam-net.co.jp/ Twitter： matsumana 最近のお仕事：Javaプログラマ（Rubyもほんの少し）、 インフラ 最近の興味： Ruby, Python, Scala, Groovy Hadoop, Asakusa Framework, Fluentd 4. Fluentdとは？ Fluentd The Event Collector Service http://www.slideshare.net/treasure-data/fluentd- meetup-in-japan-11410514 fluentd Log everything in JSON. http://www.slideshare.net/treasure-data/fluentd
fluentd
3. * 鎌田啓佑 * Java 好き * FreeBSD 好き * Jiemamy コミッタ＆インフラ管理者 (http://jiemamy.org/) * java-ja * 5. * Treasure Data, Inc. の古橋氏が開発。 * Ruby 製 * 様々なログ入力、およびログ出力方法を備えて いる。 * 入力: TCP, HTTP, tail, exec, syslog (udp), scribe * 出力: ファイル, TCP, exec, stdout, S3, MongoDB, HDFS * 6. "Fluentd" is a OSS lightweight and flexible log collector. Fluentd receives logs as JSON streams, buffers them, and sends them to other
fluentdを使ってS3へログを送る - サーバーワークスエンジニアブログ
テクニカルグループの宮澤です。 今回は、fluentdとS3を使ってS3にログをアーカイブする手順を紹介します。 fluentdとは、ログを収集し格納するためのログ収集基盤ソフトウェアです。 fluentdに読み込まれたログはJSON形式に変換され、指定の場所にアウトプットされます。 ※fluentdの安定稼働版はtd-agentとなります。 fluentdのインストール リポジトリの追加 __| __|_ ) _| ( / Amazon Linux AMI ___|___|___| https://aws.amazon.com/amazon-linux-ami/2013.03-release-notes/ $ sudo vi /etc/yum.repos.d/td.repo --- [treasuredata] name=TreasureData baseurl=http://packa
Fluentdで始めるリアルタイムでのログ有効活用
はじめに Fluentdは、ログを収集し格納するためのログ収集基盤ソフトウェアです。Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプットとアウトプットはモジュール化されており、モジュールを追加することでインプット元とアウトプット先を追加できるようになっています。 Fluentdは急速に知名度を高め、多くのWebサービス会社で実際に使用されるようになりました。従来のログが抱えていた問題も、Fluentdが適切な解決策となっていると認知され、かつ簡単に導入・スモールスタートできるミドルウェアであったことが大きかったと思います。 本稿では、Fluentdの簡単な仕組みと導入方法、シンプルな動作事例について紹介します。 対象読者 システム管理者 データサイエンティスト 必要な環境 UNIX系OS Ruby 1.9 ログを出力する理由 システム運用を始める
＠ITイベントカレンダー
平素よりイベントカレンダー＋ログをご利用いただき、誠にありがとうございます。 イベントカレンダー＋ログは「IT・製造業・ビジネス関係のイベント（セミナー・展示会・勉強会・コンテスト・Webイベントなど）を開催する企業・コミュニティが登録したイベント情報のポータルサイト」として約7年間運営をしてきました。これまでサービスを続けることができたのは、イベントカレンダー＋ログのコンセプトに共感をいただき、適切なイベント情報をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。 しかしながら、イベント情報の入手方法の多様化やイベント紹介サービス市場の状況、＠ITの今後のメディア運営方針などを検討した結果、2020年6月30日（火）15:00をもちましてイベントカレンダー＋ログのサービスを終了することにしました。 これまでご利用をいただきました皆さまには残念なお知ら
Treasure Dataのサービスはクラウド上でどう構築されているのか（前編）～July Tech Festa 2013
Treasure Dataのサービスはクラウド上でどう構築されているのか（前編）～July Tech Festa 2013 Treasure Dataといえば、日本人がシリコンバレーで創業したベンチャーとして知られている企業。そのシニアソフトウェアエンジニア中川真宏氏が、7月14日に行われたJuly Tech Festa 2013の基調講演で、同社がクラウド上で構築したサービスについてそのアーキテクチャを中心に解説を行っています。 注目されているクラウドサービスがどのような仕組みになっており、それはどのような考え方で作られているのか。クラウドでシステム構築を考えている多くのエンジニアの参考になるはずです。講演の内容をダイジェストで紹介します。 Treasure Dataのクラウド戦略 Treasure Data, Inc。シニアソフトウェアエンジニア 中川真宏氏。 スタートアップなこともあ
OSS CEP Server 'Norikra' v0.0.1 released! - たごもりすメモ
みんな大好きFluentdはプラグインも自由に書けて好き放題にリアルタイム集計を行うことが可能なわけですが、やりたい処理にあわせて無限にプラグインを書き続けてるとプラグインの数が爆発し何がどんな処理をしているのかもよくわからず混乱の海に呑まれて消えるという未来がみなさんの脳裏にもおそらく想像されていることと思います。 で、世の中にはCEPエンジンというものがあってストリーム状に流れてくるイベントデータに対して処理を行う仕組みがあるわけですね。これ使いたい！ しかもあれだ、簡単に処理が書けるものがいい！ 何が言いたいかと言うとWE NEEEED xQL!!!!!!!!!!!!!!! そんなようなことをこちらのエントリを書いたときに思ったわけです。 http://tagomoris.hatenablog.com/entry/2013/02/19/142017 で、RubyKaigiにも通っちゃ
MOGOKのログシステム - Fluentdによるログ収集 - | もごろぐ
はじめまして。MOGOK 開発メンバの崎山と申します。 このブログでは、MOGOK システム内部で利用してる技術を中心に書いていく予定です。 初回となる今回は、MOGOK のログシステムについてのご紹介になります。 MOGOK で提供しているログの詳細については、 杉本の記事「MOGOKのログについて」 に記述されておりますので、ぜひこちらもご覧ください。 ログの収集 MOGOK では現在、アクセスログ、アプリケーションログ、ビルドログの3種類のログを提供しております。 それぞれのログは別々のサーバに出力されていますが、ログがそれぞれのサーバに分散して蓄積されているとログの管理が複雑になるためログシステムでログを集約し、一元管理しています。 この図は mogok.jp のサイトで紹介しております「MOGOK のアーキテクチャ」の図に、 ログシステムを追記したものです。 図のように、
なぜFluentdなどを使ってログデータ活用するのか？ | Act as Professional
髪を切った@HIROCASTERでございませう。 今日は巷で話題のfluentd（フルーエントディー）を使って、アクセスログを活用するための準備をしたいと思います。 簡単にfluentdを使って何をするのか 例えばこんなことという、知識や目的の準備です。 fluentd とは？Linuxサーバなどのログを集約するためのツールです。ログ形式は良くあるテキスト形式ではなく、JSON形式にて構造化された形で保存されるため、集約されたログデータを解析したりするのがとってもやりやすくなります。 従来のテキストデータで出力されるApacheのログなどを読み込んで、fluentdでリモートログサーバに飛ばして、集約保存することなんてことができます。 集約されたログデータを解析サーバで解析して、グラフで出力とかするわけです。 具体的にどういうことができるの？ログデータの活用は無限大なので、さまざまな事が想
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - fluent/fluentd: Fluentd: Unified Logging Layer (project under CNCF)
Big Data入門に見せかけたFluentd入門
GitHub - sonots/haikanko: haikanko is a fluentd cluster management tool
