Photon勉強会【Photon Server Deep Dive - PhotonWireの実装から見つめるPhoton Serverの基礎と応用、ほか】 https://atnd.org/events/80089Read less
Windows Server+Photon Server環境でも�Fluentd+Elasticsearch+Kibanaを活用して�各種情報を可視化する（2016/9/13 発表資料）
Photon勉強会【Photon Server Deep Dive - PhotonWireの実装から見つめるPhoton Serverの基礎と応用、ほか】 https://atnd.org/events/80089Read less
Fluentd v0.14 Overview
The document summarizes the key features and changes in Fluentd v0.14, including new plugin APIs, plugin storage and helpers, time with nanosecond resolution, a ServerEngine-based supervisor for Windows support, and plans for symmetric multi-core processing, a counter API, and TLS/authentication in future versions. It also benchmarks some performance improvements and outlines the roadmap for Treas
Fluentdから#SORACOM Funnel経由でAmazon Kinesis Firehoseにログを送信する | DevelopersIO
ども、大瀧です。 SORACOMから発表された新サービスFunnelは、IoTデバイスの通信をバックエンドのクラウドサービスに転送します。今回は、IoTデバイスからの通信として、Fluentd(td-agent)からKinesis Firehoseへの転送を試してみます。 Fluentdとは Fluentdは、ログなどのデータ収集ソフトウェアとして広く用いられているOSSです。手軽に導入するために、開発主体のTreasure Data社が提供するtd-agentディストリビューションを利用するのが一般的です。 *1 Kinesis Firehoseとは Kinesis Firehoseは、AWSのマネージドなストリーミング基盤サービスの一つで、簡単にS3やRedshiftへのデータ格納を行うことができます。 SORACOM Funnelなしでも、FluentdにはKinesis Fireh
golangでセンサーデータをMQTTで受けてloggerする | Natural Days
Go その2 Advent Calendar 2015の記事です。 golangで複数のセンサーからのデータをMQTTで受けてfluentdを使ってロギング、elastic/kibana, splunkで可視化します。これは実際にET展のマクニカさんのMpressionによるIoTのPoC(Proof of Concept)にて展示してきた内容の詳細です。実際の展示中の内容はこちらです。会場と世界各国のマクニカさんのオフィスにセンサーを置いて頂き、色んなところからモニタリングしています。 – 構成 以下の図のような構成です。色んなセンサーを使っています。MQTTを使えるセンサーがあるので、MQTTサーバとしてはmosquittoを使っています。 – 送信データフォーマット センサーからのデータは基本的には、温度、湿度、照度を扱っています。他にも色々取れるのですが(加速度、地磁気、音声, I
Armadillo-IoTでfluent bitを動かしてみる
トレジャーデータさんから、fluent bitというものがリリースされました。 FluentBit | Data Collection for Embedded Linux : http://fluentbit.io/ fluentdのような動きをする、C/C++で書かれたプログラムです。 fluentdのように、プラグイン形式でinput/outputの機能を拡張できます。 OSSとしてgithub上で公開されており、Apache 2.0ライセンスです。 https://github.com/fluent/fluent-bit 2015/06/01に開発者が来日し、「Fluentd Meetup 2015 夏」でお披露目されたのが、最初の情報のようです。 http://eventdots.jp/event/495315 http://www.slideshare.net/eventdot
「ビッグデータのハブになる、IoT向けデータ収集ツールも強化」
ビッグデータの処理基盤をクラウドで提供する米Treasure Data社。日本人3人が米シリコンバレーで2011年に起業してから3年半、従業員数はグローバルで80人以上に増え、今年1月には韓国オフィスも立ち上げた。保存するデータ件数は18兆件に達し、この1年で3倍になったという。 急成長を続けるTreasure Data社の創業者の一人であり、CTO（最高技術責任者）を務める太田 一樹氏に最近のサービス開発の状況について聞いた。最近では、組み込みLinux向けのデータ収集ツール「Fluent Bit」をリリースするなど、IoT（モノのインターネット）向けのサービスを強化している。 Hadoopに代表されるビッグデータ関連の技術開発は、オープンソースソフトウエア（OSS）を中心に今も活発に続けられている。トレジャーデータの最近のサービス強化点を教えてほしい。 Hadoop自体もバージョン2系
Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
「BigQueryは120億行を5秒でフルスキャン可能」は本当か？ 先日、kaheiさんがGoogle BigQuery（Googleクラウドの大規模クエリサービス）について、こんなエントリを書いていた。 とにかくパフォーマンスがすごい。（Fluentd Meetupでの）プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる（これ、記憶がちょっとあいまい。もう少しかかったかも）。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだったと言っていたが、その気持ちはわかる。 From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluent
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
秒間数万のログをいい感じにするアーキテクチャ
Add Windows support by nurse · Pull Request #674 · fluent/fluentd
IoT Data Connector Fluent Bit
https://qiita.com/inokappa/items/ee993b14f82e544ca6e4