kzkのブックマーク - はてなブックマーク

SIOS　ビッグデータ技術ブログ: センサーデータを収集する（ibeacon -> Node.js -> Treasure-Agent(td-agent) -> TreasureData）

こんにちは、高橋@SSTDです。私的な話ですが、先日iphone5sを購入しました。せっかくなのでそのiPhoneを使ったセンサーデータ収集について紹介したいと思います。 iphone5sから、iBeaconと呼ばれる近距離無線通信機能を利用することができるようになりました。 iBeaconでは、数十メートル離れた場所にいるユーザに向けて情報を発信できることから、O2O（Online to Offline）などでの発展が期待されています。そこで今回は、iBeaconでやり取りされるセンサーデータをTreasureDataに収集していきます。下記の動画は、iPhoneとestimoteと呼ばれるiBeaconを用いたセンサによるショッピングでの活用イメージムービーです。 1. システムイメージ図1に今回作成するシステムのイメージを示します。動作の流れ iPhone5sには、iBeac

kzk 2014/02/16

Treasure Data

リンク

SIOS　ビッグデータ技術ブログ: DevOps向けFluentd勉強会 at IPROSの参加報告

お久しぶりです、髙橋＠SSTDです。私は最近、SSTD（Sios Support for Treasure Data）としてTreasureDataさんと一緒にお仕事をさせて頂くことが非常に多く、勉強になることばかりです。そういったこともあり、こちらのDevOps向けFluentd勉強会 at IPROSにも参加させて頂きました。勉強会は三部構成で行われました。特別講演（トレジャーデータ中川）導入編（IPROS 竹内）実践編（IPROS 外山） 1. 特別講演特別講演では、トレジャーデータの中川さんが、fluentdが生まれた理由から概要、更には各種プラグインについてまで、幅広くかつ少し深く話されました。 fluentdはなぜ生まれたか？データをいかに集めるかに関する決定的なソフトが無かった。 fluentd以前は、日毎のログ転送などを行っていたが、スループットの問題などが

kzk 2013/11/03

#fluentd

リンク

SIOS　ビッグデータ技術ブログ: GREE Tech Talk #03への参加報告

こんにちは、SSTDの高橋です。昨日行われたGREE Tech Talk #03に参加しましたので、その内容の報告をさせて頂きます。今回のGREE Tech Talkのテーマは、サービスづくりにおけるデータの活用でした。ハッシュタグはこちら（#gree tech03）。下の写真は、GREEさんから頂いたジェンガです。当日のプログラム『開会の挨拶』藤本真樹（グリー株式会社）『GREEプラットフォームにおけるビッグデータの活用』橋本泰一（グリー株式会社　開発本部）『アドテクノロジー業界でのデータ活用』奥野晃裕（株式会社スケールアウト）『データ駆動開発＠トレジャーデータ』小林隆（トレジャーデータ株式会社）『GREEインフラでのデータ取得と使い方』田中祥平（いわなちゃん）（グリー株式会社）『ビッグデータを楽しむためのシステム技術と大学での最先端な試み』合田和生（東京大学生産

kzk 2013/09/12

#greetech03

リンク

SIOS　ビッグデータ技術ブログ: TreasureDataのtd import:prepare機能の比較検証

まだまだ暑さは続いておりますが、いかがお過ごしでしょうか。 SSTDの高橋です。先日、データサイエンティスト養成読本を個人的に購入しました。まだ読み終わってはいませんが、せっかく購入したので、こちらの「Data Scientist Casual Talk in 白金台」に参加する予定です。参加される方はどうぞよろしくお願い致します。書籍自体はログ収集からログ解析まで幅広い内容をサポートしているので、非常に勉強になりそうです。また、書籍内でも紹介されているfluentdは、過去のブログ記事でも紹介したことがありましたが、リアルタイムログ収集ツールとして非常に有用です。そのため、今後の本ブログでも詳しく紹介していきたいと思います。さて、それではブログの内容に入ります。今回は、tdの0.10.84から実装されたtd import機能について紹介していきます。 td import機能と

kzk 2013/09/04

リンク

SIOS　ビッグデータ技術ブログ: BIGDATAダッシュボード勉強会の御礼と報告

kzk 2013/08/28

リンク

SIOS　ビッグデータ技術ブログ: Treasure Dataのデータを利用するプログラム（Ruby編）

こんにちは、SSTDの大村です。セミナーも終わりゆっくりしていたいところですが、新しいお客様にもめぐり合え、忙しい日々をすごしています。うれしいかぎりです。これからもさまざまなお客様と出会えるように精進していきます。写真は会社の近くの東京タワーです。ライトアップされた東京タワーを近くで見ると心がやすらぎますが、７月に社屋移転予定なので、東京タワーがちょっと遠くなると思うと残念です。今回はTresureDataを利用するプログラムを書いてみようと思います。Treasure Dataの基本機能でできないことも、プログラムから操作すれば思うがまま、自由自在ですね。操作自体はとっても簡単なので、あとは他のアプリケーションなどと接続するプログラミングをすればよいだけなのです。今回はRubyからの操作を見てみましょう。まずはじめにTreasure Dataにデータを入力するRubyプログラムを書

kzk 2013/05/29

リンク

SIOS　ビッグデータ技術ブログ: アクセスログをTreasure Dataに送ってみよう

SSTDの大村です。GWのど真ん中ですが、いかがお過ごしですか？後半の４日間は子供でも連れてどこかに出かけたいなと思っています。ゴリラにはまっている娘のためにゴリラがいる動物園に行こうか、息子のために遊園地に行こうか、両方は体力とお財布が。。と思案中です。結局、近所の公園でサッカーとかして終わらせたい。。。と全国の親御さんたちと同じ気持ちです。さて、みなさんfluentdってご存知ですか？トレジャーデータ社の古橋さんが作られたOSSのログ収集ツールです。詳しくは古橋さんのブログをご覧ください。このfluentdですが、多くの方に愛されて成長し続けています。今回はfluentdでWebのアクセスログを移動し、Treasure Dataにアップロードする方法のご紹介をさせていただきます。 fluentdでアクセスログを集めようインストールでは、fluentdをインストールしてみましょう！