SIOS ビッグデータ技術ブログ: センサーデータを収集する（ibeacon -> Node.js -> Treasure-Agent(td-agent) -> TreasureData）
こんにちは、高橋@SSTDです。 私的な話ですが、先日iphone5sを購入しました。せっかくなのでそのiPhoneを使ったセンサーデータ収集について紹介したいと思います。 iphone5sから、iBeaconと呼ばれる近距離無線通信機能を利用することができるようになりました。 iBeaconでは、数十メートル離れた場所にいるユーザに向けて情報を発信できることから、O2O（Online to Offline）などでの発展が期待されています。 そこで今回は、iBeaconでやり取りされるセンサーデータをTreasureDataに収集していきます。 下記の動画は、iPhoneとestimoteと呼ばれるiBeaconを用いたセンサによるショッピングでの活用イメージムービーです。 1. システムイメージ図1に今回作成するシステムのイメージを示します。 動作の流れ iPhone5sには、iBeac
Raspberry PiでFluentdを立ち上げてTDにデータを流してみた話 - komamitsu.log
一ヶ月程前に同僚である @doryokujin 先生からRaspberry Pi（面倒なので以下Pi）を頂いたのだけど、Piに必要なSDカードが手元に無くてすっかり放置していたのですが、満を持してSDカードを買ってきたのでちょっとPiを立ち上げてみた。という話を備忘録的に。 必要なもの（というかこれで間に合った、的なもの） USBケーブル RCAケーブル USBキーボード LANケーブル SDカード（SDHD 8GB） startxとか叩かなければUSBマウスは要らない。 Piの立ち上げ 準備に使った環境はMac OX 10.8.5 SDカードは挿してある状態 SDカードの/dev/disk番号を確認してunmount $ diskutil list /dev/disk0 : /dev/disk4 #: TYPE NAME
OSSで世界に挑む 在学中に起業し渡米 DWHクラウドを提供
ビッグデータに挑む世界中の企業が注目する日本製OSS（オープンソースソフトウエア）が、大量のログデータを高速で集める「fluentd（フルーエントディー）」だ。開発者の古橋貞之氏は、米国でトレジャーデータを共同起業。「DWH（データウエアハウス）クラウド」の開発を主導する。 米国ではプレゼン資料共有サービスのスライドシェアや、オンライン広告最適化技術を開発するコンテキストロジックが、分析用データの収集にfluentdを使い始めました。グリーやNHN Japanといった日本企業のほか、シンガポールの動画配信サービス「Viki」や中国のオンラインTV「PPTV」もfluentdのユーザーです。 fluentdは、様々なシステムが蓄えたログデータを「JSON」という分析に適した形式に変換したうえで、高速に集めるツールです。既存システムの多くは、分析に向かないテキスト形式でログデータを保存していま
Treasure Data Platform で始めるデータ分析入門 〜8. Data Visualization Patterns 〜 Part.1 - doryokujin's blog
Treasure Data Intro for Data Enthusiast!! from Takahiro Inoue 本シリーズではデータ分析を以下の7つのレイヤーに分解し，各々について解説していくものとします。（Slide Shareの資料は常時更新されます。） Data Collection Data Storage Data Management Data Processing Data Processing Design Part.1 Part.2 Part.3 Part.4 Part.5 Part.6 Data Visualization Treasure Viewer, MetricInsights, Tableau Data Visualization Patterns Part.1 Part.2 Part.3 本日は「7. Data Visulizations」の全
Home
2025 Dates Announced Data Council is heading back to the Bay! 📍 SF Bay Area 🗓️ April 22nd - 24th, 2025 The "No Bull💩" Data Community Since 2013 we've been bringing together the brightest minds in data to share insider industry knowledge, technical architectures and best practices on building the cutting-edge data processing systems and tools of the future.
Log Streaming At Hootsuite
In distributed systems, it makes your life much simpler if you stream all your logs in real-time to a central location. ActiveState's PaaS solution, Stackato, has had log streaming as a key feature, with Logyard, since 2012 and core Cloud Foundry now includes Loggregator. Hootsuite, is not a customer of ActiveState or a user of Cloud Foundry, but I often chat with them about how they are scaling t
TreasureDataってなんじゃ？
Treasure Dataはデータの収集、保存、管理、処理、可視化などを行えるログ解析の基盤サービスで、fluentdを使ってデータを収集し、hadoopで解析を行います。 自分も以前の記事で書きましたが、よくelasticsearch + kibanaや、splunkなどの部分がサービス化されているようなイメージです。 Treasure Dataについては、中の人が非常に詳しくブログで書かれています。 それでは実際に触ってみます。 ユーザー登録＆ログイン http://www.treasuredata.com/jp/products/try-it-now.php にアクセスして、サインアップのリンクをクリックします。 サインアップ画面が表示されるので、必要な情報を入力して登録します。 登録が終わると、確認メールが送られてくるので、確認リンクをクリックして登録完了です。 また、ログインする
株式会社リコーを退職しました - 月曜日までに考えておきます
2003年に新卒で入社し、10年以上お世話になった株式会社リコーを退職することになりました。 正式な退職日はまだ先なのですが、最終出社は2/7（金）でした。 無名エンジニアの個人レベル日記で、知り合い向けへのお知らせなので興味が無い人はスルー推奨です。内容が無いよー。 やってたこと リコーというとコピー機&プリンタのイメージが強いと思いますが、実はそれ以外のことも結構やっています。自分が直近でやっていたのは、「リコー ユニファイドコミュニケーションシステム」( http://www.ricoh.co.jp/ucs/ )というビデオ会議のシステムに関わっていました。こちらのAPIやWeb画面の設計開発、CIに携わっていました。 GitHubを使ってpull reqベースで進めるとか、Jenkinsのpipelineを組んでテスト〜デプロイの流れの構築とか、最近流行りの開発手法が経験できたのは
NSQ Docs 0.2.24-alpha - a realtime distributed messaging platform
a realtime distributed messaging platform by Matt Reiferson @imsnakes and Jehiah Czebotar @jehiah Introduction NSQ is a realtime distributed messaging platform designed to operate at bitly’s scale, handling billions of messages per day (current peak of 90k+ messages per second). It promotes distributed and decentralized topologies without single points of failure, enabling fault tolerance and high
fluentd(td-agent) の導入 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 Rubyfluentdtd-agentlog はじめまして。開発チームの yuzuki です。 7/1に弊社の 決済サービスPaid（ペイド） のサーバー群へ ログ集約の改善を目的として導入した fluentd(td-agent) の導入手順などをまとめてみました。 ログ集約を改善する動機 弊社ではこれまで（今も大部分は） cron + rsync を使い、週次バッチでWebサーバー上のログファイルをファイルサーバーへ転送することで一応の集約をさせてきました。 （集約というよりはバックアップといった意味合いの方が強いかもしれません） サーバー台数が少なかった頃はこの仕組みでも特に大きな問題はなかったと思いますが、 サービスの成長にあわせて、サーバー台数が増え
![fluentd(td-agent) の導入 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/13cbb956f277bb369e639692ef1987a2efa4d0df/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2018%2F04%2Ff0e4ac3a.png)
Data Wrangler
Wrangler is an interactive tool for data cleaning and transformation. Spend less time formatting and more time analyzing your data. UPDATE: The Stanford/Berkeley Wrangler research project is complete, and the software is no longer actively supported. Instead, we have started a commercial venture, Trifacta. For the most recent version of the tool, see the free Trifacta Wrangler. Why wrangle? Too mu
増えるログ、多様化するログをどう効率的に運用するか
増えるログ、多様化するログをどう効率的に運用するか：今さら聞けないfluentd～クラウド時代のログ管理入門（1）（1/2 ページ） 仮想化やクラウド化、モバイル化の進展に伴い、管理すべきログが多様化・肥大化しています。そんな中でも効率よく、意味のあるログ管理を実現するツールとして注目されている「fluentd」を、これから始めたい方のために一から解説します。 システムを安定して効率良く運用していくために、ログ管理は欠かせない要素の1つです。仮想化やクラウド化、モバイル化の進展につれてシステムはますます大規模化し、それに伴い管理すべきログが多様化・肥大化する傾向にあります。 fluentdはこういった中でも、効率よく、意味のあるログ管理を実現するために非常に有用なツールです。本連載では、fluentdの基本と具体的な活用方法を紹介します。 ログ管理の現状と課題 環境の仮想化・クラウド化、さ
Amazon Staff Meetings: “No Powerpoint” - Moving People to Action
“We have study hall at the beginning of our meetings.” says Jeff Bezos. Staff meetings at Amazon begin with 30 minutes of silent reading. Powerpoint is easy for presenter, hard for audience Jeff Bezos of Amazon “The traditional kind of corporate meeting starts with a presentation. Somebody gets up in front of the room and presents with a powerpoint presentation, some type of slide show. In our vi
IaaS型クラウド「さくらのクラウド」 | さくらインターネット
アプリケーションとサービス さくらのクラウドと併せて利用できる様々なアプリケーションやサービスです。
fluentdを勉強中 - 世界線航跡蔵
最近はlog collectionというと fluentd が話題らしいというので、少し触り始めている。 多少は分かってきたように思うので理解したことと、理解できていないところをまとめてみようと思う。 fluentdとは何か オフィシャルサイトには"tool to collect events and log"と書いてある。 要するに、サーバー群から継続的に情報を吸い上げるための仕組みを提供するdaemonである。 この「情報をかき集める」という枠組みは今時のサーバーサイドでは頻出パターンだ。 データベースサーバ、アプリケーションサーバー、フロントエンドキャッシュサーバー, ...と役割分担をするのが普通だし、 アプリケーションサーバーだって負荷分散のために複数インスタンスを持つのが当たり前だ。 そしてこれらサーバー群をきちんと管理するためには様々な情報をかき集めてきて一カ所に保存したり集
ScaleOut | Supership
2024年4月1日より、Supership株式会社は親会社であるSupershipホールディングス株式会社に吸収合併されました。 合併に伴い、存続会社であるSupershipホールディングスは社名をSupershipに変更し、新たな経営体制を発足しました。本件に関する詳細は、プレスリリースをご確認ください。 2024年4月1日より、Supership株式会社は親会社であるSupershipホールディングス株式会社に吸収合併されました。 合併に伴い、存続会社であるSupershipホールディングスは社名をSupershipに変更し、新たな経営体制を発足しました。 本件に関する詳細は、プレスリリースをご確認ください。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd Loves Riak: Robust Log Collection with a Robust NoSQL Backend
Metric Insights: Powering The Business Intelligence 3.0 Revolution
The Hard Thing About Hard Things
Page Not Found