Treasure Dataのスケジュールジョブをコードで管理するPendulumというgemをつくった
Treasure Dataに収集したデータを集計・出力するためにジョブをスケジュール登録するにあたり、ブラウザコンソールやAPIから直接行うと履歴管理やレビューができないといった課題を解決するために Pendulum というgemをつくりました。 PendulumはDSLで記述された定義に従い、Treasure Dataのスケジュールジョブを管理します。 定義ファイルをGit管理することで、履歴管理やGitHubと連携したコードレビューが可能になります。 余談ですが、Pendulumは振り子という意味で、定期的な実行という意味と宝探しのダウジング的な意味から連想しています。ペンデュラム。響きがカッコイイ。 使い方 Schedfileという名前で定義ファイルを用意して、 schedule 'my-schedule-job' do database 'db_name' query 'selec
Treasure Data Platform で始めるデータ分析入門 〜1. イントロダクション〜 - doryokujin's blog
はじめに これから全7回に渡ってTreasure Data Platformを使ったデータ分析の紹介をします。教科書はこちらになります。 Treasure Data Intro for Data Enthusiast!! from Takahiro Inoue 本シリーズの目的は2つ。 Treasure Data Platform Service の概要を理解してもらう。 本シリーズを理解すればデータ分析が誰でも容易にレポーティングが可能になる。 今やデータサイエンティスト() という言葉は，高度な分析手法を駆使してあらゆる問題を解決するプロフェッショナル集団という響きがありますが，それは本質ではありません。データサイエンティストの本質は， 意思決定者（経営者，ディレクター，マネージャー）が容易に理解できるようなシンプルかつ説得力のある分析結果を提供することができること， データ収集からレ
Treasure Agent MonitoringをProduction環境で使い始めた件 - pixiv engineering blog
あけましておめでとうございます。最近ジョインした新兵の @bash0C7です。広告系の技術サイドを担当しています。 新年一発目のエントリーとして、昨年末にbetaリリースされたTreasure Agent Monitoringを速攻でProduction環境で使い始めている件について共有します。 Treasure Agent Monitoringとは Treasure Data社が提供している、Fluentd/td-agentのモニタリングサービスです。 2013/12/13開催のFluentd Casual Talks #3で発表され、同日よりベータリリース中です。 詳細はベータリリースのアナウンススライドをご覧ください。 セットアップ方法 fluentd-plugin-for-td-monitoringのgithubのREADMEをご参照ください。 プラグインとして提供されているので、
Big Sky :: Golang で Treasure Data のライブラリ書いた。
Treasure Data の REST API をコールするライブラリを書いた。 REST API | Treasure Data REST API The user can control Treasure Data using the public REST API. This article will explain how... http://docs.treasure-data.com/articles/rest-api mattn/go-treasuredata ・ GitHub https://github.com/mattn/go-treasuredata 使い方はこんな感じ。 client := treasuredata.NewClient("TREASUREDATA-API-KEY") job, _ := client.JobIssueHive("mydb", "se
Treasure Dataのサービスはクラウド上でどう構築されているのか（後編）～July Tech Festa 2013
Treasure Dataのサービスはクラウド上でどう構築されているのか（後編）～July Tech Festa 2013 Treasure Dataといえば、日本人がシリコンバレーで創業したベンチャーとして知られている企業。そのシニアソフトウェアエンジニア中川真宏氏が、7月14日に行われたJuly Tech Festa 2013の基調講演で、同社がクラウド上で構築したサービスについてそのアーキテクチャを中心に解説を行っています。 この記事は「Treasure Dataのサービスはクラウド上でどう構築されているのか（前編）～Japan Tech Festa 2013」の続きです。 データを解析する「Plazma」の仕組み データを解析するところでは「Plazma」と呼ぶ、Hadoopのエコシステムとカラムストアなどを組み合わせたものを用いています。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Treasure Dataを支える技術 - MessagePack編