はてなブックマーク

Python and Treasure Data トレジャーデータでは、何よりも分析者、意思決定者のデータ分析を楽にすることをビジョンとしています。SQLで生データを触れる当社サービスですが、より込み入った分析をしたり、既存のスクリプトやツール群を活かそうと考えると、どうしてもRやPythonに手を伸ばしたくなります。 Rに関してはJDBCドライバーから接続することができ、実際お客様にもご利用いただいているのですが、そういえばPythonからどうやるんだったっけなと先日ふと思いまして、ちょっと調べてみたところ、衝撃的な事実が発覚しました。 トレジャーデータにはPython Clientがない！（UPDATE: うちのエースpythonistaが作りました) サードパーティーのがあるかなと探してみたりもしましたがありません。これでは、Python/Pandasを十八番としているデータサイエン

Treasure Agentをさらに使いやすく ご存知の方も多いかと思いますが、トレジャーデータ社では、out_tdプラグインを使うことで、Fluentdから簡単にデータを流し込めるようになっています。これはHeroku上でも動くようになっており、heroku-td-agentとして公開されています。 ただこれ、意外と面倒くさいです。具体的には Treasure Dataのアカウントを持っていることが前提。 そしてAPIキーをメモ。 GitHubのHerokuアプリをクローンしてきて bundle install... あああああああああああああああああああ、やってられるかボケえぇぇぇ!!!! これではいかん。せっかくHerokuという、ソフトウェアのデプロイを抹殺してくれたプラットフォームにいるんだ。その恩恵を100％受けてやろうじゃないか。 #出ましたTreasure Agent He

と書くとNoneパーサ（まったくパースせず、一行そのまま"message"というキーにぶち込むパーサです）が走ります。 これらの実装に関しては/lib/fluent/parser.rbを読むと幸せになれるかもしれません。 ちなみにデフォルトでは以下のパーサが入っています： format apache_error: Apacheエラーログパーサ format apache2: Apache2アクセスログパーサ。apacheってのもあるが違いがわからず… format syslog: いわゆるsyslogをよしなにパース。 format json: インプットをそのままJSONとみなしてパース。 format tsv: いわゆるtsv。keysを指定することでJSONに変換。 format ltsv:　みんな大好きltsv。 format csv: みんな大嫌いcsv。やはりkeysを指定。