Prestoでhistogram関数を使って可視化したいときのクエリ（on TreasureData） - Qiita
Prestoには、Histgram関数がありますが、返値がMap型になっています。 なので、その結果をどこかに書き出したいと思ってもイマイチ使いづらいです。 SELECT method, histogram(code) AS hist FROM www_access GROUP BY method こうしたときには、Mapの値を展開して、フラっトな形に直したいです。 そのためには、下記の関数を使います。 map_keys(x) map_values(x) https://prestodb.io/docs/current/functions/map.html unnest https://prestodb.io/docs/current/sql/select.html#unnest そんでもって、下のようなクエリを書きます。 With句のhist_tableでヒストグラムを作って、split
メモ Stable large scale Presto cluster #tdtech - by shigemk2
Presto In TD TD API BI Tool HTTP から、クエリを投げる。 prestobase proxy node schedular(presto) resource group Prestobase proxy JDBC/ODBCはいけていない リプレイスするためのPrestobase Proxy HTTP接続するときにPrestoが使える Scalaで書かれている Finagle(RPC proxy)がコア Dockerコンテナ上で動いている Airframe VCR 軽量テストフレームワーク Finagle 実績がある クライアント/サーバのインターフェイスが透過的に使える サービス提供側からするとドライバからもPresto側からも嬉しい プロトコルは問われない 詳細な使い方はドキュメントを見ること Presto Clientで投げる DIしたかったがScalaで
トレジャーデータ、今後はDMPからLDMへ、新サービスTreasure Workflowも発表
トレジャーデータは12月8日、「ライブ・データ・マネージメント（LiveData Management：LDM）への取り組みに関する説明会を開催した。 同社によれば、「LDM」とは、サイロ化されたすべてのデータを繋ぎ、よどみなく企業やシステムが簡単に活用することで、DMP（Data Management Platform）を拡張させた概念。ライブとは「企業が生き残る」ということを意味しているという。 トレジャーデータ マーケティングディレクター 堀内健后氏は「これからトレジャーデータを、ライブデータマネージメントの会社として認識してもらえるようにしていきたい」と述べた。 そしてその背景を「トレジャーデータのユーザー数は指数的に増えており、現在250社程度の企業の70兆件のデータに利用してもらっている。一方、企業データは部門ごとのサイロ化されており、一人の顧客に同じ企業の複数のシステムからア
Treasure Data Launches Treasure Workflow to Better Manage Data Workflow for Enterprises with Multi-Cloud Infrastructure - Treasure Data
Creator of First-Ever Live Data Management Platform Now Allows Teams to Collect, Transport, and Analyze Data Seamlessly Across Multiple-Vendor Cloud Infrastructures from AWS, Google, Microsoft, and More MOUNTAIN VIEW, CALIF. (PRWEB) NOVEMBER 29, 2016 Treasure Data, providers of the first Live Data Management platform to make all data connected, current, and easily accessible, today announced the g
Treasure Data インターンで最高の夏過ごしてきた #td_intern - memo-mode
8月1日から9月30日の間，Treasure Data Summer Intern 2016に参加していました． 他のインターン生2人からの強烈なプレッシャー (強烈なプレッシャー1，強烈なプレッシャー２)に負けたので僕もインターンブログを書きます． tl;dr すごいメンターの元 Fluentd の開発してると何故かめっちゃお金がもらえるインターンでとにかく最高 なにやってたの？ キュートなロゴ Fluentd というソフトウェアの v0.14 向けの機能を，メンターの @tagomoris さんの元，開発しました．具体的に行ったことは以下のようになります（スライドからそのまま持ってきただけですが）． 6 features Counter API (Not merged yet) Data compression in buffer plugins and forward plugins
Enhance your Google BigQuery with Treasure Data Result Output. - Treasure Data Blog
Enhance your Google BigQuery with Treasure Data Result Output Enhance your Google BigQuery with Treasure Data Result Output Last modified: August 15, 2019 Stay tuned for our video of this integration! Google BigQuery is the choice for many. It’s the go-to for interactive analysis of enormous datasets and can process billions of rows in seconds. With no infrastructure to manage and the need fo
EmbulkとDigdagとデータ分析基盤と
2. WHO AM I ? • Toru Takahashi (@nora96o) • Treasure Data, Inc. • Support Engineering Manager • メールにチャットに、ブログ書いたり、コードを書いたり、 • http://qiita.com/toru-takahashi • 気づくと、社会人４年目に突入・・・ 2 3. 質問です！ • Treasure Data を 知っている人は ？ • Fluentd を 知っている人は ？ • Embulkを知っている人は？ • Digdagを聞いたことがある人は？ • インフラ / 分析基盤 を普段から運用や開発をしている人は？ • iOS / Android / Unity / フロントエンドの人は？ 3
Treasure Data 2015サマーインターンに参加した - Qiita
はじめに 2015年夏休みにTreasure dataのSummer Internshipに参加しました。 忙しさにかまけて原稿を公開していませんでしたが、今年もインターンの募集がされているようなので今公開します！ インフラ/OSS系と機械学習の枠があり、自分は機械学習の枠で参加したので、インターン中の生活と取り組んだタスクの概要をシェアします。 場所など 期間：8月3日 - 9月30日 オフィス：丸ビル34階 週5日(11:00 - 19:00) インターン生活 インターンを通じて大体以下のようなサイクルで生活していました。 11:00 出社 12:15あたり お昼ごはん 19:30 退社 お昼ごはんは無料で食べることができました。 火曜はカレーで、どの曜日もおいしかったです。特に月曜と木曜日が自分は好きでした。 金曜日は外にご飯を食べに行く日で、他のインターン生と丸ビル内にご飯を食べに
Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag | DevelopersIO
Digdag が Apache License 2.0 の元でオープンソース化されましたよ！ さぁ試すんだ…！ 今すぐにでも！ https://t.co/Uzc4a5GLCe ドキュメント：https://t.co/PF8wy5KHln — Sadayuki Furuhashi (@frsyuki) 2016年6月15日 という訳で試してみました。注目度の高かったワークフローエンジン『Digdag』がついにOSS化されました！Githubリポジトリ及びドキュメントは以下となります。 treasure-data/digdag: Workload Automation System Getting started — Digdag 0.8 documentation 目次 インストール 環境の準備 Digdagのインストール実施 その他ドキュメントの内容について Digdagサンプルワークフロ
Hivemallを利用した機械学習実践入門 （第一回: ドラッグストアのセールス予測） - トレジャーデータ（Treasure Data）ブログ
本特集では、Treasure Data環境で利用可能な機械学習ライブラリHivemallを利用した機械学習の実践方法を紹介します。世界のデータサイエンティストが腕を競うデータサイエンスコンペティションサイトKaggleの中から、実践的な課題を扱っていきます。 1. はじめに 第一回は小売業の売り上げ予測するタスクであるRossmann Store Salesコンペティションを課題に用います。アルゴリズムとしては、決定木を利用したアンサンブル学習手法の一種であるRandom Forest回帰を利用します*1。 Rossmannはヨーロッパの７カ国で3,000以上の店舗を展開する薬局チェーンです。各店舗のマネージャーは6週間先までの店舗の売り上げを予測することがタスクとして課されています。各店舗の売り上げはプロモーション活動、競合要素、学校の休みや祝日、季節性、地域性など様々な要因に左右されま
トレジャーデータ、機械学習ライブラリを提供開始～複雑なプログラミング不要で機械学習の処理を可能に
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
Data Analytics Service Company and Its Ruby Usage
Treasure Data is a data analytics service company that makes heavy use of Ruby in its platform and services. It uses Ruby for components like Fluentd (log collection), Embulk (data loading), scheduling, and its Rails-based API and console. Java and JRuby are also used for components involving Hadoop and Presto processing. The company's architecture includes collectors that ingest data, a PlazmaDB
Treasure Data に入社しました - 2015-05-18 - はてなるせだいあり
今日から Treasure Data で働くことになりました。 前職が一段落して（退職エントリ）転職を考えた時に、ちょうどtagomorisさんが何社も回った末にTreasure Dataに決めていたので、TDにしました。 … もちろん物事を決めるときに理由はいくつもあるわけでして、 OSS開発者として暮らしやすそう Twitterを勤務時間中にできるとかそのほかもろもろ 知り合いの有無 何を目指しているかわかりやすい 目指しているところが不明瞭だと迷走しやすい気がする これからの成長の余地が大きそう Ruby開発に際してビッグユーザーであるTreasure Dataのユースケースを得たかった あと、AmazonやGoogle、Microsoftと戦って、その戦う武器がOSSってのがよいですね。OSS派の旗を降ろせる条件がめちゃくちゃ厳しいのがよいです。 ちなみに今心配なことは、みんなも気
Hivemall Talk at TD tech talk #3
This document discusses a technical talk given by Makoto Yui at Treasure Data on May 14, 2015. The talk introduces Hivemall, an open source machine learning library built on Apache Hive. Yui explains how Hivemall allows machine learning to be performed using SQL, making it easy for developers to use. The talk covers how to use Hivemall for tasks like data preparation, feature engineering, model tr
【超入門】Hivemallで機械学習 〜Treasure Dataでロジスティック回帰編〜 | DACエンジニアブログ：アドテクゑびす界
こんにちは。俺やで。 ビッグデータとかデータサイエンティストとかいう言葉が未だブームですね。 （「データサイエンティスト」は下火か。） ビッグデータ扱えるエンジニアも、 統計解析ができるアナリストも、 どっちもできるスーパーマンも世の中にはたくさんいますが、 ビッグデータも統計解析も扱えるインフラは多くはない現状です。 そこで！ この記事では、 ビッグデータに対応したHiveで使える機械学習ライブラリ、 「Hivemall」の使い方を学ぼうじゃないか！ という志をたくさん表現するべく書いています。 そして統計やるんだったら、 初歩的だけどおもしろいロジスティック回帰がいいだろうなと、 これを取り上げました！ ちなみにですが、 あくまで「Hivemallの使い方」に重きを置くので、 統計云々みたいな深い話は最低限しかしません。 あとTreasureDataで試させていただきました。 いつもお
Treasure Dataに入社しました - かみぽわーる
近況などをブログに書いたことはなかったんですが、4月からTreasure Dataで働くことになりました。 3月に新しい仕事を探してたタイミングでちょうど声をかけてもらって、他に誘ってくれてるところもあっていろいろ考えたんですけど、今まで自分がやってたWeb屋さんとは結構ちがう専門的なプロダクトが面白そうだったこと、話してみてエンジニアリング上の解決したい課題についてすごく具体的にいろいろ話してくれたので、畑違いな気もするけどやれることは結構ありそうだなとイメージできたので入社することにしました。 あとは声をかけてくれるのが2週間遅かったら他のところに決めちゃってたので、お互いのタイミングが合ってたことで自分が想像していなかった選択肢が生まれたことにも面白さを感じて、まあこれも自分の中のひとつのチャレンジだと思って返事をしたという感じです。 HadoopもFluentdもよく分からんしSl
トレジャーデータで実践：Path 分析（前編） - トレジャーデータ（Treasure Data）ブログ
トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 はじめに トレジャーデータで実戦可能なパス分析ソリューションは，主にWebや広告業界向けのコンバージョン分析の応用（コンバージョン「パス」に主眼をおいた分析を行うもの）と位置付けられます。 パス分析のアイデアは新しいものではなく，むしろはるか前から多くのマーケットのニーズとして捉えられていたものです。 しかしながら現在行われているパス分析は，Google Analytics や SiteCatalyst などのUIを通じて見れるもので，より業界にピンポイントな，または詳細なパスを見るといったかゆいところまでには手が届きませんでした。 ここではトレジャーデータで実践可能なパス分析に関して，Treasure Data Web Site のアクセスログを材料として具体的に解説していきます。 パス分析とは 1. 点分析 ま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Blogger
GitHub - treasure-data/perfectqueue: Highly available distributed queue built on RDBMS
GitHub - treasure-data/perfectsched: Highly available distributed cron built on RDBMS
