ドリコムを支えるデータ分析基盤がTD+AWSに移行した話 - かにぱんのなく頃に
はじめに これは ドリコムAdventCalendar の7日目です 6日目は、keiichironaganoさんによる iTunes 使用許諾更新のとき一旦キャンセルしてほしい話 です 【その2】ドリコム Advent Calendar 2015 もあります 自己紹介 @ka_nipan 去年の ドリコムを支えるデータ分析基盤 に引き続き、今年もドリコムのデータ分析基盤を担当しています。 分析基盤をTreasure Dataに移行 オンプレ環境の Hadoop からTreasure Data に移行しました。 また、ジョブ管理ツールやBIツールといったサーバーもAmazon EC2 に移行しており、 徐々にオンプレ環境を離れつつあります。 背景 オンプレ環境で Hadoop を運用して3年も経つと考えなければならないのが HW の寿命です。 さてどうしようかとなった時に、ほぼ迷いなく外部
TreasureDataとPandasとJupyterでインタラクティブにデータを可視化する。 - Qiita
サインアップ こちらのページからサインアップを行います。現在のところ、14日間のトライアル期間があるため、その間はPrestoを利用することが可能です。 Pandasは、公式から引用すると、下記みたいな感じのツールです。 pandas is an open source, BSD-licensed library providing high-performance, easy-to-use data structures and data analysis tools for the Python programming language. Pythonのインストール Ubuntu14.04ではPython3.4が入っているが、python3がエイリアスになっていたりして、面倒なので、pyenvで環境構築を行います。 参考: http://qiita.com/akito1986/item
Treasure Data and AWS - Developers.io 2015
This document discusses Treasure Data's data architecture. It describes how Treasure Data collects and imports log data using Fluentd. The data is stored in columnar format in S3 and metadata is stored in PostgreSQL. Treasure Data uses Presto to enable fast analytics on the large datasets. The document provides details on the import process, storage, partitioning, and optimizations to improve quer
[まとめ] トレジャーデータ事例活用セミナー
2014年06月13日に開催したトレジャーデータ事例活用セミナーのまとめです。詳細な内容をツイートして頂いた @suzuki さんに大変感謝しております。 資料公開中： トレジャーデータ事例集 1.「オンラインゲームソリューション」 - トレジャーデータ（Treasure Data）公式ブログ http://t.co/JZmNW4hf7F
![[まとめ] トレジャーデータ事例活用セミナー](https://cdn-ak-scissors.b.st-hatena.com/image/square/4bb72a4fbab4750862d7b9d311d847a7971929a1/height=288;version=1;width=512/https%3A%2F%2Fs.togetter.com%2Fogp2%2F6643e9a593bc27782caa704ff1d8b634-1200x630.png)
Treasure Dataでの大容量データベンチマーク - Qiita
あふれるデータ 会社で、Treasure Dataを使った分析システムを作っている。ゲーム情報を収集して、ユーザーの体験向上に役立てるためだ。そのため、ユーザーの行動を細かく把握する必要がある。勢いデータ容量は増えてしまう。加えて、オンラインのゲームは、パッケージゲームと違い売って終わりではなく、その後何年にも渡って、サービスを提供する。そのため、ユーザーの行動ログは数億件に達することも珍しくない。 Treasure Dataでのログ分析 先に書いたが、大量のログに対応するため、hadoopを利用した問題解決が様々な企業から提供され始めている。タイトルに有るTreasure Dataもその企業の一つだ。こちらからは、ログを送るだけでhadoopやhiveを用いた分析環境を提供してくれる。一方で、こちらが分析機材を用意するわけではないため、どのくらいの速度で分析できるかわからない。特に複雑な
Treasure Dataが何の告知も無く突然価格を10倍に値上げした件について
日本人の有名な技術者たちが起業したとして話題のTreasure Data(トレジャーデータ)。最近日本市場に向けた販売強化をすると発表した。だが以前からずっと日本企業相手にビジネスやってきていたはずだ。過去にリクナビなどで広告記事も見た。なぜ今さら発表? と不思議に思っていたら、以前に比べて価格が大幅に値上がりしていることに気がついた。 現在の最低価格は2TB上限で月3000ドルだ(http://www.treasure-data.com/pricing/)。無料のメニューもあるが、1ヶ月に60クエリまでしか実行できないので、企業で使うなら事実上有料のメニューしか選択肢が無いと考えて良い。 だが実は、つい最近までTreasure Dataには月29ドル、月299ドルのメニューがあったのだ。Internet Archiveには4月11日時点の記録があった。これを見ると、500GB上限の月29
サイオスと米Treasure Dataとビッグデータ分析のクラウドサービスで提携 | ニコニコニュース
サイオステクノロジー(以下、サイオス)は10月29日、米Treasure Dataと、ビッグデータの活用を容易にするクラウドサービス「Treasure Data Cloud Data Warehousing Service(以下、Treasure Data Service)」の販売パートナー契約を締結し、国内での販売を開始すると発表した。 このサービスは、WebアプリケーションのアクセスログやGPSデータといった非構造化データを含む大規模データを蓄積して活用するためのシステムをクラウドサービスとして実現することにより、高度な専門知識を持たないより多くの企業が容易に導入できる大規模データ活用のための基盤を提供するもの。 また、Treasure Dataが開発し、オープンソースソフトウェアとして公開しているアプリケーションのログ収集機能「Fluentd」により、ユーザは容易にTreasure
日本を代表するビッグデータ技術者集団が米国で起業、米トレジャーデータがDWHクラウド開始
写真2●トレジャーデータのメンバー。CEOは米レッドハットなどで勤務した芳川裕誠氏。CTOの太田一樹氏はプリファードインフラストラクチャーの前CTO。楽天で分散キー・バリュー・ストアのROMAを開発した西澤無我氏、OSSのログ収集ツールFluentdやメッセージングミドルウエアMessagePackを開発した古橋貞之氏、MongoDB JPの設立メンバー井上敬浩氏などが参加している 米トレジャーデータは2012年9月27日（米国時間）、データウエアハウス（DWH）のクラウドサービスである「Treasure Data Cloud Data Warehouse（DWH） Service」を開始したと発表した。「Hadoop」をベースにしたDWHだが、Hadoop独自の「MapReduce」ではなく、SQLのクエリーや「JDBC」「ODBC」などを使って蓄積したデータを活用できることが特徴。米国
Cookpad Case Study | Treasure Data Blog
Cookpad Case Study Cookpad.com (TYO:2193) is Japan’s No.1 recipe website. With more than fifteen million users and one million online recipes, Cookpad.com dominates the market of recipe search and sharing. In fact, according to Cookpad.com’s internal research, 50% of Japanese women in their 20s and 30s use Cookpad.com as their primary source of recipes and cooking advice. So, how does Cookpad.com
Treasure Data Analytics 第1回 〜Treasure Data Cloud Warehouse について（前編）〜 - doryokujin's blog
はじめに Treasure Data Analytics シリーズは，Treasure Data の提供するクラウドサービス上で実行可能な様々なデータアナリティクスのユースケースなどを紹介して行く長いシリーズです。第1回および第2回では「Treasure Data」とは何か，またその特徴およびメリットは何かについて紹介する予定です。 第1回では Treasure Data の提供する Cloud Data Warehouse サービスのイントロダクションを，第2回では「データアナリティクスを行うための Platform とは」という観点で Treasure Data の魅力をお伝えできればと思っています。 ※ なお Treasure Data は高度なインフラ・ソフトウェアテクノロジーを駆使しておりますが，本シリーズはデータアナリティクスを主眼においており，このサービスを支えるインフラ基盤
Hadoop and the Data Scientist
Beginner must-see! A future that can be opened by learning HadoopDataWorks Summit
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Expanding CloudBees Partner Ecosystem Puts More Services in the Hands of Developers | CloudBees
Five Criteria of Next Generation Data Warehouse | Treasure Data Blog