突然の大量データ分析奮闘記 - Qiita

この記事は CrowdWorks Advent Calendar 2017 20日目の記事です。 はじめに クラウドワークスでエンジニアをしている @yosu と @ToruIwashita です。 普段は主にCrowdWorksのアプリケーション基盤に関わる開発を行っています。 そんな中で最近、短期間で大量なデータを対象に複雑なデータ分析を行う必要がありました。 その際、普段のデータ分析では行わないような試行錯誤を経験したため、この記事ではそのとき起きたことを書いていきたいと思います。 背景 CrowdWorksではデータベースとしてMySQLを利用し、そのテーブル数は400超、総レコード数は数億あります。 このうち一部のデータはRedshiftに同期されていて、普段カジュアルにデータ分析したい場合はRedashを通してクエリを実行し、グラフ化、ダッシュボードの作成を行っています。 クラ

[masa-wo]

Bricolage か。

[khtno73]

列指向クラウドDBに大量データぶち込んだ結果、サマリ表に日次バッチ更新とはメインフレーム時代への先祖返りのよう。正直ジョブ数100超のETLは引き継ぎたくないからDataSpiderを社長におねだりしたい。https://goo.gl/pjSr7z