この記事は CrowdWorks Advent Calendar 2017 20日目の記事です。 はじめに クラウドワークスでエンジニアをしている @yosu と @ToruIwashita です。 普段は主にCrowdWorksのアプリケーション基盤に関わる開発を行っています。 そんな中で最近、短期間で大量なデータを対象に複雑なデータ分析を行う必要がありました。 その際、普段のデータ分析では行わないような試行錯誤を経験したため、この記事ではそのとき起きたことを書いていきたいと思います。 背景 CrowdWorksではデータベースとしてMySQLを利用し、そのテーブル数は400超、総レコード数は数億あります。 このうち一部のデータはRedshiftに同期されていて、普段カジュアルにデータ分析したい場合はRedashを通してクエリを実行し、グラフ化、ダッシュボードの作成を行っています。 クラ
![突然の大量データ分析奮闘記 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/40b1b4633089dd286b4cdfe3f8ba78cc4dc8a086/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUU3JUFBJTgxJUU3JTg0JUI2JUUzJTgxJUFFJUU1JUE0JUE3JUU5JTg3JThGJUUzJTgzJTg3JUUzJTgzJUJDJUUzJTgyJUJGJUU1JTg4JTg2JUU2JTlFJTkwJUU1JUE1JUFFJUU5JTk3JTk4JUU4JUE4JTk4JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1hNzc5ZTk0MWYxYzdiNDI0ZWUxNmVlMDJiZTgxYjlkZg%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDB5b3N1JnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1iOWNmMzc4NTk2NzJiOTRhOGY5NzVjZTJjMzU2YzJmNw%26blend-x%3D120%26blend-y%3D500%26blend-mode%3Dnormal%26s%3Da4e4dddf7245a3be2ac2cc380fb0ceef)