データ分析基盤を支える技術 - YAPC::Asia Tokyo 2015データ分析の話はそこかしこで行われてますが，それを俯瞰する話はあまりないようなので，ここらで一つ色々とまとめて喋りたいと思います．また，Treasure Dataで得た経験をもとに，機能だけでなくデータ分析基盤でよく要求される要素についても，いくつかの視点を交えて言及したいと思います． 話したいトピックリスト． データ分析の需要 データ分析の流れ データ分析基盤に使われるソフトウェア / サービス オンプレミス: Hadoop, Spark, Presto, Impala, etc クラウド: Treasure Data, BigQuery, Redshift, EMR, etc データ収集/同期: Fluentd, Embulk, Sqoop, etc ストリーム処理系: Storm, Norikra, Dataflow, etc キュー: Kafka, Amazon Kinesis,
