最近、データ分析基盤を設計するに当たっての考え方を整理する必要があって、要件に応じたデータ分析基盤を設計するに当たっての基本的な考え方は何かを考えています。 近年、データ分析基盤はデータ収集ソフトウェア、データストア、分析処理、分析処理の利用方法などなど、検討すべき項目が多くなり、この辺りの技術の流れを把握している人は当然のように設計を行うことができますが、そうでない人に取っては、どこから検討を始めるべきかわかりにくくなっているように思います。 自分の中でも、これがうまく言語化できておらず人に教えようと思っても、結構詰まってしまうので、ブログで言語化してみる次第です。 最近のデータ分析基盤の基本は「Scheme on Read」型のアーキテクチャ 最近のインターネット上で見るデータ分析のアーキテクチャは、データをデータソースから収集したのち、最低限の加工(ログをフィールドごとに区切るなど)
![データ分析基盤の「Scheme on Write」から「Scheme on Read」への転換についてのメモ(暫定版) - 双六工場日誌](https://cdn-ak-scissors.b.st-hatena.com/image/square/8fe23ccd3e77f5fad2e924f23d22ad8759ce31c8/height=288;version=1;width=512/http%3A%2F%2Fecx.images-amazon.com%2Fimages%2FI%2F51W2TKD0PPL.jpg)