訳者まえがき 原著者の Chris Riccomini の許可を得て以下の記事を翻訳・公開しました。 riccomini.name 下記より記事翻訳本文です。 データエンジニアリングの未来 私は最近、近頃のデータエンジニアリングがこれまで来た道について、また、この分野の仕事の将来について考えてきました。考えのほとんどは、私たちのチームが WePay で実践していることを背景にしています。その一方、以下に述べる考えは普遍的で、共有する価値があるものと思っています。 データエンジニアリングの仕事は、組織におけるデータの移動と処理を支援することです。これには、一般的に、データパイプラインとデータウェアハウスという2つの異なるシステムが必要です。データパイプラインはデータの移動を担当し、データウェアハウスはデータの処理を担当します。これは、やや過度に単純化しています。バッチ処理とストリーム処理では
![(翻訳) データエンジニアリングの未来 - satoshihirose.log](https://cdn-ak-scissors.b.st-hatena.com/image/square/a1caeeb512165b827df9b46e2e0c7d8e5a64b070/height=288;version=1;width=512/https%3A%2F%2Friccomini.name%2Fassets%2Fimages%2F2019-07-29-future-data-engineering%2Fmathilda-khoo-HLA3TAFQuQs-unsplash.jpg)