yassan0627のブックマーク - はてなブックマーク

(翻訳) データエンジニアリングの未来 - satoshihirose.log
訳者まえがき原著者の Chris Riccomini の許可を得て以下の記事を翻訳・公開しました。 riccomini.name 下記より記事翻訳本文です。データエンジニアリングの未来私は最近、近頃のデータエンジニアリングがこれまで来た道について、また、この分野の仕事の将来について考えてきました。考えのほとんどは、私たちのチームが WePay で実践していることを背景にしています。その一方、以下に述べる考えは普遍的で、共有する価値があるものと思っています。データエンジニアリングの仕事は、組織におけるデータの移動と処理を支援することです。これには、一般的に、データパイプラインとデータウェアハウスという2つの異なるシステムが必要です。データパイプラインはデータの移動を担当し、データウェアハウスはデータの処理を担当します。これは、やや過度に単純化しています。バッチ処理とストリーム処理では
yassan0627 2019/09/16
データ
リンク
(翻訳) データエンジニアの始まり - satoshihirose.log
訳者まえがき原著者 Maxime Beauchemin の許可を得て以下の記事を翻訳・公開しました。 medium.freecodecamp.org 原著者は、Apache Airflow や Apache Superset のクリエーターで、現在は Lyft で Data Engineer をしています。データエンジニアの始まり（翻訳）私は 2011 年にBIエンジニアとしてFacebookに入社しました。2013年に退職するときには、私はデータエンジニアでした。昇進もしくは新しい役割に就いたわけではありません。そうではなく、Facebookは、私たちが行っていた仕事が伝統的なBIを超えていたことに気づいたのです。私たち自身のために作り出した役割は、まったく新しい専門分野でした。私のチームはこの変革の最前線にいました。私たちは新しいスキル、新しいやりかた、新しいツール開発し、そ
yassan0627 2019/08/30
エンジニア
リンク
(翻訳) データエンジニアの没落 - satoshihirose.log
訳者まえがき下記の翻訳記事と対になる、データエンジニアの役割についての記事を翻訳しました。 satoshihirose.hateblo.jp オリジナルの記事は下記のリンク先のもので、原著者は上記記事と同様に、Apache Airflow や Apache Superset のクリエーターで現在は Lyft で Data Engineer をしている Maxime Beauchemin です。 medium.com 以下から、翻訳記事の内容です。データエンジニアの没落（翻訳）この記事では、データエンジニアリングを定義しようとした最近のブログ記事である「The Rise of the Data Engineer」（訳者注: 拙訳「データエンジニアの始まり」）をフォローアップし、この新しい役割がデータ空間において歴史的、現代的な役割にどのように関係しているかを説明します。この記事では、
yassan0627 2018/08/02
リンク
1