タグ

noteとdata-engineeringに関するnabinnoのブックマーク (3)

  • 個人情報を考慮したデータ分析基盤の設計|zono

    はじめにデータ分析基盤を構築する際、個人情報の適切な取り扱いはデータエンジニアにとって重要になってきます。特に業務利用と分析利用を明確に分離し、安全にデータを活用するための仕組み作りが必要で、実現方法を検討する必要があります。 今回は「データプラットフォームにおけるパーソナルデータとの向き合い方」という記事を拝見し、非常に共感できたため、改めて私の頭の整理のために設計パターンを残しておこうと思います。 分析を目的とした個人情報の取り扱い個人情報と一言に言っても、日では様々な用語が定義されています。そこでわかりやすい画像を拝借します。 情報の関係性(データプラットフォームにおけるパーソナルデータとの向き合い方より)ほとんど多くの人に関わる部分は仮名加工情報でしょう。仮名加工情報とは、個人情報を他の情報と照合しない限り特定の個人を識別することができないように加工して得られる個人に関する情報で

    個人情報を考慮したデータ分析基盤の設計|zono
  • 2025年版:データエンジニア向け推薦本リスト|zono

    データエンジニアが流行しだしてから数年が経過していますが、まだまだデータエンジニアリング分野は発展途上で、次々に新しいSaaSやツール、書籍が登場しています。 データエンジニアは、データの収集、分析、活用に必要なデータ基盤を構築・運用する職種です。企業によっては、データのマネジメントやその周辺知識も必要になります。データエンジニアとして活躍するためには、非常に幅広い知識と能力が求められます。 私がデータエンジニアとして業務を行う上で読んで良かったと心から思えるがあったのでこちらで紹介します。どなたかの一助になれば幸いです。 初級向けデータエンジニアリング ではありませんが、データエンジニアリングに必要な知識がスライドやPDFに綺麗にまとまっています。初めて学ぶ方には適しています。前半のデータエンジニアリングの箇所だけ参考にして下さい。(後半はAzure製品について記載されています) 注

    2025年版:データエンジニア向け推薦本リスト|zono
  • デジタル庁のデータ分析基盤「sukuna」|デジタル庁

    はじめまして。デジタル庁ファクト&データユニット所属、データエンジニアの長谷川です。 記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル庁のデータ活用組織「ファクト&データユニット」ファクト&データユニットとはデジタル庁の特徴の一つに、デジタル分野において各種の専門性をもつ「民間専門人材」が多く所属していることが挙げられます。 民間の専門人材は、デザイン、プロダクトマネジメント、エンジニアリングなど、領域ごとに「ユニット」と呼ばれる組織を構成しており(参考:デジタル庁 - 組織情報)、必要に応じてさまざまなプロジェクトにアサインされて業務を遂行する、人材プールのような役割を果たしています。 ファクト&データユニットも

    デジタル庁のデータ分析基盤「sukuna」|デジタル庁
    nabinno
    nabinno 2023/06/28
    AWSで言うとGlue部分をdbtで制御する感じか。組織体力があるなら責務の切り分けでdbt導入だろうが、入り口としてはStudioとDatabrewを分けるというのが妥当。
  • 1