Dataflow と BigQuery を使用した Google Cloud での ETL 処理（Python） | Google Cloud Skills Boost
GSP290 概要 このラボでは、以下の Google Cloud サービスを使用して複数のデータ パイプラインを構築し、一般公開されているデータセットから BigQuery にデータを取り込みます。 Cloud Storage Dataflow BigQuery 設計上の考慮事項と実装の詳細を反映した独自のデータ パイプラインを作成して、プロトタイプが要件を満たすようにします。指示があった場合は、Python ファイルを開き、コメントを読んでください。 設定 [ラボを開始] ボタンをクリックする前に こちらの手順をお読みください。ラボの時間は記録されており、一時停止することはできません。[ラボを開始] をクリックするとスタートするタイマーは、Google Cloud のリソースを利用できる時間を示しています。 このハンズオンラボでは、シミュレーションやデモ環境ではなく、実際のクラウド環境
IICS(CDI)でRedshiftとBigQueryを行き来してみる | DevelopersIO
はじめに データアナリティクス事業本部のkobayashiです。 Informatica Intelligent Cloud Services（以降、IICS）はオンプレミスおよびクラウド環境に置かれているデータサービスとアプリケーションサービスを統合するiPaaS（integration Platform as a Service）製品です。 IICSの機能の一つであるInformatica Cloud Data Integration（以降、CDI）ではクラウドやオンプレミスに存在する大量のデータをシームレスに統合します。 CDIではインフォマティカで用意してあるドライバを使うことで様々なデータソースから様々なターゲットにデータを統合することができます。 今回は他のデータ統合ツールでも行ったRedshiftとBigQuery間でデータを相互にデータ移行してみたいと思います。 データ移行
システム開発の成果物・ドキュメント一覧まとめ【DLリンク有】
と言った疑問に答えます。 社内SEに必要なシステム開発のドキュメント・成果物一覧を理解できます。本記事で、成果物別の作成担当・レビュー担当の役割を表で解説します。記事後半では、成果物別に作成のアドバイスとサンプルダウンロードのリンクを紹介しています。
システム本番移行計画書で書くべき６つのこと（記載例つき） | 若手エンジニアの羅針盤
システムを本番移行する際にはいくつかのポイントを整理のうえ、システム内部と顧客（利用者）との合意を得なければなりません。 今回はそういったシステム本番移行前に作成する「システム本番移行計画書」について書くべきポイントを整理しました。 システム移行計画書に書くべきこと システム移行計画書に書くべきことは下記の5W1Hです。 システム/機能の目的（Why）移行対象（What）移行方法（How）移行に伴う影響範囲（Where）移行スケジュール（When）移行体制と連絡先（Who） システム移行計画書は利用部門を含めて方案に問題がないかを確認する資料のため、細かい作業手順までは記載しません。作業手順は「本番移行手順書」として整理します。 それではそれぞれの項目について補足していきます。 0. まえがき まえがきとして「資料の目的」を書いておくと、本文に導入しやすいです。 記載例） 当資料は、請求書
別紙2_補足資料_No.41_移行要件定義書 移行要件定義書 別紙2_補足資料_No.41_移行要件定義書 １．本資料の概要 別紙２ 項番４１枝番１の要件について、必要な移行要件定義を示すものである。 ２．参照資料 なし ３．留意点 なし ４．詳細 「移行要件定義書」を参照のこと。 システム名 サブシステム名 移行要件定義書 作成者 作成日 更新者 更新日 承認者 承認日 年金業務システム 経過管理・電子決裁、 個人番号管理（1 次）、基盤 1/40 目次 1 目的.....................................................................................................................................................................
BigQuery 向けにデータリネージ システムを構築 | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 2 月 10 日に、Google Cloud blog に投稿されたものの抄訳です。 組織内でデータを民主化することは、社員が新しい知見を得て、組織の成長を促すために不可欠です。その前提で、ビッグデータ環境においてデータ ウェアハウス内のデータの所出や流れを追跡できるようにすること（トレーサビリティ）は、非常に重要な意味をもちます。トレーサビリティの情報はデータリネージと呼ばれ、それを追跡、管理、確認できるような環境を整えることで、データエラーの追跡や、フォレンジック分析、データの依存関係の特定を簡単に行うことができるようになります。 データリネージは、ビジネスデータを保護するためにも欠かせません。たとえば、組織ではデータ ガバナンスの手順が定められ、個人情報（PII）などの機密データの流れを完全に追跡できるようにすることが求められています。特に重要視さ
Data Lineageについて、調べてみました！｜株式会社JDSC
※本稿はテックブログからの転載です。 こんにちは。株式会社JDSCエンジニアリングメンバーの秋山です。 最近、データリネージという言葉を耳にしませんか？ データのリネージ（出自血統）。要するにデータウェアハウジングにおいて、データの生成経路を明らかにして、複雑化するデータパイプラインのマネジメントやガバナンスを強化するというもので、堅牢なデータ基盤を構築するにあたって、これからどんどん深堀りされていくだろうことはわかります。 ▲今はまだ明確なトレンドになっていないけど、徐々に右肩上がりになりつつありますね…。 引用元：Google Trends 「data lineage」https://trends.google.co.jp/trends/explore?date=2016-01-01%202021-05-21&q=data%20lineage (参照 2021–05–21) 今回は、そ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
システム再構築成功に導くユーザガイド
データリネージュ