masutaka26のブックマーク / 2023年3月21日

masutaka26 id:masutaka26

2023年3月21日のブックマーク (3件)

現職がwebのバックエンドエンジニアなのですが今度からデータエンジニアになることになりました。ふわっとした質問で恐縮ですが、データエンジニアが押さえておくべき技術やおすすめの技術書などありましたらご紹介いただけないでしょうか。現状として、これまでsqlを書くことはありましたがデータベースそのものやデータの取り扱いは全く詳しくないなと思い詳説データベースとデータ指向アプリケーションデザインは読みました。また、sparkを扱う予定もあるのですがこれについても(できれば日本語の)良書などもしあればご紹介い
現職がwebのバックエンドエンジニアなのですが今度からデータエンジニアになることになりました。ふわっとした質問で恐縮ですが、データエンジニアが押さえておくべき技術やおすすめの技術書などありましたらご紹介いただけないでしょうか。現状として、これまでsqlを書くことはありましたがデータベースそのものやデータの取り扱いは全く詳しくないなと思い詳説データベースとデータ指向アプリケーションデザインは読みました。また、sparkを扱う予定もあるのですがこれについても(できれば日本語の)良書などもしあればご紹介いただけるとありがたいです。データ指向アプリケーションデザインは本当に良い本なのであれをちゃんと読んでいる時点でかなりのアドバンテージがあります。仕事で複雑なSQLを書く必要がある人に一冊僕が薦めるなら10年戦えるデータ分析入門がおすすめです。教科書的なSQLではなく現場で要求される
masutaka26 2023/03/21
『データ指向アプリケーションデザイン』『10年戦えるデータ分析入門』

SQL
リンク
tblsとGitHub Actionsを使ってDBマイグレーションを含むPRには自動更新したER図を追加する - BASEプロダクトチームブログ
BASEアドベントカレンダー2021 10日目の記事です。 BASEアドベントカレンダー2021 10日目 BASE BANKでエンジニアをしている @budougumi0617 です。マイグレーションファイルが含まれたPull Request（PR）が作られたとき、自動更新したER図をPRに追加するGitHub Actionsを作りました。本記事では紹介するGitHub Actionsを利用すると次のようなメリットが得られます。マイグレーションファイルをPRに出すだけでPRに更新されたER図が追加される開発者は面倒なER図の更新作業から開放されるレビューアはマイグレーションファイルを含んだPRをER図を見ながらレビューできるようになるプロジェクト関係者は常にメインブランチのマイグレーションファイルの状態と一致したER図を確認できるサンプルPR 自動生成したER図 TL;DR
masutaka26 2023/03/21
BigQuery だとトリガーをどうするかだなあ。デフォルトブランチに commit が追加された時と、毎日定期的に？
リンク
tblsでBigQueryのデータセットのドキュメントを生成する - Qiita
本エントリでは、tblsでBigQueryのデータセットのドキュメントを生成するところまでを紹介します。 "既にGCPでプロジェクトとデータセットは作成済み" というところから説明したいと思います。ただ、今回はGCPが公開しているプロジェクト bigquery-public-data と、そのデータセットの1つ census_bureau_international を利用しますので、必ずしもデータセットを用意する必要はありません。 1. サービスアカウントの作成とキーファイルのダウンロード tblsでBigQueryのデータセットにアクセスするときは、設定ファイル tbls.yml で、以下のようにDSNを指定します。 # tbls.yml dsn: bq://bigquery-public-data/census_bureau_international?creds=/path/to
masutaka26 2023/03/21
"サービスアカウントの権限は「BigQueryメタデータ閲覧者」で良いです"

BigQuery
リンク
- 2023年3月26日
- 2023年3月21日
- 2023年3月18日