Dataform を活用してデータ変換パイプラインを構築する - バイセル Tech Blog
はじめに テクノロジー戦略本部データサイエンス部データアナリストの森山です。 バイセルでは事業部組織（以下、Biz メンバー）が自立してデータに基づいた意思決定を行うことを目的に、データ基盤を整備しグループの全社員に公開しています。 Biz メンバーは自分自身で SQL を書きデータ基盤から必要なデータを抽出しますが、そのためには基盤に蓄積したデータを必要な形式に変換・加工（以下、データ変換パイプライン）する必要があります。 今回は、データ変換パイプラインの構築のために導入した Google Cloud が提供する Dataform の利用事例をご紹介します。 Dataform をこれから活用しようと思っている方、実例が見つからず悩んでいる方の参考になれば幸いです。 ※なぜ Biz メンバーが SQL を書く環境を整備しているかは、以下の記事をご確認ください。 tech.buysell-t
GCSライフサイクルの設定を要件定義から挑戦し学んだこと - バイセル Tech Blog
はじめに はじめまして、テクノロジー戦略本部で内定者インターンをしている馬場です。 現在、EC管理システムの開発に携わっています。 今回、EC管理システムのGoogle Cloud Storage(GCS)で管理しているオブジェクトのライフサイクルの設定を、要件定義から開発まで一貫して行いました。 その過程で経験した事業部の方へのヒアリングや、要件を満たすために試行錯誤する中で学んだことについて紹介します。 はじめに 背景 実施したこと GCSバケットを整理 ライフサイクルの設定 ライフサイクルとは 設定したライフサイクル Terraformの設定コード ライフサイクルの操作 ストレージクラス ライフサイクルの条件 結果 タスクを通して学んだこと 課題や目的などのゴールから逆算し、足りない情報を明確にすること 根本の課題や目的を見失わないこと 技術的な話は必要なことだけ噛み砕いて分かりやす
GCP でのアクセス制限や IP 制限の話 - バイセル Tech Blog
こちらは バイセルテクノロジーズ Advent Calendar 2021 の 22日目の記事です。 前日の記事は飯島さんの「SentryでGoのcustom errorをstack trace付きで表示する」でした。 こんにちは。開発 2 部の今井です。 バイセルでは主にサーバサイドの開発に携わっています。 本記事では、現在進めている新規プロジェクトのインフラを構築するうえで検討する機会がありました「GCP でセキュアなサービスを構築するうえで考えたこと」についてご紹介します。 アーキテクチャの全体像 本記事で紹介すること Cloud Storage のアクセス制限について 注意点 Cloud Load Balancer を利用したアクセス制限について まとめ 最後に 参考にさせていただいたサイト アーキテクチャの全体像 私が所属しているプロジェクトでは GCP を利用しており、簡単な全
バッチ処理を Cloud Functions ではなく Cloud Run ジョブで実装した - バイセル Tech Blog
はじめに こちらは バイセルテクノロジーズ Advent Calendar 2022 の 4 日目の記事です。前日の記事は尾沼さんの「リファイメントとプランニングを改善することで、チームの属人化が解消された話」でした。 こんにちは。バイセルテクノロジーズ テクノロジー戦略本部 開発 2 部の小松山です。 私が関わっているプロジェクトでは、一部のバッチ処理の実行環境として Cloud Run ジョブを採用しています。Cloud Run ジョブは2022 年 5 月にリリースされた比較的新しいサービスで、記事執筆時点ではプレビュー版として提供されています。サービスの解説記事や試してみた系の記事は散見されるものの、具体的な採用事例の紹介が少ないです。本記事では Cloud Run ジョブの採用事例として、採用に至った背景やその実装内容を紹介します。 普段から GCP を使う方、特にバッチ処理のア
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
