daikixのブックマーク - はてなブックマーク

Airflow DAG のテスト | Cloud Composer | Google Cloud

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3 DAG を本番環境にデプロイする前に、Airflow CLI サブコマンドを実行して、DAG を実行するコンテキストと同じコンテキストで DAG コードを解析できます。 Composer ローカル開発 CLI ツールを使用して DAG をローカルでテストする Composer ローカル開発 CLI ツールは、Airflow 環境をローカルで実行することにより、Cloud Composer 2 向けの Apache Airflow DAG 開発を合理化します。このローカルの Airflow 環境では、Cloud Composer 2 の特定のバージョンのイメージが使用されます。このローカル Airflow 環境を使用して DAG を開発してテストし、DAG をテスト用 Cloud

daikix 2023/11/20

airflow

リンク

TABLES ビュー | BigQuery | Google Cloud

デジタルトランスフォーメーションを加速お客様がデジタルトランスフォーメーションに乗り出したばかりでも、あるいはすでに進めている場合でも、Google Cloud は困難な課題の解決を支援します。

daikix 2021/04/12

bigquery

リンク

BigQuery におけるコスト最適化のベストプラクティス | Google Cloud 公式ブログ

※この投稿は米国時間 2019 年 9 月 25 日に Cloud Blog に投稿されたものの抄訳です。あらゆる業務のデータが各所に分散する今日の状況において、データウェアハウスの運営、管理は厄介で手間のかかる作業となりがちです。こうしたデータの急激な増加に対応してシステムをスケーリングし、日々の運用を維持することは、これまでになく大きな課題となっています。課題はそれだけではありません。データウェアハウスをアップグレードするときにダウンタイムをできるだけ短くする、ML や AI に向けた取り組みを支えてビジネスニーズに応えるなどの必要にも迫られています。Google Cloud のサーバーレス、エンタープライズ向けデータウェアハウスである BigQuery は、インフラ管理に手間を取られず分析作業に集中できるという点が評価され、数々の企業に導入されています。 BigQuery

daikix 2019/11/12

bigquery

リンク

Kubernetes 環境におけるアプリケーションのデプロイメント | Google Cloud 公式ブログ

Kimihiko KitaseHead of Enterprise Marketing, Google Cloud Japan 2019 年にはいり、システムの老朽化、複雑化、人材不足により、機能追加はおろか改修すらままならないという企業から、システム刷新についての相談を受けることが増えてきました。相談内容は、メインフレーム、オフコンや UNIX 上で動いているアプリケーションの刷新から、仮想環境またはクラウドで構築されたモノリスアプリケーションのマイクロサービス化まで多岐にわたります。これは、2018 年 9 月経産省のワーキンググループ「デジタルトランスフォーメーション（DX）に向けた研究会」が作成した「DXレポート～ITシステム『2025年の崖』の克服とDXの本格的な展開～」をはじめとした政府主導による DX の推進により、ようやく多くの企業が真剣に検討しはじめたためではないか

daikix 2019/10/28

google

リンク

クラウドネイティブアーキテクチャ、5 つの原則 | Google Cloud 公式ブログ

※この投稿は米国時間 2019 年 6 月 20 日に Google Cloud blog に投稿されたものの抄訳です。私たち Google Cloud は、Google Cloud Platform（GCP）上に移行もしくは構築されるアプリケーションの最終目標として、よく「クラウドネイティブアーキテクチャ」という言葉を使います。では、クラウドネイティブとは正確にはどういう意味なのでしょうか。そして、そのようなシステムはどうすれば設計できるのでしょうか。大まかに言えば、クラウドネイティブとは、クラウドによってもたらされる、従来のオンプレミスにはない新しい可能性に適応することを意味します（アーキテクチャ上の制約も従来とは大きく異なるため、それにも適応）。ソフトウェアアーキテクトとして私たちが考慮するよう訓練を受けている高レベルの要素について考えてみましょう。システムの機能要素（何を

daikix 2019/08/09

gcp

リンク

3 つのユースケースで学ぶ GCP のサービスアカウント | Google Cloud 公式ブログ

※この投稿は米国時間 2019 年 4 月 10 日に Google Cloud blog に投稿されたものの抄訳です。 Google Cloud Platform（GCP）上でアプリケーションを構築している方であれば、サービスアカウントのことはよくご存じでしょう。これはアプリケーションか仮想マシン（VM）に属する特殊な Google アカウントで、ID として、もしくはリソースとして扱うことができます。サービスアカウントでは、管理方法やリソースへのアクセス権限の付与方法がユースケースによって異なります。この投稿ではサービスアカウントの一般的なユースケースをいくつか取り上げますので、サービスアカウント管理の適切な運用モデルを決定するうえで参考にしていただきたいと思います。ユースケース 1 : GCP リソースにアクセスするウェブアプリケーションユーザーが Cloud I