You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
![20 年代のフロントエンド.md](https://cdn-ak-scissors.b.st-hatena.com/image/square/1ef26f6cb4349557952890dbe3e567f7f98dc151/height=288;version=1;width=512/https%3A%2F%2Fgithub.githubassets.com%2Fassets%2Fgist-og-image-54fd7dc0713e.png)
こんにちは! エス・エム・エスキャリア開発者の石塚です。 今回社内で利用するバッチ処理基盤として、Google Cloud Platformのプロダクト、Cloud Composerを導入したので、 その事例について紹介します。 なぜGoogle Cloud Platformなのか Google Cloud Platform(以下GCP)と他のクラウドサービスを比較して、一番の特徴は、BigQueryの存在だと考えてます。 Salesforce、Webのログ、その他様々な場所にあるデータをBigQueryに蓄積し、データ分析基盤として利用するためにGCPを使っています。 今回導入したCloud Composerも、主にGCPを中心としたデータ連携基盤として運用しています。 Cloud Composerとは Cloud Composerとは、GCP上でApache Airflowというワーク
最近の更新記録 2021/03/02 AWS 大阪ローカルリージョンの通常リージョンへの昇格を受け、AWS・Azure・GCP クラウド比較 を修正。リージョン別対応サービス数を更新。大阪は残念な結果に…。2021/02/24 Terraform で人生を浪費しないためのチュートリアル を作成 (書きかけ)2020/08/31 無料トライアル・値引き・割引き を最新化。GCP の $300 クレジット期間短縮 (12ヶ月から 3ヶ月)Azure の 1ヶ月有効なクレジット増額 (20,500円→22,500円)GCP リセラーに cloudpack 追加 (3% 割引)AWS Saving Plans、Azure 予約割引、Google クラウドスタートアップ等を追加。2020/06/12 BigQuery FAQ に BigQueryの権限 についての解説を追加。2020/05/17 B
参考までに、アイオワ (us-central) の金額は下記。 Composer 本体Web $0.074 x 24時間 x 31日 x 2台 = $110.112Database $0.125 x 24時間 x 31日 x 2台 = $186Web and database storage $0.273 x 20GB = $5.46Network egress $0.156 x とりあえず0 = $0WorkerGCE インスタンス n1-standard-1 $24.2725 x 3ノード = $72.8175永続ディスク $0.040 x 100GB x 3 ノード = $12$110.112 + $186 + $5.46 + $72.8175 + $12 = $386.38 Q. 高くない? 何かいい方法はない? 高い!!! 単体でも高いが、開発・ステージング・本番と 3環境作ると
Cloud Composer(Airflow)からDataflowTemplateOperatorの使い方がわからなかったので調べました。 Dataflowテンプレート登録 コード作成 コンパイル+アップロード Cloud ComposerのDAG作成 DAG定義スクリプト作成 AirflowのVariables設定 DAGファイルのインポート 参考URL Dataflowテンプレート登録 DataflowTemplateOperatorは名前の如くDataflowのテンプレートという、ジョブの実行情報の定義体みたいなものを指定してジョブを実行します。 以下の公式ドキュメントを参考にDataflowのテンプレートを作成し、GCSにアップします。 https://cloud.google.com/dataflow/docs/guides/templates/creating-template
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く