Google Cloud の Batch を触ってみました | DevelopersIO
こんにちは、川田です。今回は Google Cloud の Batch を触ってみた作業ログを記載します。 実施してみたこと Cloud Storage 上に置かれたファイルをダウンロードして、zip 圧縮し、Cloud Storage 上に置き直す、という単純な Batch ジョブを作成しています。作業時、以下の設定/実行内容について確認しています。 利用する Compute Engine をコンフィグファイルにて管理する Compute Engine には外部 IP アドレスを付与せず、限定公開の Google アクセスを利用させる ジョブで実行されるコードは、コンテナにて定義する コンテナ環境変数を利用する 実行されるコンテナ上プロセスに引数を渡す ジョブの実行を gcloud コマンドにて行う 環境 Google Cloud SDK 433.0.0 事前の準備 必要となる諸々の準備
我が家の BigQuery による台所事情分析 - nownab.log
弊家では銀行やクレジットカードの明細を BigQuery に取り込んでダッシュボードを作ったりしています。 また、そのために作った BigQuery 向けの Go 製 ETL フレームワークを OSS として公開しました。 本記事ではざっくりどんなもんかを紹介して、どう作るのかを説明します。 Google Cloud Platform Advent Calendar 2020 の 13 日目の記事です。 Google Cloud Japan の Customer Engineer の Advent Calendar もぜひご覧ください。 TL; DR 明細が BigQuery にあると、可視化もできるしアラートも出せるし、まぁなんでもできて便利 銀行明細レベルのデータならほぼ無料で保存、ETL、分析できる ETL フレームワーク bqloader を OSS として公開したから使ってくれよ
VSCodeの操作ミスでGCP Cloud Composerの裏側k8sをお掃除した話 - Qiita
tl;dr 筆者はvim派でVSCode初心者。でも勧められたので数カ月ぶりに起動してみた。 Pluginを色々入れていたので、サイドバーにはたくさんのアイコン。なにこれ楽しい。 Cloud Codeタブを触っていたら…指先が震えてトラックパッド誤操作。「Delete Cluster」を押してしまう。 その時たまたま偶然、GCPのオーナー権限を持つIAMで認証していた。 盛大にやらかして復旧が手間だったが、いくつかの理由で障害として顕在化しなかった。 というお話 何をやらかしたのか やらかし当時、筆者はGCPでデータ処理基盤の開発を行っていました。vimとzshが大好きで、開発のすべてをこの2つで済ませてましたが、同僚にVSCodeを猛プッシュされたので使ってみることにしました。 VSCodeは数ヶ月前にインストールしたもののそのときは結局使わず。数ヶ月ぶりの起動でした。 インストール時に
AWS,Azure,GCPの3大クラウドのアーキテクト試験に合格してみての個人的比較 - Qiita
3大クラウドと呼ばれてる（はず）のAWS、Azure，GCPについて、それぞれ一番中心となるだろうアーキテクト試験を取得してきたので、個人的な感想や比較を書きたいと思います。 AWS Solution Architect Professional Azure Solutions Architect Expert GCP Professional Cloud Architect 3つを受けてみると、各社の色が現れていて面白かったです。 以下、個人的かつ定性的な評価となります。 ※3大クラウドのDevOps試験についてはこちらに記事書きましたので良かったらどうぞ https://qiita.com/yomon8/items/4c223b51a04d0b1feeeb 3試験で共通していること IaaSが半分、残りをPaaSをSaaSを組み合わせたような出題分野で、所謂インフラ寄りですね。開発知識
こんなに簡単にコンテナをデプロイできちゃって良いんですか？GCP Cloud Runでコンテナを爆速デプロイしてみた | DevelopersIO
Cloud Runとは Cloud Run | Google Cloud Cloud Runは､HTTPでリクエストを受ける事が可能なステートレスコンテナを実行できるサービスです｡ Knativeによって構築されており､Cloud Runによる管理または､GKEクラスタ上にデプロイする事が可能です｡前者の場合､開発者がインフラストラクチャを意識する必要が無く､スケールアップ/ダウンも自動で行われます｡この為､開発者はコア機能の実装にのみ集中できます｡ Cloud Runは現在ベータ版です｡ 前提条件 プロジェクトの課金が有効になっている Cloud Shellの使用方法を理解している やってみた Using System Packages Tutorial | Cloud Run | Google Cloud 上記の公式チュートリアルを参考に触ってみました｡ APIの有効化 下
GCPで永久無料枠を利用してサービスを立ち上げたときにしたことの備忘録 - Qiita
はじめに 最近GCPでWebサービスを立ち上げたので、そのときに実施したことをメモとして残しておきます。 今回はGCEで Debian + Nginx + Railsで環境を作りました。 ドメイン取得以外は終始無料で進めるための努力をしました。 また、今回はRailsアプリケーションを作成することは目的としていませんので、そこについてはあまり触れません。 やったこと GCEでインスタンスを立ち上げる アカウント作成時に貰える無料トライアル枠とは別に、無料で利用できるリソースがあります。 Always Free と呼ばれていて、GCEの場合は以下の要件を満たすインスタンスのみ永久に無料でインスタンスを立てることができます。 リージョンをus-*1から選択する 1つのf1-micro VM インスタンス 30GB以内 の永続ストレージ ※無料対象リージョンはus-*1のみというご指摘を受けまし
Service Catalogを使って､KubernetesからGoogle Cloud SQLを作成して使ってみた | DevelopersIO
Google Kubernetes Engineの中からGoogle Cloud SQLを作成し､サンプルAPIを動作させてみました はじめに おはようございます､加藤です｡Google Kubernetes Engine(以降､GKE)の中からGoogle Cloud SQL(以降､Cloud SQL)を作成し､サンプルAPIを動作させてみました｡ 前提 GCPのアカウントがセットアップされている 検証用の新規GCPプロジェクトを作成している 検証用のGKEクラスタを作成している n1-standard-1 * 3 (リソース不足にならないようにこれぐらい確保しましょう) gcloudが認証済み(ログイン済み)である kubectlコマンドでgkeと通信ができる 環境 macOS Mojave 10.14.2（18C54 Homebrew 1.8.6 go version go1.11
【AWSしかやったことない人向け】AWSとGCPのネットワークの違いを理解してみよう - まーぽんって誰がつけたの？
背景 AWSでVPC作ったりしたことあるけど、GCPやったことないって人は色々違いに戸惑う アカウントの関係性、ネットワークの概念の違いなどを理解したのでまとめた AWSとGCPのアカウントの考え方の違い AWSの場合、ある人間に対して色々なAWSアカウントが付与される。 (人間) -> 個人で発行されたアカウント -> 会社で発行されたアカウント GCPの場合、ある人間は色々なプロジェクトというものに属することができる。 そして、その人間が使うアカウントはGmailとかで使ってるようなGoogleアカウントである。 (人間 with Googleアカウント) -> プロジェクト 会社のやつ -> プロジェクト 何の関係もない個人のやつ GCPの方が始めるのはすごく簡単な気がする。アカウント管理もGoogleアカウントさえやっときゃいいみたいな感じなので、Googleにロックインされる感は
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GCPで構築する、これからの変化に対応出来るデータ分析基盤の作り方
Spring Boot and GCP Cloud Pub/Sub - DZone
Deploy Spring Boot App to GCP App Engine - DZone