[B! gcp] yut148のブックマーク

dbt Core を GCPのCloud Run JobsやBatchで実行する方法

はじめに dbtを用いたデータ基盤運用がお盛んになったなと個人的に感じます。よく記事で見かけるのが、DWH製品としてSnowFlake, そしてデータ変換にdbt Cloudでしょうか。そして DWH製品としてSnowFlake, そしてデータ変換にdbt core を ECS Fargateに乗せてサーバレスにやる方法も最近記事で見ました。あとは dbt core を　AirFlow(Cloud ComposerやMWAA含む)で実行する方法もしばしばみかけます。しかしどれも自分には、あまりFitしませんでした。なぜならば求めている要件としては以下だからです BigQueryの案件が多いのでBigQueryにクエリ投げれればOK 1日1回のバッチ回せれば良いスケジュール設定できればOK dbtドキュメントもみたい無課金or微課金(ストレージ料やクエリスキャン料除く)ですませた

yut148 2023/05/22

cloud
gcp

リンク

ブラウザで動くサービスを作るときの技術選定

はじめに私の仕事は、新規サービスをまるっといい感じに開発するのを委託されることがほとんどです。最近はネイティブアプリを作ることよりもブラウザで動くWebサービスを開発することが多いのですが、案件の規模感や要求によって技術選定を少し変えるようにしています。「こういうときはこう」みたいに一概には言えないのですが、普段使う構成を紹介します。誰かの参考になれば幸いです。 2022/02/10 現在での内容です。前提開発を委託される場合の運用費をどうするの問題があります。クライアントにクレカ登録をしてもらうか、こちらで支払って毎月請求するかになります。僕は毎月やるのがめんどくさいのでできるだけ前者に倒している関係上、あまりいろいろなSaaSを組み合わせて作ることをなるべく避けています。規模感によらず使っているもの私の場合、以下が使えるとめちゃくちゃ効率よく開発できます。 GCP 好きだから

yut148 2022/02/11

リンク

GAE/SE PHP 7.2環境は実用性が高そうだという話 - hnwの日記

筆者の周囲だけかもしれませんが、さいきんGoogle App Engine Standard Environment（以下GAE/SE）が再注目されつつあるように思います。今回筆者もgVisorベースのGAE/SE PHP 7.2環境に触ってみたので、その内容を紹介します。 GAE/SEとは GAE/SEは元祖PaaSとも言えるような、Googleが提供するフルマネージド環境です。以前からJava、Python、Go、PHPの4言語の環境が提供されていましたが、Go以外の言語のバージョンアップは長いこと提供されておらず、Googleの本気度に疑問を持っていた人も多かったように思います（私もその一人でした）。ところが最近になってNode.js 8、Java 8、Python 3.7、PHP 7.2と立て続けに新バージョンを提供してきており、Googleが水面下でGAE/SEに開発リソースを

yut148 2018/09/16

caddyserver.comは知らなかった。>netstatを試すとサービス全体が刺さってしまい、インスタンスを再起動する羽目になりました。

リンク

Applibotでのサーバイメージ作成 – Packer+Ansible -（AWS AMI編）

HOME ブログインフラ , サーバー Applibotでのサーバイメージ作成 – Packer+Ansible -（AWS AMI編）こんにちは。インフラチームです。弊社ではAWS/GCPを使用しており、それぞれのサーバ構築/環境設定はAnsibleで行なっています。環境の設定の更新を行う場合、AWSであればAMI、GCPであればマシンイメージを更新しておく必要があります。ゴールデンイメージ（起動してからの設定更新を行わない、最新設定のイメージ）で管理しているのですが、そのイメージを更新しようとする場合、手動対応では下記手順が必要になります。一つ一つは大したことない作業ですが、毎回この手順では手間も待ち時間も多く、ミスが発生しやすかったです。起動対象のイメージを間違えたり、他の作業している間に起動したことすら忘れてたり、イメージ取得後のインスタンス消し忘れなんかもよ

yut148 2018/09/11

リンク

Google container builderと友だちになるまで

1. Google Container Builder と友だちになるまで GCPUG Tokyo Container Builder Day February2018 Daisuke Maki @lestrrat (HDE inc) 2. • @lestrrat • Perl/Go hacker, author, father • Author of github.com/peco/peco • Organizer for builderscon

yut148 2018/02/05

リンク

Sign in - Google Accounts

Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode

yut148 2018/01/28

一通りコマンドが揃っているので軽く書くのはいい。手元で何か環境を整えなくていい。請求はどうなるのかまでは調べていない。

リンク

Ingress を使用して外部アプリケーションロードバランサを設定する | GKE networking | Google Cloud

フィードバックを送信 Ingress を使用して外部アプリケーションロードバランサを設定するコレクションでコンテンツを整理必要に応じて、コンテンツの保存と分類を行います。このチュートリアルでは、Ingress リソースを構成することにより、外部アプリケーションロードバランサの背後でウェブアプリケーションを実行する方法について説明します。このページは、組織のネットワークを設計し、ネットワーク機器の設置、構成、サポートを行うネットワークスペシャリストを対象としています。Google Cloud のコンテンツで参照する一般的なロールとタスク例の詳細については、一般的な GKE Enterprise ユーザーロールとタスクをご覧ください。背景 Google Kubernetes Engine（GKE）には、一般公開するアプリケーション用に次の 2 種類の Cloud Load B