[B! GCP] yut148のブックマーク

dbt Core を GCPのCloud Run JobsやBatchで実行する方法

はじめに dbtを用いたデータ基盤運用がお盛んになったなと個人的に感じます。よく記事で見かけるのが、DWH製品としてSnowFlake, そしてデータ変換にdbt Cloudでしょうか。そして DWH製品としてSnowFlake, そしてデータ変換にdbt core を ECS Fargateに乗せてサーバレスにやる方法も最近記事で見ました。あとは dbt core を　AirFlow(Cloud ComposerやMWAA含む)で実行する方法もしばしばみかけます。しかしどれも自分には、あまりFitしませんでした。なぜならば求めている要件としては以下だからです BigQueryの案件が多いのでBigQueryにクエリ投げれればOK 1日1回のバッチ回せれば良いスケジュール設定できればOK dbtドキュメントもみたい無課金or微課金(ストレージ料やクエリスキャン料除く)ですませた

yut148 2023/05/22

cloud
gcp

リンク

ブラウザで動くサービスを作るときの技術選定

はじめに私の仕事は、新規サービスをまるっといい感じに開発するのを委託されることがほとんどです。最近はネイティブアプリを作ることよりもブラウザで動くWebサービスを開発することが多いのですが、案件の規模感や要求によって技術選定を少し変えるようにしています。「こういうときはこう」みたいに一概には言えないのですが、普段使う構成を紹介します。誰かの参考になれば幸いです。 2022/02/10 現在での内容です。前提開発を委託される場合の運用費をどうするの問題があります。クライアントにクレカ登録をしてもらうか、こちらで支払って毎月請求するかになります。僕は毎月やるのがめんどくさいのでできるだけ前者に倒している関係上、あまりいろいろなSaaSを組み合わせて作ることをなるべく避けています。規模感によらず使っているもの私の場合、以下が使えるとめちゃくちゃ効率よく開発できます。 GCP 好きだから

yut148 2022/02/11

リンク

GAE/SE PHP 7.2環境は実用性が高そうだという話 - hnwの日記

筆者の周囲だけかもしれませんが、さいきんGoogle App Engine Standard Environment（以下GAE/SE）が再注目されつつあるように思います。今回筆者もgVisorベースのGAE/SE PHP 7.2環境に触ってみたので、その内容を紹介します。 GAE/SEとは GAE/SEは元祖PaaSとも言えるような、Googleが提供するフルマネージド環境です。以前からJava、Python、Go、PHPの4言語の環境が提供されていましたが、Go以外の言語のバージョンアップは長いこと提供されておらず、Googleの本気度に疑問を持っていた人も多かったように思います（私もその一人でした）。ところが最近になってNode.js 8、Java 8、Python 3.7、PHP 7.2と立て続けに新バージョンを提供してきており、Googleが水面下でGAE/SEに開発リソースを

yut148 2018/09/16

caddyserver.comは知らなかった。>netstatを試すとサービス全体が刺さってしまい、インスタンスを再起動する羽目になりました。

リンク

Applibotでのサーバイメージ作成 – Packer+Ansible -（AWS AMI編）

HOME ブログインフラ , サーバー Applibotでのサーバイメージ作成 – Packer+Ansible -（AWS AMI編）こんにちは。インフラチームです。弊社ではAWS/GCPを使用しており、それぞれのサーバ構築/環境設定はAnsibleで行なっています。環境の設定の更新を行う場合、AWSであればAMI、GCPであればマシンイメージを更新しておく必要があります。ゴールデンイメージ（起動してからの設定更新を行わない、最新設定のイメージ）で管理しているのですが、そのイメージを更新しようとする場合、手動対応では下記手順が必要になります。一つ一つは大したことない作業ですが、毎回この手順では手間も待ち時間も多く、ミスが発生しやすかったです。起動対象のイメージを間違えたり、他の作業している間に起動したことすら忘れてたり、イメージ取得後のインスタンス消し忘れなんかもよ

yut148 2018/09/11

リンク

Google container builderと友だちになるまで

1. Google Container Builder と友だちになるまで GCPUG Tokyo Container Builder Day February2018 Daisuke Maki @lestrrat (HDE inc) 2. • @lestrrat • Perl/Go hacker, author, father • Author of github.com/peco/peco • Organizer for builderscon