Google Cloud Storage（GCS）でうっかり30万以上溶かした話 - のんびりしているエンジニアの日記
皆さんこんにちは。 コンペで頑張ったので疲れました。 さて、Google Landmark 2021が終了し、Retrieval5位（金）、Recognition12位（銀）となりました。 本日は自戒と反省により、クラウドで30万円消失した話を 記録として書こうと思います。皆さん私を見て反面教師にしてください。 事象 9月入ってからLandmark2021に参加し、Google Cloud Platform、通称GCPを利用していた。 主な利用はGoogle Cloud Storageのみで、ほぼ容量課金だろうと高をくくっており、課金請求の上限など入れ忘れてました。 すると9/18に久々に請求額を確認すると32万ほどの請求額がありました。 さすがに目玉が飛び出て、調査にあたったといったものになります。 課金内容を確認したら原因はすぐにわかり、チームで対策を打ちました。（私が慌てて学習にスト
歌舞伎町でアナフィラキシーショックを起こして倒れた時に適切な処置を行ったホストと思われる人を探しています「GCSも伝えるのはプロ」
北川 亜里沙･Mット&ピラミッド泡洗〇の先生･ティンカーベル @kitagawamat 先日歌舞伎町にて、移動中にアナフィラキシーショックで倒れてた所にエピペンを打ってくださったホストさんと思われる男性を探しております🔔 その場で意識戻ったものの記憶があまりなく、救急隊員の方からホストっぽい男性がエピペン処置して119番してくれたと聞きました👂 2023-09-03 18:30:51 北川 亜里沙･Mット&ピラミッド泡洗〇の先生･ティンカーベル @kitagawamat 通報時のお名前(偽名かも)は頂きましたが、女性と一緒だったらしく恐らく同伴の最中かな？と思いました。 180cmくらいの細身(そんな、いっぱいいる😱)、茶髪だそうです。 それ俺です！一緒にいた女子です！ 是非名乗り出て下さると嬉しい🙏 あのエピペン処置なかったら私、今生きていません😢 続 2023-09-03 1
はじめに ファイルをアップロードすることができる機能を持ったWebアプリケーションやクラウドサービスは世の中に多数あります。しかし、アップロードしたzipファイルを自動で展開（解凍）してくれて、中身のファイルが閲覧できる機能を持ったサービスは、あまり多くはないかもしれません。 もし、Google Cloud上で、zipファイルをアップロードし自動的に展開してGCSに配置するシステムを作るとしたら、どうやって実現すればよいでしょうか。たとえ100GBのzipファイルでも問題なく展開できるようにするには？ そんな難題に挑み、GCSにアップロードされた100GB級のzip/7zファイルを自動的に展開することができるシステムをGoで実装し、プロダクションレベルで実現しました。その技術について解説します。 背景 PLATEAU VIEWの画面 Eukaryaでは、国土交通省が主導しているProjec
Cloud SQL のデータを定期的に GCS へバックアップする仕組みを整えました - VISASQ Dev Blog
はじめに こんにちは！基盤チームの高畑です。 最近シロカのコーヒーメーカーを買ってからというもの、1 日に 5 杯くらいコーヒーを飲み続けてしまっておりちょっと飲み過ぎなのではないかと危機感を覚えています。 手軽にコーヒーが淹れられてしまうのも考えものですが、美味しいので仕方がないと自分に言い聞かせながら今もコーヒーを淹れています。 みなさん、Cloud SQL のバックアップを定期的に行うといえば、まず思い浮かぶのは自動バックアップ機能を利用することだと思います。 しかし、この自動バックアップはあくまで「インスタンスが存在していること」が前提で、仮に Cloud SQL のインスタンスが削除されてしまった場合にバックアップもろとも削除されてしまい復元ができないといった状態に陥ってしまいます。 AWS の RDS であればスナップショットを定期的に取っておくことでインスタンスが削除されてし
BigQueryやその他様々なデータを表やグラフにして可視化できるサービスである「データポータル」(旧data studio)。 表形式でデータを表示する際、URLから画像を表示させることもできる。 ではGCSに保存した画像を表示させたい場合、どうすればいいのか。 今回は「GCSの画像をデータポータルで表示する方法」について紹介する。
モチベーション Turborepoを使用する目的はいくつかありますが、リモートキャッシュが一番大きいと個人的には思っています。 リモートキャッシュを使用することで、CIの高速化やチームメンバーのローカルでの開発体験向上にもつながります。 リモートキャッシュを導入する最も簡単な方法は、Vercelを利用することですが、チームでとなるとアカウント管理や料金など問題が発生します。 アカウントレスなチーム専用のリモートキャッシュサーバをセルフホストし、上記の問題を解消することが本稿のモチベーションです。 なお、Turborepoの紹介や導入・使用方法に関しては説明を省きますので、詳しく知りたい方は公式サイトやドキュメント、下記のmizchiさんの記事などを参照してください。 リポートキャッシュサーバのセルフホスト 公式ドキュメントでVercel以外のリモートキャッシュサーバとの連携について明記され
Googleのクラウド環境上にファイルを保存できるGoogle Cloud Storage (GCS)。 GCSを使っていると、バケットのなかに保存したファイルがいくつあるのか数えたくなることがある。 しかし数が多いとブラウザ上で数えるのは大変。 そこでGCSをコマンドで操作できるようにした gsutil パッケージを利用して数える。 今回は、「gsutilでGCSバケット内のファイル数を数える方法」を解説する。
S3、というより S3 API は、AWS というよりオブジェクトストレージ界の標準になりつつあります。S3 互換を謳うオブジェクトストレージはそれこそ毎月一個増えてるんじゃないでしょうか。 複数の CDN 構成をとるとき、クラウドごとのSDK のコードを書くのではなく、一つの実装(自分の場合 node の @aws-sdk/client-s3)で、全部のバケット処理を統一できないか考えて実験してみました。 APIごとに有効な機能、無効な機能で細かい差がありますが、この記事ではそこまで踏み込みません。 記事中の <key> や <secret> は自分で取得してください。 AWS S3 まずは普通に AWS に繋ぐコードです。 accessKeyId や secrentAccessKey の取得方法は省略します。 import { ListObjectsV2Command, S3Clien
こんにちは、いわなちゃんさん(@xcir)です。 Webサイトには様々なリソースが存在し、それらをS3やGCSなどのオブジェクトストレージに格納することはよくあります。 しかし、多くのサイトではオブジェクトストレージを直接使うことはあまりなく（そもそもお勧めできませんが）通常はCDNを被せて利用します。 オブジェクトストレージを提供するプラットフォームはCDNも提供しています。 例えばAWSであればCloudFrontがありますしGCPであればCloudCDNがあり、それらを組み合わせで使う場合も多いでしょう。 ところが機能、コストなど様々な理由でAkamaiやFastlyなどの外部CDNを使うことがあります。 オブジェクトストレージなので単純にファイル置き場として考えればそこまで気にするポイントはないのかもしれません。 ところが、GCSについては組み込みキャッシュ(Built-in ca
G-genの杉村です。 Google Cloud (旧称 GCP) の容量無制限・低価格・堅牢なオブジェクトストレージサービスである Cloud Storage を解説します。 Cloud Storage の基本 Cloud Storage とは オブジェクトストレージとは 使い方 ユースケース 料金 (基本) 用語 バケット オブジェクト メタデータ フォルダ パス Cloud Storage の詳細 料金 (詳細) ストレージクラス Soft delete ポリシー ライフサイクルマネジメント バージョニング バケットのリージョン (ロケーション) セキュリティ アクセス制御 IAM と ACL パブリック公開 パブリック公開の禁止 暗号化 保持ポリシー（Bucket Lock） オブジェクト保持（Object Lock） Autoclass Autoclass とは バケット作成後の
GCS にファイルが配置されたらイベント駆動で BigQuery にデータロードするサーバレスなジョブをつくってみた | DevelopersIO
こんにちは、みかみです。 やりたいこと GCS のファイルを BigQuery にロードするジョブを手軽に（サーバレスで）実装したい GCS にファイルが配置されたタイミングでイベント駆動でデータロードジョブを実行したい GCS バケットを作成 以下のチュートリアルを参考に、gcloud コマンドで GCS バケットと Cloud Functions 関数をデプロイします。 Cloud Storage のチュートリアル ｜ Cloud Functions ドキュメント Cloud Shell を使えば、ブラウザ上でコマンドラインが実行でき、gcloud ツールもプリインストールされているので便利です。 Cloud Shell での gcloud コマンドの実行 ｜ Cloud Shell ドキュメント まずはデータ連携用の GCS バケットを作成します。 gcp_da_user@cloud
Cloud DataflowでGCS→BQのパイプラインをPythonで試してみる | DevelopersIO
はじめに データアナリティクス事業本部のkobayashiです。 GoogleCloudのETLサービスのDataflowを調査する機会があり、Google Cloud Storage(以降GCS)にあるCSVファイルをBigQueryにロードする処理をPythonスクリプトで試してみましたのでまとめます。 Dataflow | Google Cloud Cloud Storage Text to BigQuery DataflowはマネージドなApache Beam Runnerでプログラミング言語としてはJava,Python,Goを使うことができます。今回やろうとしている「Cloud Storage Text to BigQuery」に関してはGoogle提供のバッチテンプレートがありますが、このテンプレートはJavaで記述されているため使用せずPythonで実装してみます。 B
デカ過ぎて固定資産税がかかりそうな GCS 上の古いデータをアーカイブする | メルカリエンジニアリング
この記事は、 Merpay Tech Openness Month 2020 の 2 日目の記事です。 こんにちは。メルペイ DataPlatform チーム、ソフトウェアエンジニアの @syucream です。 主にメルペイのデータ基盤の開発・運用の業務に携わっております。今回はみんな大好きお金とビッグデータとコスト削減のお話をします。 はじめに 様々なデータを収集して横断的に分析可能にする、いわゆるデータ基盤には少なくないコストが掛かります。「ビッグデータ」という言葉が示すような大量のデータを保存して処理する際には、永続化のためのストレージコストがかかります。この課題は我々メルペイ DataPlatform チームも無関係ではありません。以前の記事で紹介させていただきましたが、我々のデータ基盤はさまざまなマイクロサービスからのデータベースや出力されたログを横断管理できるようにしています
Object Storage(S3, GCS, BlobStorage）の比較まとめ -2020年版- - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? オブジェクトストレージはS3、1つとってもストレージクラスの複雑さもさることながら、クラウド間比較をするとさらに複雑になります… 一定以上の規模になると数％の差でもバカにならない差額になってくるので、主要なクラウドのオブジェクトストレージについての比較と短評をまとめたいと思います。積年暖めたものではないので、ミス等ありましたら是非ともご指摘ください。 はじめに 通貨は米ドル、リージョンは日本/東日本を既定路線とし、料金ラダーがある場合は最も小さい利用量の価格帯にて比較します。また、比較を容易にするために、似ているけれども異なる言い回しを
やりたいこと GCSバケットを何も設定しないで作成すると、プロジェクトのOwner、Editor、ViewerはGCSバケットのオブジェクトを参照することができてします。 さらに、Organization 横断ユーザ(例: セキュリティ監査チームやGSuites管理者)などもアクセスできてしまいます。 たとえば、機密情報を管理するバケットを作る場合など、許可した特定のユーザーのみを、特定のバケットにアクセスを許可する方法を調べました。 結論 プロジェクトレベルのIAMで storage.objects.get の権限を付与しない プロジェクトレベルのIAMとはここで設定する権限のこと https://console.cloud.google.com/iam-admin/iam GCSバケットのアクセス制御は Uniform モードで作成する バケットの詳細ページでパーミッションを設定する
Google Apps Script でスプレッドシートデータを CSV にして GCS に出力してみた。 | DevelopersIO
Google Apps Script でスプレッドシートデータを CSV にして GCS に出力してみた。 こんにちは、みかみです。 スプレッドシートでは、画面 GUI 操作でデータを CSV 形式でダウンロードすることもできますが、 ダウンロードした CSV を GCS に配置したい場合、いちいち手動でアップロードするのは面倒です。 ということで。 やりたいこと スプレッドシートデータを CSV ファイルで GCS に出力したい 前提 ファイル出力先の GCS バケットは作成済みです。 また、本エントリでご紹介の内容は、以下の記事を参考にさせていただきました。 どうもありがとうございました！ gcsにgasからファイルを公開して、アクセス耐性100万倍させるゾッと ｜ Qiita スプレッドシートを準備 まずはスプレッドシートを作成します。 シート名を data に変更して、出力データを
G-gen の藤岡です。当記事では、Google Cloud (旧称 GCP) の Compute Engine VM から Cloud Storage バケットを操作する時に起きる権限エラーについて、実際のエラー内容からサービスアカウントの IAM 権限以外に疑うこと、その対処法について紹介します。 前提知識 事象 原因 エラー文の違い 対処 アクセススコープの変更 手動で作成したサービスアカウントをアタッチ ユーザーアカウントの使用 前提知識 Compute Engine （以下 GCE）は、デフォルトでは PROJECT_NUMBER-compute@developer.gserviceaccount.com のサービスアカウントが設定されます。但し、このサービスアカウントにはプロジェクトレベルで 編集者（roles/editor）ロールが付与されており、広範囲な権限を持っているため
IntelliJ IDEAのBigDataToolでS3とGCSのオブジェクトを操作してみる | DevelopersIO
はじめに データアナリティクス事業本部のkobayashiです。 IDEとしてJetBrainsのIntellijを愛用しています。前回AWS Toolkit for JetBrains を使ってS3のオブジェクト操作を試してみたのですが、他にも便利なプラグインはないかと探していたところJetBrainsが公式で出しているプラグインであるBig Data Tools がありこちらも使い勝手が良かったのでまとめます。 Big Data Toolsとは Big Data ToolsはJetBrainsが公式に出しているJetBrainsのIDEで動くプラグインで、Zeppelin、 S3、GooglCloudStorage、Spark、Hadoop分散ファイルシステム（HDFS）のデータを監視・処理するためのプラグインになります。 With this plugin, you can conve
【Next.js】GCSやS3でNext.jsを静的ホスティングする際の注意点（dynamic routing） | Mitsuru Takahashi Personal Site
【Next.js】GCSやS3でNext.jsを静的ホスティングする際の注意点（dynamic routing）2021/10/30 Next.jsを静的ホスティングする際に、若干詰まったので注意点をまとめておきます（特にdynamic routingを使用する場合は注意）。 Next.jsはもともとSSR用のフレームワークだったこともあり、ホスティングには（Vercelなどのサービスを使用することを除けば）基本的にサーバーを用意してあげることが多いと思います。 一方でフロントエンドをホスティングするためにわざわざサーバーとかを用意したくはないので、S3やGCSでもホスティングしたい、という方も多いのではないでしょうか。 もちろん、Next.jsにはSSG機能が追加されたので静的ホスティングはできるようになっています。 ただし冒頭で述べたように、Vercelなどのサービスを使用する場合と比
Cloud Composer で Airflow 環境を立ち上げて、GCS から BigQuery へのデータロードを実行してみた | DevelopersIO
Cloud Composer で Airflow 環境を立ち上げて、GCS から BigQuery へのデータロードを実行してみた こんにちは、みかみです。 OSS の ワークフローエンジン Airflow は、特に Python 実装の環境では利用されることも多いのではないかと思いますが、Airflow の実行環境をゼロから作成しようとすると少し手間がかかります。 Google Cloud Composer を使うとマネージドな Airflow 環境がすぐに利用可能とのことなので、ためしてみました。 サービスの概要 ｜ Cloud Composer ドキュメント Cloud Composer の概要 ｜ Cloud Composer ドキュメント やりたいこと Cloud Composer をさわってみたい Cloud Composer は通常の Airflow と同じような使い勝手かど
なぜこれを作ったか あるあるニーズを満たすためです Google Cloud Storage（GCS） に画像などのオブジェクトを格納しているが、Google Cloud Load Balancer（GCLB）経由でアクセスしたい GCSへのダイレクトアクセスは拒否したい GCLB 経由であれば、カスタムドメインはもちろん、Cloud Armor や Cloud CDN も使えるし、いいですよね なので GCLB をバイパスして、GCS にダイレクトアクセスするのを禁止したいのです これはさせたくないってことですね 準備できてれば、5分程度でさくっとできるのでお手軽です 構成 GCLB と GCS の間に Proxy を設置して、アクセス制御します 運用を楽にしたいので、Cloud Run を使います ここでは Preview の 第2世代を使ってます （気は進みませんが）1コンテナに n
BigQuery で GCS 外部テーブルにもキャッシュが使えるようになったので、どのくらい速くなるのか確認してみた | DevelopersIO
BigQuery で GCS 外部テーブルにもキャッシュが使えるようになったので、どのくらい速くなるのか確認してみた こんにちは、みかみです。 2021/02/12 の BigQuery のリリースで、GCS ファイルをソースデータとする外部テーブルに対する SQL クエリでキャッシュが利用できるようになったそうです！ February 12, 2021 ｜ Release notes キャッシュに保存されているクエリ結果を使用する ｜ BigQuery ドキュメント Cloud Storage データのクエリ ｜ BigQuery ドキュメント やりたいこと GCS 外部テーブルへの SQL で本当にキャッシュが使えるようになったのか確認したい キャッシュを利用した場合の使用スロット数を確認したい キャッシュ有無で SQL 実行時間と使用スロット数がどのくらい変わるか確認したい 実テーブ
一、背景 背景：AdobeAnalyticsのデータをBigqueryに蓄積して活用しようということで、1時間分のCSVデータをZipfiles形式で1時間ごとGoogleCloudStorageに転送されていて、その後Bigqueryにテーブルとして集約します。 元々はDataproc上のSparkJobで処理しているですが、コスパを考えてDataflowへの移行を決まりました。 実行するための権限周りについてはGoogleの公式ドキュメントまでご参照いただければ幸いです。 二、アーキテクチャ 今回のアーキテクチャは下記のようになります。 GCS上に格納されるZIPファイルをトリガーとして、CloudFuntionsを起動し、その後Dataflowに送信してflexTemplatesのJobを実行し、CSVデータをBigqueryのテーブルにアウトプットします。 三、ApacheBeam
2023年は「Cloud Run を触って覚える」をテーマとした ひとりアドベントカレンダー を開催しており、Cloud Run のさまざまな機能や Cloud Run でよく使う構成などをご紹介しています。 20日目は Cloud Run と Cloud Storage FUSE の基本的な使い方についてご紹介します。 Cloud Run の概要は「gihyo.jp」で解説していますので、こちらもぜひご覧ください。 Cloud Storage FUSE (GCS FUSE) とは オープンソースの FUSE アダプタを使用した、Cloud Storage バケットをファイルシステムとしてマウントする方法です。Cloud Run からも利用することができ、Cloud Storage を複数のコンテナ間、サービス間、ジョブ間の共有ストレージとして利用することができます。 Cloud Stor
BigQuery のスケジューリングクエリって何がうれしいの？ ～ 毎時 GCS データを集計するユースケースを想定して動かしてみた～ | DevelopersIO
BigQuery のスケジューリングクエリって何がうれしいの？ ～ 毎時 GCS データを集計するユースケースを想定して動かしてみた～ こんにちは、データアナリティクス事業本部のみかみです。 本エントリは、クラスメソッド BigQuery Advent Calendar 2020 の 13 日目のエントリです。 25日のアドベントカレンダー終了まで、弊社クラスメソッド データアナリティクス事業本部のメンバーで、Google BigQuery に関する記事を紡いでいこうと思います。 BigQuery のスケジューリングクエリって何がうれしいの？ BigQuery では管理コンソールの UI から、SQL のスケジュール実行を登録することができます。 クエリのスケジューリング ｜ BigQuery ドキュメント つまり BigQuery では、マートデータ作成などの SQL 実行で完結する処理
本記事はGCP(Google Cloud Platform) Advent Calendar 2022 2日目の記事です。 3日目: k8s × IAP @po3rin さん です。 TL;DR Edge Security PolicieでバックエンドバケットにもIP制限が可能に ただしGCSが公開状態だとそちらのURLにアクセスは出来てしまう 署名付きURLでプライベートなGCSでCLBからのアクセスが可能だが課題は残る はじめに クラウドを使っていても、社内向けシステムやテスト環境はインターネット上に公開したくないので、IP制限を掛けたいケースは良くありますよね？ GCPの場合、いくつか方法はありますがWebシステムの場合はCloud Load Balancing (CLB)とCloud Armorを組合わせてやるのが一般的だと思います。GCEに置いたシステムだろうとGKEだろうとCl
はじめに データアナリティクス事業本部のkobayashiです。 Amazon S3からGoogle Cloud Storage(GCS)へオブジェクトを転送するサービスとしてはStorage Transfer Serviceを使うことでOne-timeの転送やスケジューリングで定期転送を行うことができます。 一方、GCSからS3への転送となるとフルマネージドなサービスがなかなかありません。今回極力マネージドなサービスを使ってGCSからS3へ転送する仕組みを作ってみたのでまとめます。 Storage Transfer Service | Google Cloud Cloud Run JobsのシェルジョブでGCSからS3へ転送する GCSからS3への転送を極力マネージドな仕組みで実現するために今回作ってみるのは以下のようなものです。 gsutilのrsyncを使ってGCSからS3への転
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 本記事はGoogle Cloud Storage（GCS）やBig Query（BQ）を、ユーザーアカウントではなくサービスアカウントから利用する方法を解説します。 環境 筆者は以下の環境を利用していますが、GCのクラウド圏外から圏内にアクセスする場合は、環境問わず考え方は一緒です。 Ubuntu (WSL) python GCS また、厳密にはWSL上でDockerを立ち上げています。DockerイメージはDebianベースのものです。 ニーズが発生した背景 やろうとしている事の意図を補足するセクションなので、読み飛ばしてもOKです。
Brazeブロガーの國崎です。 前回BrazeのCurrentsを使ってGoogle Cloud Storageにエクスポートするをやってみました。 ひとしきり、やった自分を褒めちぎったので次はGCS➡︎BigQueryに連携して、結果Braze➡︎GCS➡︎BigQueryが出来てるよね！ってことをしようと思い、その手順を当記事では書かせていただこうと思います。 前提条件 Google Cloudのプロジェクト設定は完了している Brazeの契約プランにCurrentsを入れている Braze➡︎GCSの手順 まず手順としてはBrazeのCurrentsを使ってGCSに書き出すところからやるのですが、そちらについてはこちらの記事で詳細を書いてますので、今回は割愛します。 GCSへの連携が終わったら、次はBigQueryへの連携です。 GCS➡︎BigQueryの手順 BigQueryを操
Apache BeamでJavaのObjectをParquet形式でS3とGCSとローカルに出力する - YOMON8.NET
GCPのCloud Dataflowでも使われている、Apache BeamでJavaの内部で持っているデータをParquetに出力するやり方です。 サンプルコードの構成 元にしたMaven ArcheType 利用するPOJO GenericRecordへの変換 出力先の切り替え ローカルに出力してみる GCSに出力してみる AWS S3に出力してみる サンプルコードの構成 以下のリポジトリに今回書いているコードを置いておきました。 github.com こちらで補足書いておきます。 元にしたMaven ArcheType こちらのMaven ArcheType元に作成しています。バージョンは現在の最新の2.22.0を利用しています。 mvnrepository.com 利用するPOJO 以下の構造のデータをParquetに変換してみます。 static class PC { Strin
GCSへのアクセスをIdentity Aware Proxyで制限したいのでProxyを作った - 時計を壊せ
storybookを共有したいなど、GCSに静的ファイルを配置しつつもそれを限定したメンバーだけに見せたいような用途ではアクセスを簡単かつ確実に制限するために、その制限にIdentity Aware Proxyを使いたくなることがあります。 しかし、Identity Aware ProxyはBackend Serviceに紐付けることはできますが、Backend Bucketに紐付けることはできません。Cloud Armerも同様です。 そこで、Backend ServiceとしてGCSのコンテンツを配信できるように、Proxy Serverを作りました。 github.com ghcr.io/karupanerura/gcsproxy:v0.0.1 にビルド済のイメージを置いてあるので、 これをそのまま（予め自身のProjectのArtifact Registryにコピーを配置した上で）
Cloud Composer で GCS から SFTP サーバ にファイル転送してみた 〜パスワード認証編〜 | DevelopersIO
本記事はGCP(Google Cloud Platform) Advent Calendar 2022 11日目の記事です。 こんにちは！エノカワです。 Cloud Composer は、Apache Airflow で構築されたフルマネージドのワークフローオーケストレーションサービスです。 Apache Airflow のオープンソース プロジェクトを基に構築されており、Python プログラミング言語を使用して動作します。 今回は、Cloud Storage にあるファイルをSFTPサーバに転送するというワークロードを Cloud Composer で試してみたのでご紹介します。 下記エントリでは、同様のワークロードを Cloud Functions を使って実現した事例が紹介されていますので、こちらも是非ご参照ください！ SFTPサーバをたてる ファイル転送先のSFTPサーバをたてま
クラウドストレージへのファイルアップロード&ETLツール『Data Uploader』の入力にGoogle Cloud Storage(GCS)環境のファイルを指定する #データ統合基盤 #CSアナリティクス | DevelopersIO
当エントリは『クラスメソッド CSアナリティクス Advent Calendar 2020』5日目のエントリです。 クラスメソッド CSアナリティクス Advent Calendar 2020 - Qiita クラスメソッド CSアナリティクス Advent Calendar 2020 ｜ 特集カテゴリー ｜ Developers.IO ビッグデータ分析支援のカスタマーストーリーアナリティクス｜クラスメソッド｜クラスメソッドのサービス 当エントリでは、クラスメソッドが展開しているデータ統合基盤サービス『CSアナリティクス』(以降"CSA")のプロダクト群の1つ、『Data Uploader』の入力に、任意のGoogle Cloud Storage(GCS)環境下のテキストファイルを指定する手順について紹介します。 目次 Google Cloud Storage(GCS)の接続設定の準備 C
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GoとGCSで100GBの巨大zipファイルを展開する | Re:Earth Engineering
GCSの画像をデータポータルで表示する方法 - ITips
TurborepoのリモートキャッシュサーバをCloud RunとGCSで構築する
gsutilでGCSバケット内のファイル数を数える方法 - ITips
node の S3Client から S3, GCS, R2 を操作する
CDNのオリジンにGCSを使う際に注意したいポイント | GREE Engineering
Cloud Storage(GCS)を徹底解説 - G-gen Tech Blog
shi3z on X: "Claude-3によるアニメ自動生成 manim使うようにしたら想像を絶する結果になって絶句してる。これ嬉しいけど仕事減る人確実に出る(でもこれ本来やりたくない仕事の部類だからもういいのかな) これ昔MAXHEADROOMでブライスリンチがやってたデモとほぼ同じじゃんよ #AIアニメ… https://t.co/gCs3N21xy9"
【GCP】特定のGCSバケットに特定のユーザーしかアクセスできないようにする
GCEからGCS操作時の権限エラーでサービスアカウントのIAM以外に疑うこと - G-gen Tech Blog
Cloud Run で サーバーレス GCS Proxy
【GCP】GCSにあるZipfilesをBigqueryに~Dataflowによる実装 - Qiita
Cloud Run と Cloud Storage FUSE (GCS FUSE) の基本
Google Cloud Storage(GCS)上の画像やJSにIP制限をかける
GCS to S3を極力マネージドサービスで実現してみる | DevelopersIO
GCSやBQにサービスアカウント権限借用を用いてアクセスする - Qiita
Braze➡︎GCS➡︎BigQueryを連携してみた | DevelopersIO