タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Google Cloud Storage（GCS）でうっかり30万以上溶かした話 - のんびりしているエンジニアの日記
皆さんこんにちは。 コンペで頑張ったので疲れました。 さて、Google Landmark 2021が終了し、Retrieval5位（金）、Recognition12位（銀）となりました。 本日は自戒と反省により、クラウドで30万円消失した話を 記録として書こうと思います。皆さん私を見て反面教師にしてください。 事象 9月入ってからLandmark2021に参加し、Google Cloud Platform、通称GCPを利用していた。 主な利用はGoogle Cloud Storageのみで、ほぼ容量課金だろうと高をくくっており、課金請求の上限など入れ忘れてました。 すると9/18に久々に請求額を確認すると32万ほどの請求額がありました。 さすがに目玉が飛び出て、調査にあたったといったものになります。 課金内容を確認したら原因はすぐにわかり、チームで対策を打ちました。（私が慌てて学習にスト
歌舞伎町でアナフィラキシーショックを起こして倒れた時に適切な処置を行ったホストと思われる人を探しています「GCSも伝えるのはプロ」
🍒北川 亜里沙･一式持ってホテルへ出張もする講習員🍒 @kitagawamat 先日歌舞伎町にて、移動中にアナフィラキシーショックで倒れてた所にエピペンを打ってくださったホストさんと思われる男性を探しております🔔 その場で意識戻ったものの記憶があまりなく、救急隊員の方からホストっぽい男性がエピペン処置して119番してくれたと聞きました👂 2023-09-03 18:30:51 🍒北川 亜里沙･一式持ってホテルへ出張もする講習員🍒 @kitagawamat 通報時のお名前(偽名かも)は頂きましたが、女性と一緒だったらしく恐らく同伴の最中かな？と思いました。 180cmくらいの細身(そんな、いっぱいいる😱)、茶髪だそうです。 それ俺です！一緒にいた女子です！ 是非名乗り出て下さると嬉しい🙏 あのエピペン処置なかったら私、今生きていません😢 続 2023-09-03 18:30
はじめに ファイルをアップロードすることができる機能を持ったWebアプリケーションやクラウドサービスは世の中に多数あります。しかし、アップロードしたzipファイルを自動で展開（解凍）してくれて、中身のファイルが閲覧できる機能を持ったサービスは、あまり多くはないかもしれません。 もし、Google Cloud上で、zipファイルをアップロードし自動的に展開してGCSに配置するシステムを作るとしたら、どうやって実現すればよいでしょうか。たとえ100GBのzipファイルでも問題なく展開できるようにするには？ そんな難題に挑み、GCSにアップロードされた100GB級のzip/7zファイルを自動的に展開することができるシステムをGoで実装し、プロダクションレベルで実現しました。その技術について解説します。 背景 PLATEAU VIEWの画面 Eukaryaでは、国土交通省が主導しているProjec
BigQueryやその他様々なデータを表やグラフにして可視化できるサービスである「データポータル」(旧data studio)。 表形式でデータを表示する際、URLから画像を表示させることもできる。 ではGCSに保存した画像を表示させたい場合、どうすればいいのか。 今回は「GCSの画像をデータポータルで表示する方法」について紹介する。
モチベーション Turborepoを使用する目的はいくつかありますが、リモートキャッシュが一番大きいと個人的には思っています。 リモートキャッシュを使用することで、CIの高速化やチームメンバーのローカルでの開発体験向上にもつながります。 リモートキャッシュを導入する最も簡単な方法は、Vercelを利用することですが、チームでとなるとアカウント管理や料金など問題が発生します。 アカウントレスなチーム専用のリモートキャッシュサーバをセルフホストし、上記の問題を解消することが本稿のモチベーションです。 なお、Turborepoの紹介や導入・使用方法に関しては説明を省きますので、詳しく知りたい方は公式サイトやドキュメント、下記のmizchiさんの記事などを参照してください。 リポートキャッシュサーバのセルフホスト 公式ドキュメントでVercel以外のリモートキャッシュサーバとの連携について明記され
Googleのクラウド環境上にファイルを保存できるGoogle Cloud Storage (GCS)。 GCSを使っていると、バケットのなかに保存したファイルがいくつあるのか数えたくなることがある。 しかし数が多いとブラウザ上で数えるのは大変。 そこでGCSをコマンドで操作できるようにした gsutil パッケージを利用して数える。 今回は、「gsutilでGCSバケット内のファイル数を数える方法」を解説する。
こんにちは、いわなちゃんさん(@xcir)です。 Webサイトには様々なリソースが存在し、それらをS3やGCSなどのオブジェクトストレージに格納することはよくあります。 しかし、多くのサイトではオブジェクトストレージを直接使うことはあまりなく（そもそもお勧めできませんが）通常はCDNを被せて利用します。 オブジェクトストレージを提供するプラットフォームはCDNも提供しています。 例えばAWSであればCloudFrontがありますしGCPであればCloudCDNがあり、それらを組み合わせで使う場合も多いでしょう。 ところが機能、コストなど様々な理由でAkamaiやFastlyなどの外部CDNを使うことがあります。 オブジェクトストレージなので単純にファイル置き場として考えればそこまで気にするポイントはないのかもしれません。 ところが、GCSについては組み込みキャッシュ(Built-in ca
S3、というより S3 API は、AWS というよりオブジェクトストレージ界の標準になりつつあります。S3 互換を謳うオブジェクトストレージはそれこそ毎月一個増えてるんじゃないでしょうか。 複数の CDN 構成をとるとき、クラウドごとのSDK のコードを書くのではなく、一つの実装(自分の場合 node の @aws-sdk/client-s3)で、全部のバケット処理を統一できないか考えて実験してみました。 APIごとに有効な機能、無効な機能で細かい差がありますが、この記事ではそこまで踏み込みません。 記事中の <key> や <secret> は自分で取得してください。 AWS S3 まずは普通に AWS に繋ぐコードです。 accessKeyId や secrentAccessKey の取得方法は省略します。 import { ListObjectsV2Command, S3Clien
GCS にファイルが配置されたらイベント駆動で BigQuery にデータロードするサーバレスなジョブをつくってみた | DevelopersIO
こんにちは、みかみです。 やりたいこと GCS のファイルを BigQuery にロードするジョブを手軽に（サーバレスで）実装したい GCS にファイルが配置されたタイミングでイベント駆動でデータロードジョブを実行したい GCS バケットを作成 以下のチュートリアルを参考に、gcloud コマンドで GCS バケットと Cloud Functions 関数をデプロイします。 Cloud Storage のチュートリアル ｜ Cloud Functions ドキュメント Cloud Shell を使えば、ブラウザ上でコマンドラインが実行でき、gcloud ツールもプリインストールされているので便利です。 Cloud Shell での gcloud コマンドの実行 ｜ Cloud Shell ドキュメント まずはデータ連携用の GCS バケットを作成します。 gcp_da_user@cloud
G-genの杉村です。 Google Cloud (旧称 GCP) の容量無制限・低価格・堅牢なオブジェクトストレージサービスである Cloud Storage を解説します。 Cloud Storage の基本 Cloud Storage とは オブジェクトストレージとは 使い方 ユースケース 料金 (基本) 用語 バケット オブジェクト メタデータ フォルダ パス Cloud Storage の詳細 料金 (詳細) ストレージクラス Soft delete ポリシー ライフサイクルマネジメント バージョニング バケットのリージョン (ロケーション) セキュリティ アクセス制御 IAM と ACL パブリック公開 パブリック公開の禁止 暗号化 保持ポリシー（Bucket Lock） オブジェクト保持（Object Lock） Autoclass Autoclass とは バケット作成後の
デカ過ぎて固定資産税がかかりそうな GCS 上の古いデータをアーカイブする | メルカリエンジニアリング
この記事は、 Merpay Tech Openness Month 2020 の 2 日目の記事です。 こんにちは。メルペイ DataPlatform チーム、ソフトウェアエンジニアの @syucream です。 主にメルペイのデータ基盤の開発・運用の業務に携わっております。今回はみんな大好きお金とビッグデータとコスト削減のお話をします。 はじめに 様々なデータを収集して横断的に分析可能にする、いわゆるデータ基盤には少なくないコストが掛かります。「ビッグデータ」という言葉が示すような大量のデータを保存して処理する際には、永続化のためのストレージコストがかかります。この課題は我々メルペイ DataPlatform チームも無関係ではありません。以前の記事で紹介させていただきましたが、我々のデータ基盤はさまざまなマイクロサービスからのデータベースや出力されたログを横断管理できるようにしています
Cloud DataflowでGCS→BQのパイプラインをPythonで試してみる | DevelopersIO
はじめに データアナリティクス事業本部のkobayashiです。 GoogleCloudのETLサービスのDataflowを調査する機会があり、Google Cloud Storage(以降GCS)にあるCSVファイルをBigQueryにロードする処理をPythonスクリプトで試してみましたのでまとめます。 Dataflow | Google Cloud Cloud Storage Text to BigQuery DataflowはマネージドなApache Beam Runnerでプログラミング言語としてはJava,Python,Goを使うことができます。今回やろうとしている「Cloud Storage Text to BigQuery」に関してはGoogle提供のバッチテンプレートがありますが、このテンプレートはJavaで記述されているため使用せずPythonで実装してみます。 B
やりたいこと GCSバケットを何も設定しないで作成すると、プロジェクトのOwner、Editor、ViewerはGCSバケットのオブジェクトを参照することができてします。 さらに、Organization 横断ユーザ(例: セキュリティ監査チームやGSuites管理者)などもアクセスできてしまいます。 たとえば、機密情報を管理するバケットを作る場合など、許可した特定のユーザーのみを、特定のバケットにアクセスを許可する方法を調べました。 結論 プロジェクトレベルのIAMで storage.objects.get の権限を付与しない プロジェクトレベルのIAMとはここで設定する権限のこと https://console.cloud.google.com/iam-admin/iam GCSバケットのアクセス制御は Uniform モードで作成する バケットの詳細ページでパーミッションを設定する
Object Storage(S3, GCS, BlobStorage）の比較まとめ -2020年版- - Qiita
Object Storage(S3, GCS, BlobStorage）の比較まとめ -2020年版-S3GCSBlobStorage オブジェクトストレージはS3、1つとってもストレージクラスの複雑さもさることながら、クラウド間比較をするとさらに複雑になります… 一定以上の規模になると数％の差でもバカにならない差額になってくるので、主要なクラウドのオブジェクトストレージについての比較と短評をまとめたいと思います。積年暖めたものではないので、ミス等ありましたら是非ともご指摘ください。 はじめに 通貨は米ドル、リージョンは日本/東日本を既定路線とし、料金ラダーがある場合は最も小さい利用量の価格帯にて比較します。また、比較を容易にするために、似ているけれども異なる言い回しをしている部分は用語統一を優先とし、多少不正確な表現を使うことがあるかもしれません。マルチリージョンについては複雑な割に一般
海乱鬼 on Twitter: "4月3日(金)、東京渋谷のど真ん中で、外国人と日本人の大きなパーティが行われようとしています。カラーバンドで彼氏彼女無しを示す明らかな合コンです。コロナで外出自粛、不特定多数との濃厚接触禁止の厳命下にある中信じられない。イベントを… https://t.co/1dp5Co7GCS"
4月3日(金)、東京渋谷のど真ん中で、外国人と日本人の大きなパーティが行われようとしています。カラーバンドで彼氏彼女無しを示す明らかな合コンです。コロナで外出自粛、不特定多数との濃厚接触禁止の厳命下にある中信じられない。イベントを… https://t.co/1dp5Co7GCS
PandasのデータをpyarrowでParquet変換してGCS(Google Cloud Storage)にアップロード - YOMON8.NET
タイトルの通りです。PandasのDataframeをpyarrowでParquetに変換して、そのままGCSにアップロードしています。 スクリプト こんな形で実行可能です。ファイルを経由しないでBufferから、そのままアップロードしています。 import pandas as pd import pyarrow as pa import pyarrow.parquet as pq import numpy as np import datetime from google.cloud import storage as gcs # ダミーデータでDataframe作成 row_num = 100000 string_values = ['Python', 'Ruby', 'Java', 'JavaScript', 'PHP','Golang'] df = pd.DataFrame({
BigQuery に外部テーブルを定義して、GCS のファイルデータを SQL で参照してみた | DevelopersIO
こんにちは、みかみです。 AWS では S3 上のデータに直接 SQL クエリを実行できる Athena や、S3上のデータと Redshift のテーブルを結合できる Redshift Spectrum がありますが、GCP でも同様に BigQuery の external テーブルを使って GCS 上のデータを SQL で参照できるようなので、確認してみました。 外部データソースの概要 ｜ BigQuery ドキュメント やりたいこと GCS に格納したファイルに対して、BigQuery から SQL クエリを実行してデータを参照したい。 Cloud Storage データのクエリ ｜ BigQuery ドキュメント 制限事項 BigQuery の external テーブルを作成する場合、外部データソースと BigQuery のデータセットは、同一リージョンで作成する必要があります
Google Apps Script でスプレッドシートデータを CSV にして GCS に出力してみた。 | DevelopersIO
Google Apps Script でスプレッドシートデータを CSV にして GCS に出力してみた。 こんにちは、みかみです。 スプレッドシートでは、画面 GUI 操作でデータを CSV 形式でダウンロードすることもできますが、 ダウンロードした CSV を GCS に配置したい場合、いちいち手動でアップロードするのは面倒です。 ということで。 やりたいこと スプレッドシートデータを CSV ファイルで GCS に出力したい 前提 ファイル出力先の GCS バケットは作成済みです。 また、本エントリでご紹介の内容は、以下の記事を参考にさせていただきました。 どうもありがとうございました！ gcsにgasからファイルを公開して、アクセス耐性100万倍させるゾッと ｜ Qiita スプレッドシートを準備 まずはスプレッドシートを作成します。 シート名を data に変更して、出力データを
GCS の Parquet データを BigQuery から参照してみた ～ Parquet データのロードと外部テーブルによる参照～ | DevelopersIO
GCS の Parquet データを BigQuery から参照してみた ～ Parquet データのロードと外部テーブルによる参照～ こんにちは、みかみです。 やりたいこと GCS に配置した Parquet データを BigQuery で参照したい BigQuery に Parquet データをロードしたい BigQuery に Parquet データをロードする場合、意図通りのデータ型を自動検出してテーブル作成してくれるかどうか確認したい BigQuery に Parquet データをロードする場合の制限事項を知りたい パーティショニングされた Parquet データを BigQuery から参照するにはどうすればいいのか知りたい Parquet データを準備 以下のサイトで動作確認用の CSV データを作成しました。 TM - WebTools できたサンプルデータはこんな感じです
IntelliJ IDEAのBigDataToolでS3とGCSのオブジェクトを操作してみる | DevelopersIO
はじめに データアナリティクス事業本部のkobayashiです。 IDEとしてJetBrainsのIntellijを愛用しています。前回AWS Toolkit for JetBrains を使ってS3のオブジェクト操作を試してみたのですが、他にも便利なプラグインはないかと探していたところJetBrainsが公式で出しているプラグインであるBig Data Tools がありこちらも使い勝手が良かったのでまとめます。 Big Data Toolsとは Big Data ToolsはJetBrainsが公式に出しているJetBrainsのIDEで動くプラグインで、Zeppelin、 S3、GooglCloudStorage、Spark、Hadoop分散ファイルシステム（HDFS）のデータを監視・処理するためのプラグインになります。 With this plugin, you can conve
Cloud Composer で Airflow 環境を立ち上げて、GCS から BigQuery へのデータロードを実行してみた | DevelopersIO
Cloud Composer で Airflow 環境を立ち上げて、GCS から BigQuery へのデータロードを実行してみた こんにちは、みかみです。 OSS の ワークフローエンジン Airflow は、特に Python 実装の環境では利用されることも多いのではないかと思いますが、Airflow の実行環境をゼロから作成しようとすると少し手間がかかります。 Google Cloud Composer を使うとマネージドな Airflow 環境がすぐに利用可能とのことなので、ためしてみました。 サービスの概要 ｜ Cloud Composer ドキュメント Cloud Composer の概要 ｜ Cloud Composer ドキュメント やりたいこと Cloud Composer をさわってみたい Cloud Composer は通常の Airflow と同じような使い勝手かど
【Next.js】GCSやS3でNext.jsを静的ホスティングする際の注意点（dynamic routing） | Mitsuru Takahashi Personal Site
【Next.js】GCSやS3でNext.jsを静的ホスティングする際の注意点（dynamic routing）2021/10/30 Next.jsを静的ホスティングする際に、若干詰まったので注意点をまとめておきます（特にdynamic routingを使用する場合は注意）。 Next.jsはもともとSSR用のフレームワークだったこともあり、ホスティングには（Vercelなどのサービスを使用することを除けば）基本的にサーバーを用意してあげることが多いと思います。 一方でフロントエンドをホスティングするためにわざわざサーバーとかを用意したくはないので、S3やGCSでもホスティングしたい、という方も多いのではないでしょうか。 もちろん、Next.jsにはSSG機能が追加されたので静的ホスティングはできるようになっています。 ただし冒頭で述べたように、Vercelなどのサービスを使用する場合と比
なぜこれを作ったか あるあるニーズを満たすためです Google Cloud Storage（GCS） に画像などのオブジェクトを格納しているが、Google Cloud Load Balancer（GCLB）経由でアクセスしたい GCSへのダイレクトアクセスは拒否したい GCLB 経由であれば、カスタムドメインはもちろん、Cloud Armor や Cloud CDN も使えるし、いいですよね なので GCLB をバイパスして、GCS にダイレクトアクセスするのを禁止したいのです これはさせたくないってことですね 準備できてれば、5分程度でさくっとできるのでお手軽です 構成 GCLB と GCS の間に Proxy を設置して、アクセス制御します 運用を楽にしたいので、Cloud Run を使います ここでは Preview の 第2世代を使ってます （気は進みませんが）1コンテナに n
※ 当たり前のことでドキュメント通読すればいい話ですが、ちょっとハマったので備忘録として書きました。 Google Cloud Storage(GCS)に保存してあるデータを取得するという話です。 GCSから取得する時 storageパッケージを使います。 godoc.org データを取得するだけであれば以下のコードを書いて終了です。 func GetDataFromGCS(w http.ResponseWriter, r *http.Request) http.Handler{ ctx := appengine.NewContext(r) // Contextの作成 clinet, err := storage.NewClient(ctx) if err != nil { panic(err) } reader, err := client.Bucket("BUCKET_NAME").O
BigQuery で GCS 外部テーブルにもキャッシュが使えるようになったので、どのくらい速くなるのか確認してみた | DevelopersIO
BigQuery で GCS 外部テーブルにもキャッシュが使えるようになったので、どのくらい速くなるのか確認してみた こんにちは、みかみです。 2021/02/12 の BigQuery のリリースで、GCS ファイルをソースデータとする外部テーブルに対する SQL クエリでキャッシュが利用できるようになったそうです！ February 12, 2021 ｜ Release notes キャッシュに保存されているクエリ結果を使用する ｜ BigQuery ドキュメント Cloud Storage データのクエリ ｜ BigQuery ドキュメント やりたいこと GCS 外部テーブルへの SQL で本当にキャッシュが使えるようになったのか確認したい キャッシュを利用した場合の使用スロット数を確認したい キャッシュ有無で SQL 実行時間と使用スロット数がどのくらい変わるか確認したい 実テーブ
一、背景 背景：AdobeAnalyticsのデータをBigqueryに蓄積して活用しようということで、1時間分のCSVデータをZipfiles形式で1時間ごとGoogleCloudStorageに転送されていて、その後Bigqueryにテーブルとして集約します。 元々はDataproc上のSparkJobで処理しているですが、コスパを考えてDataflowへの移行を決まりました。 実行するための権限周りについてはGoogleの公式ドキュメントまでご参照いただければ幸いです。 二、アーキテクチャ 今回のアーキテクチャは下記のようになります。 GCS上に格納されるZIPファイルをトリガーとして、CloudFuntionsを起動し、その後Dataflowに送信してflexTemplatesのJobを実行し、CSVデータをBigqueryのテーブルにアウトプットします。 三、ApacheBeam
BigQuery のスケジューリングクエリって何がうれしいの？ ～ 毎時 GCS データを集計するユースケースを想定して動かしてみた～ | DevelopersIO
BigQuery のスケジューリングクエリって何がうれしいの？ ～ 毎時 GCS データを集計するユースケースを想定して動かしてみた～ こんにちは、データアナリティクス事業本部のみかみです。 本エントリは、クラスメソッド BigQuery Advent Calendar 2020 の 13 日目のエントリです。 25日のアドベントカレンダー終了まで、弊社クラスメソッド データアナリティクス事業本部のメンバーで、Google BigQuery に関する記事を紡いでいこうと思います。 BigQuery のスケジューリングクエリって何がうれしいの？ BigQuery では管理コンソールの UI から、SQL のスケジュール実行を登録することができます。 クエリのスケジューリング ｜ BigQuery ドキュメント つまり BigQuery では、マートデータ作成などの SQL 実行で完結する処理
本記事はGCP(Google Cloud Platform) Advent Calendar 2022 2日目の記事です。 3日目: k8s × IAP @po3rin さん です。 TL;DR Edge Security PolicieでバックエンドバケットにもIP制限が可能に ただしGCSが公開状態だとそちらのURLにアクセスは出来てしまう 署名付きURLでプライベートなGCSでCLBからのアクセスが可能だが課題は残る はじめに クラウドを使っていても、社内向けシステムやテスト環境はインターネット上に公開したくないので、IP制限を掛けたいケースは良くありますよね？ GCPの場合、いくつか方法はありますがWebシステムの場合はCloud Load Balancing (CLB)とCloud Armorを組合わせてやるのが一般的だと思います。GCEに置いたシステムだろうとGKEだろうとCl
Apache BeamでJavaのObjectをParquet形式でS3とGCSとローカルに出力する - YOMON8.NET
GCPのCloud Dataflowでも使われている、Apache BeamでJavaの内部で持っているデータをParquetに出力するやり方です。 サンプルコードの構成 元にしたMaven ArcheType 利用するPOJO GenericRecordへの変換 出力先の切り替え ローカルに出力してみる GCSに出力してみる AWS S3に出力してみる サンプルコードの構成 以下のリポジトリに今回書いているコードを置いておきました。 github.com こちらで補足書いておきます。 元にしたMaven ArcheType こちらのMaven ArcheType元に作成しています。バージョンは現在の最新の2.22.0を利用しています。 mvnrepository.com 利用するPOJO 以下の構造のデータをParquetに変換してみます。 static class PC { Strin
pythonによるGCSへのバケット・ファイルの操作（転送・取得・削除・読み込み等）まとめ - Qiita
※以下のコードはJupyter Notebookで書いて使用するものとなります。 ※GCP、GCSに対する環境構築や設定が行われていることを前提とします。 import os import pandas as pd from io import BytesIO from google.cloud import storage # ↓my_gcp_credentials.jsonはサービスアカウントから発行している storage_client = storage.Client.from_service_account_json('my_gcp_credentials.json')
GCSへのアクセスをIdentity Aware Proxyで制限したいのでProxyを作った - 時計を壊せ
storybookを共有したいなど、GCSに静的ファイルを配置しつつもそれを限定したメンバーだけに見せたいような用途ではアクセスを簡単かつ確実に制限するために、その制限にIdentity Aware Proxyを使いたくなることがあります。 しかし、Identity Aware ProxyはBackend Serviceに紐付けることはできますが、Backend Bucketに紐付けることはできません。Cloud Armerも同様です。 そこで、Backend ServiceとしてGCSのコンテンツを配信できるように、Proxy Serverを作りました。 github.com ghcr.io/karupanerura/gcsproxy:v0.0.1 にビルド済のイメージを置いてあるので、 これをそのまま（予め自身のProjectのArtifact Registryにコピーを配置した上で）
Cloud Composer で GCS から SFTP サーバ にファイル転送してみた 〜パスワード認証編〜 | DevelopersIO
本記事はGCP(Google Cloud Platform) Advent Calendar 2022 11日目の記事です。 こんにちは！エノカワです。 Cloud Composer は、Apache Airflow で構築されたフルマネージドのワークフローオーケストレーションサービスです。 Apache Airflow のオープンソース プロジェクトを基に構築されており、Python プログラミング言語を使用して動作します。 今回は、Cloud Storage にあるファイルをSFTPサーバに転送するというワークロードを Cloud Composer で試してみたのでご紹介します。 下記エントリでは、同様のワークロードを Cloud Functions を使って実現した事例が紹介されていますので、こちらも是非ご参照ください！ SFTPサーバをたてる ファイル転送先のSFTPサーバをたてま
クラウドストレージへのファイルアップロード&ETLツール『Data Uploader』の入力にGoogle Cloud Storage(GCS)環境のファイルを指定する #データ統合基盤 #CSアナリティクス | DevelopersIO
当エントリは『クラスメソッド CSアナリティクス Advent Calendar 2020』5日目のエントリです。 クラスメソッド CSアナリティクス Advent Calendar 2020 - Qiita クラスメソッド CSアナリティクス Advent Calendar 2020 ｜ 特集カテゴリー ｜ Developers.IO ビッグデータ分析支援のカスタマーストーリーアナリティクス｜クラスメソッド｜クラスメソッドのサービス 当エントリでは、クラスメソッドが展開しているデータ統合基盤サービス『CSアナリティクス』(以降"CSA")のプロダクト群の1つ、『Data Uploader』の入力に、任意のGoogle Cloud Storage(GCS)環境下のテキストファイルを指定する手順について紹介します。 目次 Google Cloud Storage(GCS)の接続設定の準備 C
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GoとGCSで100GBの巨大zipファイルを展開する | Re:Earth Engineering
GCSの画像をデータポータルで表示する方法 - ITips
TurborepoのリモートキャッシュサーバをCloud RunとGCSで構築する
gsutilでGCSバケット内のファイル数を数える方法 - ITips
CDNのオリジンにGCSを使う際に注意したいポイント | GREE Engineering
node の S3Client から S3, GCS, R2 を操作する
shi3z on X: "Claude-3によるアニメ自動生成 manim使うようにしたら想像を絶する結果になって絶句してる。これ嬉しいけど仕事減る人確実に出る(でもこれ本来やりたくない仕事の部類だからもういいのかな) これ昔MAXHEADROOMでブライスリンチがやってたデモとほぼ同じじゃんよ #AIアニメ… https://t.co/gCs3N21xy9"
Cloud Storage(GCS)を徹底解説 - G-gen Tech Blog
【GCP】特定のGCSバケットに特定のユーザーしかアクセスできないようにする
Cloud Run で サーバーレス GCS Proxy
GCSに保存してあるデータを取得する - emahiro/b.log
【GCP】GCSにあるZipfilesをBigqueryに~Dataflowによる実装 - Qiita
Google Cloud Storage(GCS)上の画像やJSにIP制限をかける
peatix.com
koubodatabase.com
nobleame.hatenablog.com
biz.moneyforward.com
teller.jp
www.itmedia.co.jp