タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Google Cloud Storage（GCS）でうっかり30万以上溶かした話 - のんびりしているエンジニアの日記
皆さんこんにちは。 コンペで頑張ったので疲れました。 さて、Google Landmark 2021が終了し、Retrieval5位（金）、Recognition12位（銀）となりました。 本日は自戒と反省により、クラウドで30万円消失した話を 記録として書こうと思います。皆さん私を見て反面教師にしてください。 事象 9月入ってからLandmark2021に参加し、Google Cloud Platform、通称GCPを利用していた。 主な利用はGoogle Cloud Storageのみで、ほぼ容量課金だろうと高をくくっており、課金請求の上限など入れ忘れてました。 すると9/18に久々に請求額を確認すると32万ほどの請求額がありました。 さすがに目玉が飛び出て、調査にあたったといったものになります。 課金内容を確認したら原因はすぐにわかり、チームで対策を打ちました。（私が慌てて学習にスト
「Amazon S3」から「Google Cloud Storage」に移行したSpotifyの教訓 - ZDNet Japan
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます データをまとめて、あるクラウドから別のクラウドに移行するのは、引っ越しのようにストレスの多い経験になることがある。 「だが、皆さんが思われるほど大変でもない」と、Jyrki Pulliainen氏は語る。同氏は音楽ストリーミングサービス「Spotify」のソフトウェアエンジニアとして、「Amazon Web Services（AWS）」から「Google Cloud Storage」への約15億個のファイル移動を監督したばかりだ。 Spotifyはこの3ペタバイトのデータを移行する際に、幾つかの問題でつまずいたが、移行プロセスは10月中旬までの数週間で完了し、大きなトラブルは起こらなかった。 以下では、Spotifyが「Google C
こんにちは、Google Cloud でプリセールスエンジニアをしている有賀です。 TL; DR表題に関して、いい感じの方法はありません 😥強いて言えば（VM なりサーバーレスサービスなりで作った）プロキシを使うことで実現できますロードバランサーへのアクセス自体も制限してよければ VPC Service Controls も選択肢に入ります目次問題定義Compute Engine、Cloud Run などをプロキシにした IAM アカウントベースのアクセス制限Cloud Storage 閲覧用サービスアカウントの作成Cloud Storage バケットとオブジェクトの用意ファイアウォール ルールでロードバランサーからの VM へのアクセスを許可gcsfuse を使う方法NGINX をプロキシとして使う方法gcs-proxy-cloud-run を使う方法Envoy Proxy を使う方法
Google BigQueryのデータをSQLコマンド「EXPORT DATA」で直接Google Cloud Storageにエクスポート出来るようになりました！ | DevelopersIO
先日(2020/10/16)のGCP/Google BigQueryのリリースノートにて、幾つかの興味深いトピックがありました。詳細については下記公式ブログをご参照ください。 その中で、外部ストレージに関する読み書き(Reading from and writing to external storage)に関するものも含まれていました。関連する文章を上記エントリから抜粋します。 BigQuery provides users the ability to read data in external storage buckets. The new SQL commands allow users to configure tables within BigQuery pointing to these buckets as well as export data from queries
※この投稿は米国時間 2021 年 1 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。 リーダー選出とは、分散システム実装の際に一般的に適用されるパターンです。たとえば、MySQL などのレプリケートされたリレーショナル データベースや、Apache Zookeeper などの分散 Key-Value ストアは、レプリカの中からリーダー（マスターと呼ばれることもあります）を選出します。すべての書き込みオペレーションはリーダーを経由するため、システムに書き込みを行うのは常に 1 つのノードのみです。これは、書き込みが失われたり、データベースが破損したりしないようにするためです。 分散システムのノードの中からリーダーを選出するのは、ネットワーク接続されたシステムと時刻同期の性質により、難しい場合があります。この記事では、リーダー選出（一般的には「分散ロック」と
PandasのデータをpyarrowでParquet変換してGCS(Google Cloud Storage)にアップロード - YOMON8.NET
タイトルの通りです。PandasのDataframeをpyarrowでParquetに変換して、そのままGCSにアップロードしています。 スクリプト こんな形で実行可能です。ファイルを経由しないでBufferから、そのままアップロードしています。 import pandas as pd import pyarrow as pa import pyarrow.parquet as pq import numpy as np import datetime from google.cloud import storage as gcs # ダミーデータでDataframe作成 row_num = 100000 string_values = ['Python', 'Ruby', 'Java', 'JavaScript', 'PHP','Golang'] df = pd.DataFrame({
Google Cloud Storage APIへのアクセスが「403: The project to be billed is associated with a closed billing account.」となったので対処した話 | DevelopersIO
こんにちは、CX事業本部の若槻です。 稼働中のシステムで、Google Cloud Storage上のバケットにAPI経由でファイルをアップロードする処理がエラーで失敗するようになった事象とその際に行った対処についてご紹介します。 事象 わたしが以前に投稿した以下の記事のシステムで事象は発生しました。 Office 365で受信メールに添付された音声ファイルをMicrosoft Power AutomateとGoogle Cloud Speechで自動文字起こし 留守電音声が添付されたメールをOffice 365で受信するたびに実行されるMicrosoft Power Automateのフローが、下記のように先月よりリトライ含め実行が失敗していました。 実行履歴の詳細を見てみると、下記のようにメールから取得した添付ファイルをアップロードするためにGoogle Cloud Storage A
Cloudflare Workers から HMAC 認証を使って Google Cloud Storage を fetch してキャッシュする - Qiita
Cloudflare Workers から HMAC 認証を使って Google Cloud Storage を fetch してキャッシュするcloudflareGoogleCloudStorageGoogleCloud はじめに バックエンドサーバーとして公開状態でないオブジェクトストレージを利用するケースで、 オリジンサーバーとして Google Cloud Storage のプライベートオブジェクトにアクセスできることを確認します。 Google Cloud Storage で HMAC アクセスキーを発行 HMAC アクセスキーの発行は、こちらを参考にしました。 GCSでHMACアクセスキーを発行 - Qiita Workers コード kyouheicf/private-access-to-gcs 上記のコードを使います。ポイントは以下の点です aws4fetch を使います。
[新機能] Amazon Athena データソースコネクタを使ってGoogle Cloud Storageのライブデータにクエリしてみました！ | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。先日、Amazon AthenaのFederated Queryを経由してGCS(Google Cloud Storage)にアクセスできるデータソースコネクタが新たに追加されました。ザックリ言うと、AthenaからGCSのデータにアクセスできるようになったということです！ 本日は、AthenaからGCSへのクエリについて試してみます。 Amazon AthenaのGCSのデータソースコネクタが動作する環境 データソースコネクタの実態は、Lambda関数です。今回の動作検証では、以下のような非VPC環境を用意しています。 以降では、早速試したみたいと思います！ GCSの認証情報をSecrets Managerに作成 Google Cloudのサービスアカウントの秘密鍵を取得 事前にGCSにアクセスするためのGoogle Clo
![[新機能] Amazon Athena データソースコネクタを使ってGoogle Cloud Storageのライブデータにクエリしてみました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e74dfc28e3f87861a3abf7b0257ff46d1c1a0f04/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-athena.png)
本記事はGCP(Google Cloud Platform) Advent Calendar 2022 2日目の記事です。 3日目: k8s × IAP @po3rin さん です。 TL;DR Edge Security PolicieでバックエンドバケットにもIP制限が可能に ただしGCSが公開状態だとそちらのURLにアクセスは出来てしまう 署名付きURLでプライベートなGCSでCLBからのアクセスが可能だが課題は残る はじめに クラウドを使っていても、社内向けシステムやテスト環境はインターネット上に公開したくないので、IP制限を掛けたいケースは良くありますよね？ GCPの場合、いくつか方法はありますがWebシステムの場合はCloud Load Balancing (CLB)とCloud Armorを組合わせてやるのが一般的だと思います。GCEに置いたシステムだろうとGKEだろうとCl
Googleのクラウドサービス「Google Cloud Platform（GCP）」では、任意のデータ（ファイル）を格納できる「Google Cloud Storage（GCS）」というストレージサービスが提供されているが、このGCSに新たなストレージクラス（料金プラン）の「Archive」が追加された。従来はテープストレージなどを利用していた、低頻度でのアクセスしか行わないようなデータのためのストレージクラスで、1GBあたり月間0.0012ドル（1TBあたり月間1.23ドル）と保存コストが安いのが特徴（Publickey、Google CloudのProduct News）。 Googleの他のサービスと同様、データは暗号化された上で複数のゾーンにコピーして保存することで冗長化される。年間の可用性は99.999999999％。ほかのストレージクラスと同様、データアクセス時の遅延はミリ秒
CSA Data UploaderがAmazon S3に加えてGoogle Cloud Storageへのファイルアップロードに対応しました！ #CSアナリティクス #データ統合基盤 | DevelopersIO
データアナリティクス事業本部のしんやです。 弊社クラスメソッドでは、複数のデータウェアハウス(Amazon Redshift、Google BigQuery、Snowflake)に対応するデータ統合基盤サービス「CSアナリティクス」を提供・展開しています。 このサービスでは現在、データ統合基盤としてデータの取り込みからテーブル作成やジョブ管理等を行うプロダクトの他に、オンプレ環境からクラウド環境へのデータアップロードをサポートする「CSA Data Uploader」というプロダクトを提供しています。 この度、今月(2020年09月)にリリースされた新しいバージョン「v1.8.0」で、従来可能だったAmazon S3へのデータアップロードの他に「Google Cloud Storgae(GCS)へのデータアップロードにも対応」したことをお知らせします。 当エントリでは、この新しい機能につい
クラウドストレージへのファイルアップロード&ETLツール『Data Uploader』の入力にGoogle Cloud Storage(GCS)環境のファイルを指定する #データ統合基盤 #CSアナリティクス | DevelopersIO
当エントリは『クラスメソッド CSアナリティクス Advent Calendar 2020』5日目のエントリです。 クラスメソッド CSアナリティクス Advent Calendar 2020 - Qiita クラスメソッド CSアナリティクス Advent Calendar 2020 ｜ 特集カテゴリー ｜ Developers.IO ビッグデータ分析支援のカスタマーストーリーアナリティクス｜クラスメソッド｜クラスメソッドのサービス 当エントリでは、クラスメソッドが展開しているデータ統合基盤サービス『CSアナリティクス』(以降"CSA")のプロダクト群の1つ、『Data Uploader』の入力に、任意のGoogle Cloud Storage(GCS)環境下のテキストファイルを指定する手順について紹介します。 目次 Google Cloud Storage(GCS)の接続設定の準備 C
BigQueryのテーブル作成実践(外部データソース参照: Google Cloud Storage) | DevelopersIO
Google BigQueryでは、テーブル作成を行う術が複数提供されています。当エントリではその中から「外部データソース参照」による作成方法について、Google Cloud Storageに格納したCSVデータを用いた実践を交えて見ていきたいと思います。 Cloud Storage からの CSV データの読み込み | BigQuery | Google Cloud 目次 コンソール経由で実践 CLIで実践(bq load) クライアントライブラリ(Python)で実践 まとめ コンソール経由で実践 今回の手順では、予めGCS(Google Cloud Storage)の所定のバケットにデータをアップロードしておきます。フォルダ毎取り込む形を想定していましたので、以下の形で複数ファイル用意しました。 テーブル作成メニューにて、「Google Cloud Storage」を選択。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Cloud Storage をロードバランサーのバックエンドにしつつ、直接はアクセスさせたくない場合
Google Cloud Storage にリーダー選出を実装 | Google Cloud 公式ブログ
Google Cloud Storage(GCS)上の画像やJSにIP制限をかける
Google Cloud Storageに低保存料金・高読み出しコストのストレージクラスが追加される | スラド IT
www.itmedia.co.jp
zenn.dev/tatsuyasusukida
blog.shodo.ink
learningift.com
news.ntv.co.jp
anond.hatelabo.jp