並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 53件

新着順 人気順

"Cloud Storage"の検索結果1 - 40 件 / 53件

タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。

"Cloud Storage"に関するエントリは53件あります。 googlecloudgcp などが関連タグです。 人気エントリには 『Google Cloud Storage(GCS)でうっかり30万以上溶かした話 - のんびりしているエンジニアの日記』などがあります。
  • Google Cloud Storage(GCS)でうっかり30万以上溶かした話 - のんびりしているエンジニアの日記

    皆さんこんにちは。 コンペで頑張ったので疲れました。 さて、Google Landmark 2021が終了し、Retrieval5位(金)、Recognition12位(銀)となりました。 本日は自戒と反省により、クラウドで30万円消失した話を 記録として書こうと思います。皆さん私を見て反面教師にしてください。 事象 9月入ってからLandmark2021に参加し、Google Cloud Platform、通称GCPを利用していた。 主な利用はGoogle Cloud Storageのみで、ほぼ容量課金だろうと高をくくっており、課金請求の上限など入れ忘れてました。 すると9/18に久々に請求額を確認すると32万ほどの請求額がありました。 さすがに目玉が飛び出て、調査にあたったといったものになります。 課金内容を確認したら原因はすぐにわかり、チームで対策を打ちました。(私が慌てて学習にスト

      Google Cloud Storage(GCS)でうっかり30万以上溶かした話 - のんびりしているエンジニアの日記
    • Cloud Storageを使ったカスタムドメインでHTTPSのSPA環境を構築する #gcp | DevelopersIO

      はじめに こんにちは、中村です。Cloud Storageを使ってカスタムドメインでHTTPSのSPA環境を構築します。今回はRoute53で管理しているドメイン、SSLはGoogleマネージドのSSL証明書を利用します。 Search Consoleでドメインの所有権確認 この操作はGCPと同じGoogleアカウントで行ってください 静的ウェブサイトのホスティングにあたりドメイン名を持つバケットを作成しますのでまずは利用するドメインの所有権確認を行います。Google Search ConsoleでDNSレコードでの所有権の確認の指示を元に実施します。ドメインでドメイン名を入力し続行をクリックします。 表示されるTXTレコードを利用するドメインのDNSプロバイダにて登録し確認をクリックします。 確認トークンが見つからない場合はエラーが表示されます。後ほど確認しましょう。 成功すると下記の

        Cloud Storageを使ったカスタムドメインでHTTPSのSPA環境を構築する #gcp | DevelopersIO
      • Cloud Storageへのデータ転送で課金爆死してしまった件 - G-gen Tech Blog

        G-genの田中です。当記事では、Cloud Storage を利用する中で、意図していない高額の請求が発生してしまった事例について解説していきます。 はじめに 背景 Cloud Storage とは Cloud Storage の料金 Storage Transfer Service とは 事件のあらまし 背景 落とし穴 莫大な課金の発生 後日譚 はじめに 背景 今回、G-gen でサポートさせて頂いているお客様が Storage Transfer Service を利用して Cloud Storage へデータ移行を行ったところ、3日間で数十万円の課金が発生してしまったという事件があり、注意喚起のために記事化させて頂くことになりました。 本記事は、お客様名の許諾を得た上で、実際に起きた内容を少し改変して記事化しました。お客様の社内事情のため数値等を事実とは違うものにして記載していますが

          Cloud Storageへのデータ転送で課金爆死してしまった件 - G-gen Tech Blog
        • 「Amazon S3」から「Google Cloud Storage」に移行したSpotifyの教訓 - ZDNet Japan

          印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます データをまとめて、あるクラウドから別のクラウドに移行するのは、引っ越しのようにストレスの多い経験になることがある。 「だが、皆さんが思われるほど大変でもない」と、Jyrki Pulliainen氏は語る。同氏は音楽ストリーミングサービス「Spotify」のソフトウェアエンジニアとして、「Amazon Web Services(AWS)」から「Google Cloud Storage」への約15億個のファイル移動を監督したばかりだ。 Spotifyはこの3ペタバイトのデータを移行する際に、幾つかの問題でつまずいたが、移行プロセスは10月中旬までの数週間で完了し、大きなトラブルは起こらなかった。 以下では、Spotifyが「Google C

            「Amazon S3」から「Google Cloud Storage」に移行したSpotifyの教訓 - ZDNet Japan
          • Firebaseの新機能「Cross-service Rules」でCloud Storageのアクセス制御をスマートに実装しよう - Flatt Security Blog

            こんにちは。株式会社Flatt Security セキュリティエンジニアの梅内 (@Sz4rny) です。 本稿では、2022年9月に Cloud Storage for Firebase に新たに導入された Cross-service Rules という機能について、前提知識をおさらいしつつ、実例を交えながらその概要や利用方法、メリットなどを紹介します。 また、Flatt Securityのセキュリティ診断(脆弱性診断)ではFirebaseを用いたサーバーレスなアプリケーションも診断可能です。 「料金を自分で計算できる資料」を無料公開中ですので、ご興味のある方は是非ダウンロードしてみてください。 前提知識のおさらい Firebase とは Firestore の概要 Cloud Stroage の概要 Cross-service Rules が解決する課題 課題 事例1. ロールに基づく

              Firebaseの新機能「Cross-service Rules」でCloud Storageのアクセス制御をスマートに実装しよう - Flatt Security Blog
            • 8 Reasons Why Google Drive is an Ideal Cloud Storage Service

              Google Drive is one of the biggest names in the cloud storage space. Here, we'll discuss why the service is so popular and ahead of its competition. Google Drive is undoubtedly a popular cloud storage service. It does not come as a surprise with Google at the helm, considering it is the default choice for Android phones and Chromebooks. So, what makes it an obvious choice for many people who rely

                8 Reasons Why Google Drive is an Ideal Cloud Storage Service
              • 10 Tips to Keep Your Cloud Storage Safe and Secure

                For many, clouds are now an extension of external drives. Keeping your storage safe is essential; here's how to do it. Cloud storage has made it easy to synchronise files, share them, keep multiple versions of a file, and a lot more. Not just limited for backup, cloud storage has also completely replaced the physical storage drive for some users. You can choose to use a cloud storage service like

                  10 Tips to Keep Your Cloud Storage Safe and Secure
                • Google One - Get More Cloud Storage, Backup, and Gemini Advanced – Google One

                  Gemini Advanced gives you access to Google’s most capable AI model, 1.0 Ultra. Try it with our new AI Premium plan.

                    Google One - Get More Cloud Storage, Backup, and Gemini Advanced – Google One
                  • Cloud Storage FUSE が GKE と AI ワークロード向けに最適化 | Google Cloud 公式ブログ

                    ※この投稿は米国時間 2023 年 8 月 25 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud の Cloud Storage は、AI ワークロードへのトレーニングと処理に必要な大量のトレーニング データ、モデル、チェックポイントを格納でき、クラウド ストレージ システムの特徴であるスケール、パフォーマンス、シンプルさ、優れた費用対効果を備えています。ただし、AI ワークロードが実際にそのデータにアクセスする際、常に簡単にアクセスできるとは限りません。AI ワークロードのほとんどが、Cloud Storage から提供されるオブジェクト セマンティクスではなく、ファイル システム セマンティクスを必要とするからです。 Linux の Filesystem in Userspace(FUSE)は、ファイル システムを Linux カーネル

                      Cloud Storage FUSE が GKE と AI ワークロード向けに最適化 | Google Cloud 公式ブログ
                    • GitHub - DvorakDwarf/Infinite-Storage-Glitch: ISG lets you use YouTube as cloud storage for ANY files, not just video

                      You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                        GitHub - DvorakDwarf/Infinite-Storage-Glitch: ISG lets you use YouTube as cloud storage for ANY files, not just video
                      • pCloud - Europe's Most Secure Cloud Storage

                        Store, share and access all your files using one simple and highly secure platform, anytime and anywhere you go. Sign up now and get up to 10 GB free storage.

                          pCloud - Europe's Most Secure Cloud Storage
                        • gcloud コマンドラインを使用した Cloud Storage の転送速度の向上 | Google Cloud 公式ブログ

                          ※この投稿は米国時間 2021 年 7 月 21 日に、Google Cloud blog に投稿されたものの抄訳です。 驚くべきことに、ビジネス上の多くの問題は、いかに早くバケットを満たせるか(データを転送できるか)というところに行き着きます。特にそのバケットが Cloud Storage にあり、それを Compute Engine インスタンスからのデータで満たす場合はなおさらです。大量のデータを迅速に移行できる Storage Transfer Service のようなサービスもありますが、小規模な移行にはより戦術的なソリューションを必要とすることがあるため、gsutil cp は高い人気を誇っています。転送を分割して並行して実行することで、gsutil cp はかなり高速になります。 しかし、gsutil の転送を高速化するにあたり、微調整が必要な場合もあります。たとえば、単一の

                            gcloud コマンドラインを使用した Cloud Storage の転送速度の向上 | Google Cloud 公式ブログ
                          • Dedicated Server, Cloud, Storage & Hosting

                            We want you to have the best possible user experience on our website. We use cookies to analyze how visitors like you use our website, so we can make improvements. And we use cookies to make sure that the website functions normally. For more info, see our privacy policy. You can edit your cookie settings there at any time.

                            • Google Cloud Storage をロードバランサーのバックエンドにしつつ、直接はアクセスさせたくない場合

                              こんにちは、Google Cloud でプリセールスエンジニアをしている有賀です。 TL; DR表題に関して、いい感じの方法はありません 😥強いて言えば(VM なりサーバーレスサービスなりで作った)プロキシを使うことで実現できますロードバランサーへのアクセス自体も制限してよければ VPC Service Controls も選択肢に入ります目次問題定義Compute Engine、Cloud Run などをプロキシにした IAM アカウントベースのアクセス制限Cloud Storage 閲覧用サービスアカウントの作成Cloud Storage バケットとオブジェクトの用意ファイアウォール ルールでロードバランサーからの VM へのアクセスを許可gcsfuse を使う方法NGINX をプロキシとして使う方法gcs-proxy-cloud-run を使う方法Envoy Proxy を使う方法

                                Google Cloud Storage をロードバランサーのバックエンドにしつつ、直接はアクセスさせたくない場合
                              • Poly: Next-Generation Intelligent Cloud Storage | Join the Waitlist

                                Cloud Storage Platform A better cloud hosting service for your personal files, built for the generative age Join Waitlist → Beautiful and Blazing FastDitch Finder and File Explorer with a cloud storage browser that you'll actually enjoy using everyday Find anything instantly, in your own words. Spend less time putting things in folders and just describe what you want with AI-enabled multimodal sea

                                  Poly: Next-Generation Intelligent Cloud Storage | Join the Waitlist
                                • GitHub - bluesentry/bucket-antivirus-function: Serverless antivirus for cloud storage.

                                  You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                    GitHub - bluesentry/bucket-antivirus-function: Serverless antivirus for cloud storage.
                                  • Cloud Storage(GCS)を徹底解説 - G-gen Tech Blog

                                    G-genの杉村です。 Google Cloud (旧称 GCP) の容量無制限・低価格・堅牢なオブジェクトストレージサービスである Cloud Storage を解説します。 Cloud Storage の基本 Cloud Storage とは オブジェクトストレージとは 使い方 ユースケース 料金 (基本) 用語 バケット オブジェクト メタデータ フォルダ パス Cloud Storage の詳細 料金 (詳細) ストレージクラス Soft delete ポリシー ライフサイクルマネジメント バージョニング バケットのリージョン (ロケーション) セキュリティ アクセス制御 IAM と ACL パブリック公開 パブリック公開の禁止 暗号化 保持ポリシー(Bucket Lock) オブジェクト保持(Object Lock) Autoclass Autoclass とは バケット作成後の

                                      Cloud Storage(GCS)を徹底解説 - G-gen Tech Blog
                                    • Cloud Storage からの CSV データの読み込み  |  BigQuery  |  Google Cloud

                                      デジタル トランスフォーメーションを加速 お客様がデジタル トランスフォーメーションに乗り出したばかりでも、あるいはすでに進めている場合でも、Google Cloud は困難な課題の解決を支援します。

                                        Cloud Storage からの CSV データの読み込み  |  BigQuery  |  Google Cloud
                                      • Cloud Storage + LB + Cloud CDN で静的 Web サイトをホスティングする際のキャッシュ設定をおさらい

                                        本記事は Google Cloud Japan Advent Calendar 2022 の 通常版 の 19 日目の記事です。 Google Cloud Storage (GCS) では、静的コンテンツからなる Web サイトを、バケットに保存するだけで簡単に公開することができて便利です。 さらに、Google Cloud の HTTP(S) Load Balancing と組み合わせることで、HTTPS でのホスティングに対応させたり、Cloud CDN と組み合わせることで CDN にキャッシュすることもできるので、アクセス数の多い商用サービスなどでも充分に対応できます。 一方で、このやり方を採用して Web サイトをホスティングする際に、ややこしいのがキャッシュの設定です。特に上記のように LB や CDN と組み合わせた際には、以下のようにキャッシュに関連する設定が複数あるため、

                                          Cloud Storage + LB + Cloud CDN で静的 Web サイトをホスティングする際のキャッシュ設定をおさらい
                                        • Cloud Functions for Firebaseを使用した時に、Cloud Storageのストレージ容量が圧迫される問題について調べた

                                          Firebaseのいくつかのサービスを使用していたときに、ふと見に覚えのないCloud Storageのストレージ容量があることに気付きました。 ちょっとくらいなら良いと思っていましたが、使用容量を見てみると10GB近くになっており、無料枠を超えてしまっていました。 適切なサービスの利用に関しては対価が支払われるべきと考えているため、無料枠を超えること自体は問題はなかったのですが、まったく見に覚えのない状態だったため、原因を把握すべく調査した結果と解決方法を紹介します。 Cloud Storageが圧迫されてしまう原因 解決方法 Cloud Functionsの課金必須化について 終わりに Cloud Storageが圧迫されてしまう原因 Cloud FunctionsのNode.js 10系以上のランタイムを使用する場合、内部ではCloud Runが動いています。 Cloud Runには

                                            Cloud Functions for Firebaseを使用した時に、Cloud Storageのストレージ容量が圧迫される問題について調べた
                                          • 【iOS】FirebaseのCloud Storageでサーバー上のファイルの日付を確認する方法(Swift)

                                            デバイス上のファイルの作成日付と、FirebaseのCloud Storageに格納してあるファイルの作成日付を比較して、サーバー上のファイルの日付のほうが新しかったらダウンロードしたいという処理はよくあると思います。 日付を別で管理したり、一度ダウンロードしてから作成日付をチェックするのでは効率が悪いため、できれば、サーバー上のファイルを直接確認してからダウンロードをしたいところです。 Cloud Storageのリファレンスから作成日付や更新日付を直接確認する方法がありました。 作成日付はtimeCreated、更新日付はupdatedで取得できます。 また、日付に限らず、様々なメタデータを取得することができます。 取得できるメタデータは以下のとおりです。(更新することができるものもあります) メタデータ一覧 メタデータを取得して、日付チェックするまでのソースコード例は以下のとおりです

                                              【iOS】FirebaseのCloud Storageでサーバー上のファイルの日付を確認する方法(Swift)
                                            • Lastpass: Hackers stole customer vault data in cloud storage breach

                                              HomeNewsSecurityLastpass: Hackers stole customer vault data in cloud storage breach LastPass revealed today that attackers stole customer vault data after breaching its cloud storage earlier this year using information stolen during an August 2022 incident. This follows a previous update issued last month when the company's CEO, Karim Toubba, only said that the threat actor gained access to "certa

                                                Lastpass: Hackers stole customer vault data in cloud storage breach
                                              • Cloud Run のボリューム マウントのご紹介: アプリを Cloud Storage や NFS に接続 | Google Cloud 公式ブログ

                                                ※この投稿は米国時間 2024 年 3 月 23 日に、Google Cloud blog に投稿されたものの抄訳です。 Google は、デベロッパーの負担を軽減し、クラウドネイティブ アプリケーションの構築を容易にするために、Google のスケーラブルなインフラストラクチャ上に直接、フルマネージドのコンテナ プラットフォームである Cloud Run を構築しました。 現在、Cloud Run の各インスタンスは、自身のローカル ファイル システムにはアクセスできます。しかし、既存のアプリケーションがローカル ファイル システムに保存された共有データにアクセスする必要がある場合はどうでしょうか。これまで、ファイル サーバーや Cloud Storage バケットのようなストレージ システムを簡単にマウントする方法がなかったため、デベロッパーは、複雑なソリューションを利用するか、他のサ

                                                  Cloud Run のボリューム マウントのご紹介: アプリを Cloud Storage や NFS に接続 | Google Cloud 公式ブログ
                                                • Cloud Storage オブジェクトのライフサイクル管理での新しい制御機能 | Google Cloud 公式ブログ

                                                  ※この投稿は米国時間 2020 年 10 月 29 日に、Google Cloud blog に投稿されたものの抄訳です。 昨今の変化するビジネス環境では、クラウド ストレージのコストを管理し、過剰な支出のリスクを軽減することが非常に重要です。今回 Google は、Google Cloud Storage 内のデータを保護し、総所有コスト(TCO)を削減することを目的とした、新しい 2 つのオブジェクトのライフサイクル管理(OLM)ルールの提供を開始します。バージョニングされたオブジェクトがいつ最新でなくなったか(期限切れ)、またはオブジェクトに設定したカスタム タイムスタンプに基づき、ストレージ クラス間でオブジェクトを移行したり、オブジェクトを完全に削除したりできるようになりました。これにより、きめ細かな管理が可能となり、TCO の削減と、ストレージ効率の改善が実現します。 アーカイ

                                                    Cloud Storage オブジェクトのライフサイクル管理での新しい制御機能 | Google Cloud 公式ブログ
                                                  • Cloud Storage におけるコスト最適化のベスト プラクティス | Google Cloud 公式ブログ

                                                    ※この投稿は米国時間 2019 年 9 月 5 日に Google Cloud blog に投稿されたものの抄訳です。 上半期の売上げを精査しようとしている数十億ドル規模の複合企業に勤める会社員であれ、猫がピアノを弾く動画をアップロードしようとしている愛猫家であれ、そのデータを格納する場所が必要です。 この種の一般的なストレージの媒体として、Google Cloud Platform(GCP)の統合型オブジェクト ストアである Cloud Storage を利用しているお客様は、私たちが聞くかぎりでもたくさんいらっしゃいます。お客様に寄り添ってアドバイスを送る私たちテクニカル アカウント マネージャー(TAM)としては、さまざまな GCP サービスの API との緊密な連携というところから説明を始めるのが普通ですが、コストを下げて GCP から最大限の投資効果を引き出すにはどうすればよいか

                                                      Cloud Storage におけるコスト最適化のベスト プラクティス | Google Cloud 公式ブログ
                                                    • Internxt – Private & Secure Cloud Storage

                                                      The most secure cloud for all your files and photosInternxt creates private and secure cloud services designed to put you, the user, back in charge of your data. Protecting your files and your fundamental right to privacy, Internxt services are built from the ground up using open source software for unparalleled safety and security.

                                                        Internxt – Private & Secure Cloud Storage
                                                      • Google Cloud Storage にリーダー選出を実装 | Google Cloud 公式ブログ

                                                        ※この投稿は米国時間 2021 年 1 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。 リーダー選出とは、分散システム実装の際に一般的に適用されるパターンです。たとえば、MySQL などのレプリケートされたリレーショナル データベースや、Apache Zookeeper などの分散 Key-Value ストアは、レプリカの中からリーダー(マスターと呼ばれることもあります)を選出します。すべての書き込みオペレーションはリーダーを経由するため、システムに書き込みを行うのは常に 1 つのノードのみです。これは、書き込みが失われたり、データベースが破損したりしないようにするためです。 分散システムのノードの中からリーダーを選出するのは、ネットワーク接続されたシステムと時刻同期の性質により、難しい場合があります。この記事では、リーダー選出(一般的には「分散ロック」と

                                                          Google Cloud Storage にリーダー選出を実装 | Google Cloud 公式ブログ
                                                        • Google BigQueryのデータをSQLコマンド「EXPORT DATA」で直接Google Cloud Storageにエクスポート出来るようになりました! | DevelopersIO

                                                          先日(2020/10/16)のGCP/Google BigQueryのリリースノートにて、幾つかの興味深いトピックがありました。詳細については下記公式ブログをご参照ください。 その中で、外部ストレージに関する読み書き(Reading from and writing to external storage)に関するものも含まれていました。関連する文章を上記エントリから抜粋します。 BigQuery provides users the ability to read data in external storage buckets. The new SQL commands allow users to configure tables within BigQuery pointing to these buckets as well as export data from queries

                                                            Google BigQueryのデータをSQLコマンド「EXPORT DATA」で直接Google Cloud Storageにエクスポート出来るようになりました! | DevelopersIO
                                                          • PandasのデータをpyarrowでParquet変換してGCS(Google Cloud Storage)にアップロード - YOMON8.NET

                                                            タイトルの通りです。PandasのDataframeをpyarrowでParquetに変換して、そのままGCSにアップロードしています。 スクリプト こんな形で実行可能です。ファイルを経由しないでBufferから、そのままアップロードしています。 import pandas as pd import pyarrow as pa import pyarrow.parquet as pq import numpy as np import datetime from google.cloud import storage as gcs # ダミーデータでDataframe作成 row_num = 100000 string_values = ['Python', 'Ruby', 'Java', 'JavaScript', 'PHP','Golang'] df = pd.DataFrame({

                                                              PandasのデータをpyarrowでParquet変換してGCS(Google Cloud Storage)にアップロード - YOMON8.NET
                                                            • Cloud Storage がイレブンナインの耐久性を実現する仕組みと、その効果を高める方法 | Google Cloud 公式ブログ

                                                              ※この投稿は米国時間 2021 年 1 月 29 日に、Google Cloud blog に投稿されたものの抄訳です。 ストレージ ソリューションの最も基本的な側面の 1 つは耐久性です。つまり、データが損失や破損からどれだけ保護されているかが重要です。そして、それはクラウド環境にとって特に重要であると考えられます。Cloud Storage は、「イレブンナイン」、つまり少なくとも 99.999999999% の年間耐久性を実現するよう設計されています。これは、10 億個ものオブジェクトがあっても、100 年間で 1 つも失わないであろうことを意味しています。 Google は、耐久性の目標達成を非常に重視しています。本稿では、Cloud Storage データを保護するおすすめの方法について説明します。同時に、データ保護は最終的に共有責任でもあるため(データ損失の最も一般的な原因は、

                                                                Cloud Storage がイレブンナインの耐久性を実現する仕組みと、その効果を高める方法 | Google Cloud 公式ブログ
                                                              • Icedrive - Next-Generation Cloud Storage - Get 10GB Free

                                                                Introducing icedrive The next generation of cloud storage Create an account now and get a massive 10GB Free Storage Move Mountains Make your cloud storage feel like a physical hard drive with our revolutionary drive mounting software. Access, manage and update your cloud storage as if it were attached to your computer - But without taking up any space! Learn More -> Share, Showcase & Collaborate W

                                                                • Google Cloud Storage APIへのアクセスが「403: The project to be billed is associated with a closed billing account.」となったので対処した話 | DevelopersIO

                                                                  こんにちは、CX事業本部の若槻です。 稼働中のシステムで、Google Cloud Storage上のバケットにAPI経由でファイルをアップロードする処理がエラーで失敗するようになった事象とその際に行った対処についてご紹介します。 事象 わたしが以前に投稿した以下の記事のシステムで事象は発生しました。 Office 365で受信メールに添付された音声ファイルをMicrosoft Power AutomateとGoogle Cloud Speechで自動文字起こし 留守電音声が添付されたメールをOffice 365で受信するたびに実行されるMicrosoft Power Automateのフローが、下記のように先月よりリトライ含め実行が失敗していました。 実行履歴の詳細を見てみると、下記のようにメールから取得した添付ファイルをアップロードするためにGoogle Cloud Storage A

                                                                    Google Cloud Storage APIへのアクセスが「403: The project to be billed is associated with a closed billing account.」となったので対処した話 | DevelopersIO
                                                                  • Cloud StorageトリガでCloud Functions(2nd gen)を動かしてみた - G-gen Tech Blog

                                                                    G-gen の杉村です。Google Cloud (旧称 GCP) の Cloud Functions (第2世代) を使い Cloud Storage へファイルが配置されたことを起点に起動するプログラムを作ってみました。 前提知識 Cloud Storage と Cloud Functions Cloud Storage トリガの Cloud Functions とは 検証 やること ソースコード 実行結果 デプロイの手順 必要な API の有効化 Cloud Storage サービスエージェントに権限付与 Cloud Functions 関数のデプロイ 実行結果確認 トラブルシューティング Please verify that the bucket exists Build failed with status: FAILURE and message: An unexpected

                                                                      Cloud StorageトリガでCloud Functions(2nd gen)を動かしてみた - G-gen Tech Blog
                                                                    • Cloud StorageからBigQueryにCSVを自動で取り込む方法について

                                                                      こんにちは。GMO NIKKO エンジニアのN.I.です。 今回はCloud Storage(GCS)から自動でBigQueryにCSVデータを取り込む仕組みを作成したので紹介します。 BigQueryにCSVデータを取り込む場合は、Cloud Storageにデータをアップしてbq loadコマンドを実行してロードするのが一般的だと思います。 また、CloudFunctionsにはCloud StorageにCSVデータをアップするとアップされたことを検知する機能があります。 この2つの機能をうまく組み合わせれば、自動でデータを取り込めるのではないかというのが今回の内容です。 簡単な図にすると以下の様になります。 事前準備 GCSにバケットを作成し、作成したバケットにフォルダを作成する。 bigquery.confを作成する。 bigquery.jsonを作成する。 作成したbigque

                                                                        Cloud StorageからBigQueryにCSVを自動で取り込む方法について
                                                                      • Cloud Run上のGo製RESTful APIからBigQueryとCloud Storageを使う - PythonからGoに変えた理由を添えて - Lean Baseball

                                                                        仕事がずっとコンサルワークなので, 休日のプログラミングがめちゃくちゃ楽しみになっている人です. 最初にお礼をさせてください, Developers Summit 2023の発表, なんだか好評価(高評価)だったみたいです. #devsumi 開催報告によると、私のトークの満足度は全90セッション中11位でした🎉 フィードバックコメントも多数いただき、誠にありがとうございました! 次回作にご期待ください(多分夏ぐらいになるだろう)https://t.co/68lYY2vj25— Shinichi Nakagawa / 中川 伸一 (@shinyorke) 2023年3月2日 練習やレビューに協力いただいた皆様, そして何よりも当日私のトークを聞いていただいた皆様, 誠にありがとうございました. さて, 当日の発表では「GoでRESTful APIを作って運用しましたよ」という話をしました

                                                                          Cloud Run上のGo製RESTful APIからBigQueryとCloud Storageを使う - PythonからGoに変えた理由を添えて - Lean Baseball
                                                                        • [新機能] Amazon Athena データソースコネクタを使ってGoogle Cloud Storageのライブデータにクエリしてみました! | DevelopersIO

                                                                          データアナリティクス事業本部のコンサルティングチームの石川です。先日、Amazon AthenaのFederated Queryを経由してGCS(Google Cloud Storage)にアクセスできるデータソースコネクタが新たに追加されました。ザックリ言うと、AthenaからGCSのデータにアクセスできるようになったということです! 本日は、AthenaからGCSへのクエリについて試してみます。 Amazon AthenaのGCSのデータソースコネクタが動作する環境 データソースコネクタの実態は、Lambda関数です。今回の動作検証では、以下のような非VPC環境を用意しています。 以降では、早速試したみたいと思います! GCSの認証情報をSecrets Managerに作成 Google Cloudのサービスアカウントの秘密鍵を取得 事前にGCSにアクセスするためのGoogle Clo

                                                                            [新機能] Amazon Athena データソースコネクタを使ってGoogle Cloud Storageのライブデータにクエリしてみました! | DevelopersIO
                                                                          • Cloudflare Workers から HMAC 認証を使って Google Cloud Storage を fetch してキャッシュする - Qiita

                                                                            Cloudflare Workers から HMAC 認証を使って Google Cloud Storage を fetch してキャッシュするcloudflareGoogleCloudStorageGoogleCloud はじめに バックエンドサーバーとして公開状態でないオブジェクトストレージを利用するケースで、 オリジンサーバーとして Google Cloud Storage のプライベートオブジェクトにアクセスできることを確認します。 Google Cloud Storage で HMAC アクセスキーを発行 HMAC アクセスキーの発行は、こちらを参考にしました。 GCSでHMACアクセスキーを発行 - Qiita Workers コード kyouheicf/private-access-to-gcs 上記のコードを使います。ポイントは以下の点です aws4fetch を使います。

                                                                              Cloudflare Workers から HMAC 認証を使って Google Cloud Storage を fetch してキャッシュする - Qiita
                                                                            • Cloud Storage でオブジェクト作成のモニタリングを設定するためのガイド | Google Cloud 公式ブログ

                                                                              ※この投稿は米国時間 2020 年 6 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 Cloud Storage は、世界中で利用できる耐久性に優れたオブジェクト ストレージを提供しており、このストレージでデータをエクサバイト単位までスケールできます。つまり、ウェブサイト、モバイル アプリケーション、バックアップと復元、アーカイブ、ビッグデータ分析など、あらゆる規模と業種のお客様が幅広いユースケースでこのサービスを利用し、どれだけの量のデータでも安全に保管することができます。オブジェクトはバケットと呼ばれるコンテナに保存されます。 現在のビジネスでは通常、バッチ処理やリアルタイム処理のために、1 日を通じてさまざまな頻度で内部ソースや外部ソースからデータを収集します。ほとんどのケースで、管理者やデータ エンジニアが外部ソースシステムからの新しいファイルの

                                                                                Cloud Storage でオブジェクト作成のモニタリングを設定するためのガイド | Google Cloud 公式ブログ
                                                                              • Google Cloud Storage(GCS)上の画像やJSにIP制限をかける

                                                                                本記事はGCP(Google Cloud Platform) Advent Calendar 2022 2日目の記事です。 3日目: k8s × IAP @po3rin さん です。 TL;DR Edge Security PolicieでバックエンドバケットにもIP制限が可能に ただしGCSが公開状態だとそちらのURLにアクセスは出来てしまう 署名付きURLでプライベートなGCSでCLBからのアクセスが可能だが課題は残る はじめに クラウドを使っていても、社内向けシステムやテスト環境はインターネット上に公開したくないので、IP制限を掛けたいケースは良くありますよね? GCPの場合、いくつか方法はありますがWebシステムの場合はCloud Load Balancing (CLB)とCloud Armorを組合わせてやるのが一般的だと思います。GCEに置いたシステムだろうとGKEだろうとCl

                                                                                  Google Cloud Storage(GCS)上の画像やJSにIP制限をかける
                                                                                • グローバル コマンドライン オプション  |  Cloud Storage  |  Google Cloud

                                                                                  フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 グローバル コマンドライン オプション 説明 gsutil は、gsutil のトップレベル コマンドや個々のサブコマンド(cp、rm など)のオプションをサポートしています。トップレベルのオプションを使用すると、コマンドに対する gsutil の動作を制御できます。たとえば、次のコマンドで説明しましょう。 -m オプションは gsutil に適用されますが、-p オプションは cp サブコマンドに適用されます。 オプション -D HTTP リクエスト / ヘッダー、サポート リクエストの送信で必要になる追加のデバッグ情報(例外のスタック トレースなど)を表示します。 -DD -D と同様、HTTP アップストリーム ペイロード。 -h 特定の HTTP ヘッダーを指定できます。例:

                                                                                    グローバル コマンドライン オプション  |  Cloud Storage  |  Google Cloud

                                                                                  新着記事