並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 174件

新着順 人気順

GCPの検索結果1 - 40 件 / 174件

  • GCP、AWS、Azure 別に見るクラウド VM への攻撃経路まとめ

    This post is also available in: English (英語) 概要 本稿は、クラウド内の仮想マシン (VM) サービスに対する潜在的な攻撃ベクトルを特定・緩和するための戦略について解説します。組織はこの情報を使って、VM サービスに関連する潜在的リスクを理解し、防御メカニズムを強化できます。この調査では、Amazon Web Services (AWS)、Azure、Google Cloud Platform (GCP) という 3 つの主要クラウド サービス プロバイダー (CSP) が提供する VM サービスを中心に取り上げます。 VM はあらゆるクラウド環境で最も利用数の多いリソースの 1 つで、その多さがゆえに、攻撃者らの主要な標的にされています。私たちの研究からは、インターネットに公開されているクラウドホストの 11% には、深刻度が「緊急 (Crit

      GCP、AWS、Azure 別に見るクラウド VM への攻撃経路まとめ
    • 「みんなの銀行」は、GCPで稼働する「Cloud SQL」を中核に「K8s」でコンテナ化されたアプリケーション群を東西リージョンで両現用化したかなり画期的なシステム構成で面白いけど、尖りすぎてる話

      (๑╹◡╹๑) @tsuchie88 みんなの銀行は、アクセンチュアがシステム構築しただけじゃなくて、GCPで稼働するCloud SQLを中核にK8sでコンテナ化されたアプリケーション群を東西リージョンで両現用化したかなり画期的なシステム構成で面白いんだけど、サービスもカードレスでスマホのみ、サブスクモデルと尖りすぎてるんだよな pic.twitter.com/4xMikwGQwf (๑╹◡╹๑) @tsuchie88 アクセンチュアって、海外では勘定系パッケージを販売してるし、Citibankのフロントエンドシステムとか個別構築も手掛けてたりして、何気に金融系システムベンダーとしての存在感があるんだけど、日本ではあんま強くなかっただけにMAINRIはスクラッチで日本で投入したライト勘定系で面白いんだが

        「みんなの銀行」は、GCPで稼働する「Cloud SQL」を中核に「K8s」でコンテナ化されたアプリケーション群を東西リージョンで両現用化したかなり画期的なシステム構成で面白いけど、尖りすぎてる話
      • AWSエンジニアがGCPでハマりがちなポイント - Qiita

        Japan Digital Design(以下JDD)でインフラエンジニアをしている渡邉です。 Japan Digital Design Advent Calendar 2023 もついに19日目までやってまいりました。 後半だしまだ全然余裕~、とのんびりしていたら、あっと言う間にやってきました...。 さて、今回は Google Cloud Platform(以下GCP)に関するお話です。 JDDでは各プロジェクトそれぞれでインフラ選定が異なりますが、基本的にはAWSをメインで利用しています。 GCPはPoCや内部的なアプリケーションに利用が限られていたわけですが、ついにProductionサービスでの利用が決まり、GCPを本格的に使うことになりました。 AWSにどっぷり浸かったインフラエンジニアがGCPを使い始めるにあたって、きっとハマるであろうポイントをいくつか挙げてみようと思います

          AWSエンジニアがGCPでハマりがちなポイント - Qiita
        • GCP という呼び名はもう古いので気をつける

          たまに言っちゃうので自戒も込めて。 正しくは「Google Cloud」 2 年以上前に公式からアナウンスが出ています。 Google Cloud Platform が Google Cloud に名称変更 お客様のエクスペリエンスをシンプルにし、プロダクト間の一貫性を保つために、Google Cloud Platform は Google Cloud という名称になりました。 (以下略) Google Cloud の新しくなったホームページのご紹介 | Google Cloud 公式ブログ さらに、 Google Cloud Japan の Zenn Publication の記事内でも以下のように紹介されています。 コラム: Google Cloud? Google Cloud Platform? GCP? (中略) 実は 2022 年の 6 月に、公式ブログ でブランディングが変更さ

            GCP という呼び名はもう古いので気をつける
          • 「僕が今のピクシブのAWSやGCPの形を作ったと言っても過言ではない」 クラウド推進の生き字引が語る、これまでの取り組み

            完全招待制のオンラインカンファレンス「PIXIV MEETUP 2023」。「創作活動を、もっと楽しくする。」というミッションを遂行するために、メンバーが普段行っている業務について、自らの言葉で語り、その想いと技術を共有する場です。sue445氏は、 ピクシブ社における、パブリッククラウド活用の取り組みについて発表しました。全2回。前半は、sue445氏が入社後に取り組んだ、GitLab CIのオートスケール化やTerraform導入などについて。 登壇者の自己紹介 sue445氏:「pixiv Cloud Journey」というタイトルで発表させてもらいます。 こちらの発表資料ですが、先ほど「X」にハッシュタグ付きで流しているので、後から見返したいという方は、そちらのURLをご覧ください。 自己紹介させてもらいます。末吉剛といいます。SNSでは「sue445(すえよんよんご)」というID

              「僕が今のピクシブのAWSやGCPの形を作ったと言っても過言ではない」 クラウド推進の生き字引が語る、これまでの取り組み
            • クラウドでもsuが出来る! GCPにPAM(特権管理)がついに登場

              はじめに Linuxの良い所の一つにsuやsudoと言った特権管理の仕組みがあります。普段は通常アカウントで入って、例えばインストールなどの特権作業が必要な時だけsu/sudoで一時的な権限昇格が可能ですし、/etc/pam.dで誰がどのユーザにスイッチ出来るかなどは細かく制御できます。 一方で、クラウドの権限管理は悩みの種で、誤操作が怖いので普段はRead Onlyの権限にしておきたいのですが、手軽に権限を昇格する方法がありません。なので、別の管理者ユーザを作って、そちらでログインしなおしたり、それを半自動化するCyberArkやBeyondTrustといったPAM系ソリューション、あるいは最近流行りのCIEM(PAM機能を持つもの)を導入する必要がありました。 Azureでは結構以前からPIM(Privileged Identity Management)がネイティブで組込まれており非

                クラウドでもsuが出来る! GCPにPAM(特権管理)がついに登場
              • ピクシブ社エンジニアが語る、機械学習基盤とその技術 「GCPバッチ基盤」「リアルタイムの推論基盤」「ノートブック開発環境」整備の裏側

                登壇者の自己紹介とアジェンダの紹介 sugasuga氏:こんにちは。今日は、ピクシブの機械学習基盤に関する発表をいたします。 まずは自己紹介から始めさせてください。自分は、機械学習チームでエンジニアをしているsugasugaといいます。サブで採用・広報活動にも関わっています。最近の趣味は、トレーニングです。 今日お話しすることは、(スライドを示して)こちらを予定しています。機械学習基盤について。そして、基盤で使われている技術について。運用してみて感じたメリットとデメリットについてお話しします。 大規模なデータの効率的な処理、機械学習サービスの展開のしやすさ、効率的な開発などに課題があった 本題に移る前に、導入として、どういったところで機械学習が活用されていて、なぜ機械学習基盤が必要かについてお話しします。 活用されている場面としては、違反検知、レコメンド、広告、3Dなど多岐にわたります。こ

                  ピクシブ社エンジニアが語る、機械学習基盤とその技術 「GCPバッチ基盤」「リアルタイムの推論基盤」「ノートブック開発環境」整備の裏側
                • AWS・GCP・Azure・Hetzner・Linodeなど各クラウドのリージョンごとにPingを一括で計測し速度順に自動で並べて見せてくれる「Cloud Ping Test」

                  クラウドサービスでは「リージョン」としてさまざまな場所に分散してサーバーが設置されていますが、特にバックアップ目的で第2のリージョンを使用する場合などにどのリージョンを選択するべきなのかを迷いがちなもの。「Cloud Ping Test」はリージョン選択の判断材料の一つとしてさまざまなリージョンと自分のPCとのレイテンシーであるPingを計測してくれるサイトです。 Cloud Ping Test (Latency) for different providers like AWS, Azure, GCP https://cloudpingtest.com/ サイトにアクセスするとこんな感じ。記事作成時点では「AWS」「Azure」「GCP」「Hetzner」「Linode」「ngrok」「Oracle Cloud」「OVHCloud」「Vultr」という9個のクラウドサービスに対応していま

                    AWS・GCP・Azure・Hetzner・Linodeなど各クラウドのリージョンごとにPingを一括で計測し速度順に自動で並べて見せてくれる「Cloud Ping Test」
                  • 画像を見て質問に答えられるオープンソースなGPT-4レベルのAI「LLaVA-1.5」をGCP上で動作させてみた

                    Microsoftやウィスコンシン大学マディソン校などの研究チームが開発し、2023年4月17日に公開した「LLaVA」は「視覚」を持つAIで、画像を入力するとその画像に基づいて返答を行うことができます。2023年10月5日に登場したLLaVA-1.5はさらにクオリティが向上しているとのことなので、実際にGoogleのクラウドコンピューティングサービス「Google Cloud Platform(GCP)」上で動作させてみました。 LLaVA/pyproject.toml at main · haotian-liu/LLaVA https://github.com/haotian-liu/LLaVA 2023年4月にリリースされた旧バージョンの性能や、デモサイトの使い方については下記の記事で確認できます。 画像を認識して年齢推測可能&人名クイズにも正答できる無料の高性能チャットAI「LLa

                      画像を見て質問に答えられるオープンソースなGPT-4レベルのAI「LLaVA-1.5」をGCP上で動作させてみた
                    • GCPのバッチ処理サービス「Batch」を試してみる

                      それぞれ微妙にできることや制限に違いがあり、ここを捉えた上で選択する必要があります。 Batchの強みはおそらくタイムアウトがないことによって長時間実行ができ、かつシンプルに実装できることだと思います。 (タイムアウト最大値に関して、Batchにおいては存在しないと公式動画の方で説明していますが、Cloud Composerについては不明でした。) Batch単体でもジョブ定義ファイル内で各タスクの依存関係(順次実行、並列実行)はできますが、Cloud ComposerやWorkflowsのように複雑なジョブネットを書くことは難しそうです。 ジョブネットのように動かしたい場合には公式ドキュメントにもあるようにWorkflowsなどからBatchジョブを実行するのが良さそうです。 動かしてみよう 実際にジョブを作って動かすまで試してみたいと思います。 GCP公式がBatchのサンプルコードを

                        GCPのバッチ処理サービス「Batch」を試してみる
                      • 【GCP】BigQueryでのETL開発 ~DataformのPJ導入と運用方法~ - Insight Edge Tech Blog

                        こんにちは、k-kzkです。私はInsight Edgeに参画して早2年が経ちました。 今回の記事では、私が初めて取り組んだETL開発プロジェクトと、そこで選択したツールであるDataformについてお話しします。 目次 1. はじめに 1.1 ETL 開発とは 1.2 Dataform の選定理由 2. Dataform を利用した ETL 開発のライフサイクル 2.1 リポジトリ作成 2.2 ワークスペースの使い方について 2.3 ディレクトリについて 2.4 テーブル構成 2.5 Dataform のテストについて 2.6 リリース方法について 3. その他開発における Tips 3.2 データセット作成時のエラーについて 4. まとめ 1. はじめに プロジェクトに参画するまで、データをメインに扱う開発経験がほとんどなかった私にとって、「ETL」という言葉も聞き馴染みが無いものでし

                          【GCP】BigQueryでのETL開発 ~DataformのPJ導入と運用方法~ - Insight Edge Tech Blog
                        • Google CloudとGCP、どっちが正しい? - G-gen Tech Blog

                          G-gen の杉村です。Google Cloud と GCP(Google Cloud Platform)、どちらの呼び名が正しいの?という疑問をよくお聞きします。結論からいうと、正式名称は Google Cloud です。 正式名称は「Google Cloud」 GCP と呼んではいけないの? Google Cloud と Google 正式名称は「Google Cloud」 Google が提供するクラウドプラットフォームである Google Cloud。インターネット上には「Google Cloud」「Google Cloud Platform」「GCP」と複数の呼び名が見られます。どの名称で呼ぶべきなのでしょうか。 現在では、正式名称は「Google Cloud」です。 「Google Cloud Platform」およびその略称である「GCP」は旧称であり、2022年6月に「Go

                            Google CloudとGCP、どっちが正しい? - G-gen Tech Blog
                          • Cloud RunとかGCPサーバレス製品のCDNはFastlyが最強かもしれない話-1/2

                            いやー高い技術を持ってそうだけどいまいち地味なのと料金表が表に出てないから敬遠してた謎のネットワークサービスFastlyを友人が転職してたので試してみました。そしたらいままでCloud Runで抱えてた悩みが解決してしかも値段も結構大丈夫そうだったので記事にまとめることにしました。 追記:Host Overrideについて書いた 俺たちは安くてhttpsで独自ドメインでCloud Runを使いたい そう、それだけなんですよ。それだけなのに苦労するのがCloud Runなんですよ。詳しくはこちらをお読みください。いままでは安くで済まそうとすると、プレビュー版のカスタムマッピングか、Cloudflareを前段にかますことが多かったのですが、それだと遅いのですよ。 Cloudflare Workersを組むとそこそこ速いのですが、キャッシュ含めちゃんと組むとなるちょっとコードの手間がかかるんです

                              Cloud RunとかGCPサーバレス製品のCDNはFastlyが最強かもしれない話-1/2
                            • 「今のピクシブは、AWS、GCP、オンプレのすべてがアツい」 パブリッククラウド活用における、未来のための取り組み

                              完全招待制のオンラインカンファレンス「PIXIV MEETUP 2023」。「創作活動を、もっと楽しくする。」というミッションを遂行するために、メンバーが普段行っている業務について、自らの言葉で語り、その想いと技術を共有する場です。sue445氏は、 ピクシブ社における、パブリッククラウド活用の取り組みについて発表しました。全2回。後半は、ピクシブ社の現状と未来のために取り組んでいることについて。前回はこちら。 過去と現在のオンプレとクラウドの比率 sue445氏:次に、現在のピクシブの状態について話します。(スライドを示して)だいたいこんな感じのことを話そうと思います。 まず、オンプレとクラウドの比率について話します。 僕が入社した当時は、クラウドの利用率はだいたい2割弱でしたが、今現在は3割弱と、ちょっと増えています。 AWSのアカウント数とGCPのプロジェクト数の推移 次に、AWSの

                                「今のピクシブは、AWS、GCP、オンプレのすべてがアツい」 パブリッククラウド活用における、未来のための取り組み
                              • GCPの拒否ポリシーが有能なので使用方法を解説します(IAMロールの権限制御) # GoogleCloud | DevelopersIO

                                1. IAMと拒否ポリシーの概要 IAM(Identity and Access Management)とは Google CloudのIAMポリシーは、デフォルトでは許可を指定するポリシーです。 よって、リソースに対するユーザーやグループ、サービスアカウントへの権限付与を明示的に許可することになります。 IAMロール周りの記事は過去に短く解説しているので、拝見下さい。 【Google Cloud:IAMのイメージについてざっくりまとめてみた】 拒否ポリシーとは IAMポリシーに対して、拒否ポリシーはこの挙動を反転させるものです。 つまり、ユーザーが特定のリソースに対して行うことができる操作を明示的に制限(拒否)します。 【公式から引用】 Identity and Access Management(IAM)拒否ポリシーを使用すると、Google Cloud リソースへのアクセスにガードレ

                                  GCPの拒否ポリシーが有能なので使用方法を解説します(IAMロールの権限制御) # GoogleCloud | DevelopersIO
                                • GCP版Dataformで冪等性を担保する設計ポイント3つ - TVer Tech Blog

                                  データエンジニアの遠藤です。 TVer Advent Calendar 2023の24日目の記事になります。 はじめに 本年(2023年)、Google Cloudのビッグデータ基盤として展開されるBigQueryでは、データガバナンスツールであるDataformがGA(Generally Avaialble)になりました。 cloud.google.com このDataformの登場により、BigQuery上でデータを利活用しやすいように変換する(データマートを生成する)システムの構築が容易になりました。 本記事では、Dataform上において、定常実行やリトライ実行を容易にするために、冪等性が担保される設計のテクニックを3点紹介します。(Dataformの基本的な使い方については触れませんのでご注意ください) 1. SQLX内のクエリに変数を用いる DataformはSQLXと呼ばれる

                                    GCP版Dataformで冪等性を担保する設計ポイント3つ - TVer Tech Blog
                                  • HerokuからGCPへのインフラ移行 〜ダブルライト検証編〜 - PLEX Product Team Blog

                                    アイキャッチ こんにちは、Plex Job 開発チームの池川です。 Plex Job では従来、バックエンドのデプロイ先として Heroku を使用していましたが、2024年1月に GCP に移行しました。 移行にあたって、移行後しばらくはいつでも旧環境に切り戻せるようにしておく必要があったほか、切り戻し時に発生するサービスの休止時間もなるべく抑えたかったため、新旧 DB にダブルライトする方法が取れないか検証しました。 結論としてはダブルライトは不採用としたのですが、不採用とした経緯も含め検証して得た知見を今回はまとめたいと思います。 検証環境 設計 1. コールバックは順番が保証されているか 2. コールバックがスキップされる ActiveRecord のメソッドがある 3. Active Storage に対応可能か 実装 1. 設定の追加 2. モジュールを作成する 3. Appl

                                      HerokuからGCPへのインフラ移行 〜ダブルライト検証編〜 - PLEX Product Team Blog
                                    • GCP + Fitbit + Notion でお手軽健康管理 - Qiita

                                      Motivation 年末に購入した Google Pixel Watch 2 であるが、それまで使用していた Apple Watch との違いを特に感じず、モヤモヤしていたのだが、Pixel Watch には Fitbit アプリがデフォルトで入っており、睡眠データなどのヘルスデータや歩数などのアクティビティデータを取得してくれるので、それを使って何かしたいと考えた。 Fitbit アプリや web のダッシュボード(https://www.fitbit.com) では各日のデータを確認できるが、複数日にまたがって一覧でまとめてデータを俯瞰したり、他の記録(e.g. 習慣トラッカーなど)と合わせて記録を残したい場合にはそれがなかなか難しいので、それらを全て Notion に突っ込むことで自分だけの活動記録テーブルを作ろうと考えた。 TL;DR タイトルにあるツール群を用いて、ヘルスデータ

                                        GCP + Fitbit + Notion でお手軽健康管理 - Qiita
                                      • RebootX : Your infra in your pocket on AWS, Azure, OnPrem, CleverCloud, GCP, Grafana, OVH, Scaleway | c100k

                                        A problem on your infra can happen anywhere, anytime Gain peace of mind : Solve or alleviate the problem directly from your smartphone

                                        • OpenTofu正式リリース!GCPやレガシーコード改善も|Productivity Weekly (2024-01-17号)

                                          こんにちは。サイボウズ株式会社 生産性向上チームの平木場です。 僕たち生産性向上チームは毎週水曜日に Productivity Weekly という「1 週間の間に発見された開発者の生産性向上に関するネタを共有する会」を社内で開催しています。 本記事はその時のネタをまとめたものです。 2023-01-25 号から、基本的に隔週で連載することとしました。たまに単独でも投稿するかもしれません。 今週は 2024-01-17 単独号です。 今回が第 139 回目です。過去の記事はこちら。 news 📺 OpenTofu Announces General Availability HashiCorp 社のプロダクト Terraform をフォークした OSS、OpenTofu がついに正式リリースされました 🎉 半年前に HashiCorp が Terraform などの主要 OSS プロダ

                                            OpenTofu正式リリース!GCPやレガシーコード改善も|Productivity Weekly (2024-01-17号)
                                          • Terraformで始めるGCP【CloudRun・CloudSQL】

                                            Terraformを使って、GCP上にプロジェクトを作成していきます。今回はCloudRunとCloudSQLをPrivateIP接続する構成を作成します。Private IP接続のために、VPCにはServerless VPC Access ConnectorとPrivate Service Accessを設定します。

                                              Terraformで始めるGCP【CloudRun・CloudSQL】
                                            • 【MLOps実践】GCPで始めるエンドツーエンドなMLOps基盤(Vertex AI,etc) - Qiita

                                              はじめに GCPのサービスを活用してエンドツーエンドなMLOps基盤を構築してみたときのメモです。 【ToDo】の部分は今後追記予定です アーキテクチャ構成 GCP実装例 1. データ基盤構築 概要 データを格納する環境を構築する テーブルデータの場合: 生データをBigQueryに格納→Vertex AI Feature StoreやVertex AI Datasetsに加工したデータを格納するなど 画像データの場合: GCSに格納するなど Why BigQuery カラム指向データ構造(一般的なRDBはレコード指向)→列を抜き出して操作する集計処理などが得意追加更新削除のようなオンライントランザクション処理が得意(苦手) ANSI準拠の標準SQLを使用できる サーバーレスでスケーラビリティと費用対効果に優れている: ストレージとクエリーリソースが自動的にスケールする。サーバーレスで運用

                                                【MLOps実践】GCPで始めるエンドツーエンドなMLOps基盤(Vertex AI,etc) - Qiita
                                              • dbt+GCPで実現するPII管理と�一時権限付与の実装

                                                https://www.meetup.com/ja-JP/tokyo-dbt-meetup/events/301497854/?isFirstPublish=true こちらのdbt tokyo meetup #9の登壇資料です

                                                  dbt+GCPで実現するPII管理と�一時権限付与の実装
                                                • 【登壇】今こそ筋トレと健康をIaC化する時が来ました(GCP:Infrasturacture Managerも語りました) | DevelopersIO

                                                  【登壇】今こそ筋トレと健康をIaC化する時が来ました(GCP:Infrasturacture Managerも語りました) 概要 12/15(金)クラスメソッド社内にて「Infrastructure as Code(IaC)の素晴らしさを語らせろ」という社外向け勉強会を開催しました。 詳細はこちら → https://classmethod.connpass.com/event/302466/ 今回は、その時の登壇内容について、ブログで共有させていただきます。 【会場の雰囲気】 登壇資料 IaCとTerraform IaCとは IaC(Infrastructure as Code)は、ITインフラストラクチャの定義とそのプロビジョニングを自動化するための方法です。 Google Cloud(GCP)の場合では、Terraform(Infrasturacture Manager)、Deplo

                                                    【登壇】今こそ筋トレと健康をIaC化する時が来ました(GCP:Infrasturacture Managerも語りました) | DevelopersIO
                                                  • GCPコンソールへのアクセス制御を簡単に実現する方法を教えます(Access Context Manager + BeyondCorp Enterprise) | DevelopersIO

                                                    GCPコンソールへのアクセス制御を簡単に実現する方法を教えます(Access Context Manager + BeyondCorp Enterprise) Access Context ManagerとBeyondCorp Enterpriseを設定して、GCP環境へのアクセスを制限する方法をハンズオン形式で解説します。 概要 どうやって実現するの? Access Context ManagerとBeyondCorp Enterpriseを設定して、GCPコンソールへのアクセスを条件付きで制御していきます。 今回必要なリソースを下記にまとめます。 Access Context Manager BeyondCorp Enterprise Google グループ 組織 Access Context Managerとは Access Context Managerとは、Google Clou

                                                      GCPコンソールへのアクセス制御を簡単に実現する方法を教えます(Access Context Manager + BeyondCorp Enterprise) | DevelopersIO
                                                    • ゲーム会社がAWSじゃなくGCP「Compute Engine」を“激推し”の訳

                                                      関連キーワード Amazon Web Services | Google | IaaS | 事例 | Docker ゲーム「オンライン麻雀 Maru-Jan」シリーズをはじめとするオンラインゲームやソーシャルゲームに加え、「FoodScore」(フードスコア)や「Corona Lab」(コロナラボ)などのヘルスケア関連サービス、AI技術を用いた文章の要約サービス「WorkerAI」を手掛けるシグナルトーク。同社は、サービスのインフラをマルチクラウド(複数のクラウドサービスの併用)で構築した。具体的には、Amazon Web Services(AWS)の同名サービスやGoogleの「Google Cloud Platform」(GCP)を併用している。 サービスのインフラとして、シグナルトークがAWSとGCPによるマルチクラウドを選んだ理由とは何なのか。同社に話を聞いた。 AWSじゃなくGC

                                                        ゲーム会社がAWSじゃなくGCP「Compute Engine」を“激推し”の訳
                                                      • GCP認定Professional Data Engineer受験対策 - Qiita

                                                        はじめに 取得してからだいぶ経っていますが、Google Cloud認定資格の中では、Professional Cloud Architectに次いで、Professional Data Engineerを受験する方が多いのかなと思い要点をまとめてみました。 本記事を読んだだけで合格できる、ということを保証するものではありませんので、ご了承ください。 もくじ Professional Data Engineerについて 要点 勉強法 まとめ Professional Data Engineerについて 本資格ではデータ処理システムの設計や構築、運用に関することが問われます。問題は50~60問の選択式であり、試験時間は2時間、受験費用は$200 (税別) です。 試験ページでは、以下のことが評価されるとあります。 データ処理システムの設計 機械学習モデルの運用化 ソリューションの品質の確保

                                                          GCP認定Professional Data Engineer受験対策 - Qiita
                                                        • 【GCP】BQでデータセット名やテーブル名に変数を利用

                                                          目的 bigqueryのstandardSQLでデータセット名やテーブル名に変数の値を利用したいと思います。 課題感 DECLAREで定義した変数は そのままではstandardSQLのデータセット名やテーブル名に利用できません。 方法 「DECLARE」と「EXECUTE IMMEDIATE FORMAT」で動的SQLステートメントの作成して実現します。 データセット名に変数を利用 DECLARE value STRING; SET value = "analytics_279437325"; EXECUTE IMMEDIATE FORMAT(""" SELECT event_date FROM `%s.events_20220710` LIMIT 10 """, value);

                                                            【GCP】BQでデータセット名やテーブル名に変数を利用
                                                          • 【個人開発】Next.js 13 (App) × GCP × Cloudflare × microCMSを駆使してブログをリニューアルする

                                                            はじめに 私は https://rl-japan.com というサイトを運営しています。 これは「ロケットリーグ」というゲームに関するニュースや攻略情報をまとめたサイトです。 日本において、このゲームの情報は限られているため、2021年よりロケットリーグ専門の情報ポータルサイトとして運営を開始しました。現状、ページビュー(PV)やユニークユーザー数(UU)も安定しており、コミュニティへの貢献を実感している今日この頃です。 プロジェクトの背景と目的 以前の「RL Japan」のトップページでは、microCMS様が公式で提供しているオープンソースのテンプレート[1]を採用していました。このテンプレートは複製・改変・商用利用が可能で、ブログ公開に必要な機能が網羅されているため、すぐに公開でき非常に助かりました。技術的にはNuxt.js (Vue2) と Netlify/Netlify Func

                                                              【個人開発】Next.js 13 (App) × GCP × Cloudflare × microCMSを駆使してブログをリニューアルする
                                                            • GCP入門[第3回]ストレージとデータベース

                                                              GCPのストレージサービスは、前回取り上げた、仮想マシンの永続ディスクに加え、「Google Cloud Storage(以下、Cloud Storage)」がある。データベース(DB)のサービスとしては、「Google Cloud Bigtable(以下、Cloud Bigtable)」「Google Cloud Datastore(以下、Cloud Datastore)」「Google Cloud SQL(以下、Cloud SQL)」「Google Cloud Spanner(以下、Cloud Spanner)」の4種がある(表1)。 最初に、仮想マシンの永続ディスクを除いて、これらのサービスを簡単に説明する。 Cloud Storageは、Amazon S3相当のオブジェクトストレージである。S3との違いは、独自のCDN(Content Delivery Network)機能(AWS

                                                                GCP入門[第3回]ストレージとデータベース
                                                              • GitHub Actionsを利用してGCPのCloud Storageへの自動デプロイを実現する方法

                                                                🎯目的 Cloud Storageのリソースデータを自動デプロイできるようにしたい。 Cloud Storage, GitHub Actionsも非公開とする。 最初の導入メモとしても利用。 前提条件 まずは以下設定を行います。 Google Cloud SDKのインストールと設定 以下ドキュメントを参考にしてください。 GCPプロジェクトのセットアップ まだ一度もGCPを触れていない方はこちらを参考にしてください。 🗝️GCPへの認証情報(JSONキー)をGitHub Secretsに保存 GCPでサービスアカウントを作成し、キーを生成します。 左のナビゲーションペインから「IAM & 管理」→「サービスアカウント」を選択します。 「サービスアカウントを作成」ボタンをクリックします。 必要な情報(サービスアカウント名、説明等)を入力し、「作成」をクリックします。 役割を付与して、サー

                                                                  GitHub Actionsを利用してGCPのCloud Storageへの自動デプロイを実現する方法
                                                                • [GCP]データ基盤を構成できるサービスについて調べた個人的メモ - Qiita

                                                                  はじめに この記事はGCPでデータ基盤を構築する際に用いられるであろうサービスを調べたメモを、ローカルに眠らせるより公開しておけば後々良いかと思い作成しました。 (サービスと表現するかプロダクトと表現するか悩んだけど、私が普段用いている前者の表現をここでは採用) なお、公式ドキュメントや技術ブログの情報をまとめているだけで、まだ実際に各サービスを触っていないことをご留意ください。 実際に操作してみた記事はまた書き起こそうかなと思っています。 GCPやるぞ......!! AWSのサービスとの比較表 AWSでのデータ基盤構築をやっていたので、ふんわりイメージを得るために表も作成 用途 AWS GCP その他

                                                                    [GCP]データ基盤を構成できるサービスについて調べた個人的メモ - Qiita
                                                                  • 株式会社メディファーマによるGCP違反について

                                                                    このホームページを、英語・中国語・韓国語へ機械的に自動翻訳します。以下の内容をご理解のうえ、ご利用いただきますようお願いします。 1.

                                                                    • 今流行りの複合llm oss「dify」をとりあえずgcpにデプロイしてみた

                                                                      概要 手軽に自分でdify環境を作りたいときの備忘録 ロードバランサー使ってるからhttps化も楽ちん 前提条件 GCPアカウントとプロジェクトの作成が完了していること gcloudコマンドラインツールがインストール済みであること 手順 1. GCEインスタンスの作成 GCPコンソールから、Compute Engineのインスタンス作成画面を開きます。 インスタンスの名前、リージョン、ゾーン、マシンタイプを指定します。 ブートディスクにはContainer-Optimized OSを選択します。 ファイアウォールでHTTP/HTTPSトラフィックを許可するよう設定します。 インスタンスを作成します。 2. docker-composeのインストールと設定 作成したインスタンスにSSH接続します。 以下のコマンドを実行し、docker-composeをインストール。

                                                                        今流行りの複合llm oss「dify」をとりあえずgcpにデプロイしてみた
                                                                      • Google Cloud(GCP) データベース関連プロダクト 7 個まとめ | クラウドエース株式会社

                                                                        Google Cloud(GCP) データベース関連プロダクト 7 個まとめ こんにちは、クラウドエース編集部です。 こちらの記事では、Google Cloud(GCP) が提供するデータベース関連のプロダクトについてご紹介していきます。 AWS や Azure も同様にデータベースサービスのプロダクトを提供しており、以下では各プロダクトに相当する AWS や Azure のプロダクトについても紹介します。 1.Cloud SQL(クラウドエスキューエル) Cloud SQL は、GCP 上で提供される、フルマネージドのリレーショナルデータベースサービスです。MySQL、PostgreSQL、Microsoft SQL Server の 3 つの主要なデータベースエンジンをサポートしています。 Cloud SQL を使用すると、データベースの設定や管理、データベースインスタンスの拡張、自動

                                                                          Google Cloud(GCP) データベース関連プロダクト 7 個まとめ | クラウドエース株式会社
                                                                        • GCP Load Balancing (non classic) - URL rewrite

                                                                          I have a very simple use case and I can't seem to find a way to do it. My application has an app part (angular) and an api part (nodejs). From the UI, although I call the api as /api/*, the api server itself does not have the /api prefix. Because of this, I need to rewrite any request for /api to /. In the development environment, my angular application simply has a proxy configuration which does

                                                                            GCP Load Balancing (non classic) - URL rewrite
                                                                          • Plex JobのバックエンドをHerokuからGCPに移行しました - PLEX Product Team Blog

                                                                            はじめに こんにちは、Plex Job開発チームの種井です。 先日公開された、池川さんのブログ「HerokuからGCPへのインフラ移行 〜ダブルライト検証編〜 - PLEX Product Team Blog」でも紹介がありましたが、Plex Jobでは昨年から今年の1月まで約8ヶ月ほどかけてバックエンドのシステムをHerokuからGCP(Google Cloud Platform)に移行しました。 順番は前後しますが、今回は移行に至った経緯や完了するまでの取り組みについて、ざっくりと全体像について、お話しできればと思っております。 インフラ移行に至った経緯 弊社では 使われるかどうかわからない段階での作り込みを避ける 限られた人数でまずはアプリケーションの開発に注力するため MVP段階のプロダクトに関してはHerokuを使用して運用を行うという方針があります。 Plex Jobはありがた

                                                                              Plex JobのバックエンドをHerokuからGCPに移行しました - PLEX Product Team Blog
                                                                            • Terraformを使ってGCPサービスからのslack通知環境を整える

                                                                              この記事は GMOアドマーケティング Advent Calendar 2023 7日目の記事です。 こんにちは、GMOアドマーケティングのM.Hです。 Google Cloud Platform(以下、GCP)のCloud Monitoringは、リアルタイムでクラウド環境のインフラストラクチャを監視し、アラートを提供できる強力なツールです。今回はこのCloud MonitoringとSlackを連携させ、GCPの各サービスから通知したい内容をリアルタイムでキャッチアップできる仕組みを、Terraformを用いてコード管理できる形で実装していきます。 前提 以下のことは事前に作成、設定済みとします。 ローカル環境にTerraformが導入済みであり、provider定義が完了していること。 GCPのアカウントのセットアップやプロジェクトの作成、必要なAPIの有効が完了済みであること。 Sl

                                                                                Terraformを使ってGCPサービスからのslack通知環境を整える
                                                                              • 本番環境へのアクセス管理と、GCPの特権アクセス マネージャー(Privileged Access Manager)

                                                                                本番環境へのアクセス管理と、GCPの特権アクセス マネージャー(Privileged Access Manager) はじめに 私ごとですが先日GCPのProfessional Cloud Security Engineerの資格を取得しました。 (他にもProfessional Cloud ArchitectとProfessional Cloud Developerを持っています) そして、記事執筆時点で私が所属している株式会社スリーシェイクはSREの文化が根付いており、セキュリティの向上やtoil削減への情熱を持っています。 そのような環境で、幸運にもセキュリティの向上とtoil削減の両方に関わる「本番環境のアクセス管理」というテーマで検証や導入支援等を行う機会があったため、知見をシェアしたく記事を執筆しました。 概要 Google Cloud Next '24で紹介されていた本番環境

                                                                                  本番環境へのアクセス管理と、GCPの特権アクセス マネージャー(Privileged Access Manager)
                                                                                • カスタマイズ可能で柔軟性の高いGCP環境のガードレールをShisho Cloudで構築

                                                                                  導入背景Finatextでは主にAWSをクラウドインフラとして採用しています。 Terraformによる運用は社内に浸透しており、すべてのプロダクトチームがチーム内でコードを書いてインフラの管理を実施しています。 その一方で、セキュリティ面での適切な管理ができるように全社横断のPlatformチームにてガードレールを構築しております。 GCPは現時点ではBigQueryなどの特定サービスを限られた範囲で利用していますが、AIサービスを中心として利用用途が広がっていくことが想定されるため、AWSと同様のガードレールを構築したかったというのが背景にありました。 Shisho Cloud導入前は、GCPプロジェクトの管理・運用もAWSと同様に各プロダクトチームが担っていましたが、アクセス制御や各種セキュリティ設定などを全社横断で管轄できておらず、野良プロジェクトや未使用のプロジェクトがたくさんあ

                                                                                    カスタマイズ可能で柔軟性の高いGCP環境のガードレールをShisho Cloudで構築