はじめに こんにちは、IT 基盤部ネットワークグループの守屋です。 ネットワーク全般 ( Cloud / DataCenter / オフィス ) の設計・構築・運用・保守を担当しています。 今回は、DeNA での GCP ネットワーク運用についてお話しさせて頂きます。 GCP のネットワークについては、 以前にも 記事を書いていますが、 今回は２年ほど運用してみてわかった Shared VPC を運用する上でのノウハウを中心に記載します。 Google Cloud Shared VPC について Google Cloud Shared VPC を導入した背景 Shared VPC は Shared VPC 内に作成した Subnet の利用権限を別プロジェクトに付与することができるサービスです。 これにより Cloud VPN を含む VPC 関連のリソースは Shared VPC によっ
GCPの拒否ポリシーが有能なので使用方法を解説します（IAMロールの権限制御） # GoogleCloud | DevelopersIO
1. IAMと拒否ポリシーの概要 IAM（Identity and Access Management）とは Google CloudのIAMポリシーは、デフォルトでは許可を指定するポリシーです。 よって、リソースに対するユーザーやグループ、サービスアカウントへの権限付与を明示的に許可することになります。 IAMロール周りの記事は過去に短く解説しているので、拝見下さい。 【Google Cloud：IAMのイメージについてざっくりまとめてみた】 拒否ポリシーとは IAMポリシーに対して、拒否ポリシーはこの挙動を反転させるものです。 つまり、ユーザーが特定のリソースに対して行うことができる操作を明示的に制限（拒否）します。 【公式から引用】 Identity and Access Management（IAM）拒否ポリシーを使用すると、Google Cloud リソースへのアクセスにガードレ
GMOアドマーケティングのT.Cです。 DataProcのCloudクライアントライブラリ、GCEやApp EngineのCron serviceなどを利用して定期的にDataProcでデータを加工・分析する場合、データサイズ・処理量・費用などの理由でバッチごとに適切なDataProcのスペック、バッチのオプションを指定しておく必要があります。 しかし、1日ごとにデータを加工・保存していたバッチが何かしらの理由で失敗して、3日ぐらい放置されたと仮定しましょう。1日分のデータを処理する目的で指定したDataProcのスペックでは3日分のデータの処理は難しいでしょう。 復旧のためには、指定しておいたDataProcのスペック、バッチのオプションを一時的に変更し、再実行するなどの手間が発生します。 そこで、今回はCurlを利用してDataProcのスペックやバッチのオプションを自由、楽に更新しな
GCP連載#5【もう鍵なくさない】GCPのSecret ManagerとBerglasで幸せになる | フューチャー技術ブログ
前書きこんにちは、TIG所属インフラエンジニアの市川です。GCP連載の5本目です。 突然ですが、普段生活するうえでカギ🔑をなくした、忘れたことはないでしょうか。私はあります。なくしたことはないけど、うっかり置き忘れちゃうんですよね。 それがことインフラ構築の場面ではどうでしょうか。最近はとにかく多くのカギを管理しなくてはなりません。API Keyとか気づいたら何が何だか分からなくなり、苦渋の決断の末、再度払い出すことも多いのでは無いでしょうか。検証ならまぁ…ギリギリですが、本番ではやっちゃダメ絶対です。 ということで、そんな管理人の皆さんに朗報です。 遂にGCPにシークレット管理機能がやってきました！ CLIツールのBerglasとGUIで管理するSecret Managerを簡単にご紹介したいと思います。 Berglasを使ってみるサクっと利用するならCloud Shellだよね！とい
類似ベクトル検索のSoTA！！GCP: Vertex Matching Engineにも使用されている手法ScaNNを紹介！
3つの要点 ✔️ GCPの新プロダクト「Vertex Matching Engine」の元論文 ✔️ MIPSスコアを考慮した新しい量子化損失関数を提案 ✔️ ANNBenchmarksでSoTA性能を記録 Accelerating Large-Scale Inference with Anisotropic Vector Quantization written by Ruiqi Guo, Philip Sun, Erik Lindgren, Quan Geng, David Simcha, Felix Chern, Sanjiv Kumar (Submitted on 27 Aug 2019 (v1), last revised 4 Dec 2020 (this version, v5)) Comments: Published as a conference paper at ICM
Spring Cloud GCP を使ったアプリケーション開発入門
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2020 の 21日目の記事です。 みなさん、こんにちは、Google Cloud の柳原 (@yanashin18618)です。 2020 年の今年は Java が公開されてから 25 周年というアニバーサリー・イヤーで盛り上がりを見せた年でした。Java に馴染みのない人も 今年は Java というキーワードを目にしたりしたのではないでしょうか。 私はと言えば、日夜 Google Cloud 上で Java アプリケーションをどう組み上げていくかと想いを馳せた1年でした。 TL;DRこれから Google Cloud 上で Java アプリケーションを作っていこうとしている方のために参考になるような話を綴っていきます。 特に開発フレームワークの Spring が提供して
GCP連載#2 Istio on GKEではじめるサービスメッシュ | フューチャー技術ブログ
はじめにこんにちは、TIGの村田です。GCP連載企画2日目の記事です！ 皆さんは普段どのようなアプリケーションを開発されてますか？私は最近Kubernetes上にデプロイされるマイクロサービスなアプリケーションに携わっています。 今回はIstio on GKEに焦点をあててGCPにおけるサービスメッシュの活用方法をご紹介したいと思います。 GKEクラスタを作成するまずはクラスタを作成します。 基本的にはデフォルト値のままクラスタ作成してしまおうと思います。 変えるのは一箇所だけ、今回の目玉の部分です。 Additional features の Enable Istio にチェック！ チェックを入れると Enable mTLS 欄が登場します。 選べるのは Permissive と Strict の2種類ですが、今回はデフォルト値である Permissive のままとします。詳しくは以下の
この記事は「Eureka Advent Calendar 2021」の16日目の記事です。 Hello! 世界！MLエンジニアのsugikiです。 2021年ももう終わりますね。急に寒くなってきたので急に年末感がでてきました。 うちの犬もかまくらのハウスで丸くなりなかなか出てこなくなりました。 私は、普段はユーザが接するMLサービス全般に関わる業務に従事しています。今回は、GCPでMLOpsを導入したサービス事例や苦労した点について紹介したいと思います。 全体の構成今回は、検索やレコメンドでのリランキングサービスを例に構成を紹介したいと思います。機械学習を使ったリランキングはlearning-to-rank (LTR)と呼ばれるタスクでアカデミックでも研究が盛んに行われています。 一般的には、以下のように、検索エンジンやベクトル類似度など比較的軽量な処理でcandidate generat
急成長するLINE配信対象ユーザー数にGCPアーキテクチャの改善で立ち向かった話 - ZOZO TECH BLOG
はじめに こんにちは、EC基盤本部・MA部・MA基盤チームでマーケティングオートメーションのシステムを開発している長澤（@snagasawa_）です。この記事では、社内で運用しているLINEメッセージ配信基盤の課題を、アーキテクチャ改善によって解決した話をご紹介します。 当時、LINEメッセージ配信基盤では、配信処理を担っていたApp Engineで2つの課題を抱えていました。「メモリ不足による配信処理の中断」と「リクエストタイムアウト後の意図しない処理の継続」です。一時はスケールアップによるメモリ増強を検討しましたが、後者の課題を解決できないためアーキテクチャの変更に着手しました。 結果として、App Engineが担っていた処理をBigQuery・Cloud Storage・Dataflow Batch Jobに置き換えることにより、この2つの課題を解決しました。加えて、配信対象ユーザ
GCPのバックエンド一覧取得方法
こんにちは。 GMOアドマーケティングの@zakisanbaimanです。 GCP上のバックエンド一覧を取得するのに少し苦労したため、一度まとめておきます。 やりたかったこと バックエンドサービス一覧からcapacityScalerが1.0（100％）のバックエンドのみを抽出したい。 ▼バックエンド一覧（画面） どのコマンドを使うべきか？ バックエンド一覧を直接リストで取得できるコマンドはなさそうなので、gcloud compute backend-services listを使います。 まずは何もオプションを付けず実行してみる。 $ gcloud compute backend-services list NAME BACKENDS PROTOCOL backend-service01 us-central1-a/instanceGroups/instance-group-1,us-ce
なぜ書いたか やりたいこと tl;dr 特定サービス（の全リソース）に対する権限を付与したい 特定サービスの特定リソースに対しての権限を付与したい まとめ おまけ google_service_account_iam_member がややこしい なぜ *_iam_member を使うのか 参考 なぜ書いたか Terraform Google Provider のIAM周りのリソースはたくさんある。 google_project_iam_policy google_project_iam_binding google_project_iam_member google_service_account_iam_policy google_service_account_iam_binding google_service_account_iam_member google_cloud_run_
GCP連載#10 Terraform ではなくCloud Deployment Manager を使ってみよう | フューチャー技術ブログ
はじめにGCP 連載もいよいよ最終日です！ 普段は、Terraform を使っているのですが、ふとCloud Deployment Manager を使ったことないことに気づきました。そこで、Cloud Deployment Manager について紹介したいと思います。 Cloud Deployment Manager とはCloud Deployment Manager とは、GCP のリソースをYAML で宣言的に記述し、デプロイできるサービスです。要は、AWS のCloudFormation などにあたるサービスです。 ちなみにですが、Cloud Deployment Manager は、テンプレートをPython やJinja2 を使って、パラメータ化することもできます。ざっくりですが、以下にCloud Deployment Manager と似たサービスをクラウド毎に記載します
概要 Stackdriverを使用してGCE(Google Compute Engine)へ基本的な監視設定を行う手順を説明していきます。 Stackdriverの公式ドキュメントがかなり難解なため、Stackdriverの前提知識が薄い方も理解できる内容で記載していきたいと思います。 なお、本記事はDebian系 or RHEL系のLinuxが稼働しているGCEを想定して記載しております。 今回は基本的な監視設定の解説となりますが、Stackdriverはより応用的な活用をすることでクラウドネイティブな監視ツールとしての威力を発揮します。 目次 1. Stackdriverとは 2. Stackdriverの監視方針 3. Stackdriverの起動方法 3-1. Stackdriver Monitoringの起動方法 3-2. Stackdriver Loggingの起動方法 4.
GCP Professional Cloud Network Engineer 認定試験合格してきた - YOMON8.NET
一昨日思い立って、スケジュールにらめっこしたところ、昨日しか空いてないので、会社の近くのテストセンターで取得してきまいた。 まだ日本語提供されてない英語試験です。GCPの英語試験の注意点はこちらで書いた内容と同じです。 yomon.hatenablog.com 試験内容 引掛けが無い素直な問題なので、GCPのネットワークの基礎と、汎用的なネットワーク知識が十分にあれば少し勉強するだけで取得できるような気がしました。 試験内容もとても素直で、試験後に見直してみてもガイドのまんまです。一般的な用語とGCP特有サービス名が入っている部分が並んでいますが、特に後者のGCP特有部分を見返しておくと良いかもしれません。（この試験受けるような人はネットワークの基礎は持っていると思うので、当然と言えば当然ですが） Professional Cloud Network Engineer 試験ガイド |
Kubernetes と GCP のリソースを統合して、よりシンプルで迅速なデプロイを実現 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 1 月 29 日に、Google Cloud blog に投稿されたものの抄訳です。 コンテナと Kubernetes を採用すると、特にリソースを構成、維持する方法など、新しい処理方法を採用することになります。宣言型システムである Kubernetes では特定のリソースに対する意図を表現でき、そのリソースを継続的に調整しながら作成、更新します。命令型構成のアプローチとは異なり、Kubernetes スタイルの宣言型構成では、構成をバージョン管理システムに保存して YAML ファイルで定義するという GitOps のベスト プラクティスに従いやすくなります。 ただし、Kubernetes で実行されるアプリケーションは、多くの場合、Cloud SQL や Cloud Storage などの Kubernetes 外部にあるリソースを使用します。通常、こ
はじめにはじめまして。2023年1月キャリア入社の添田です。1月から参画させていただいているプロジェクトでGoogle Cloud PlatformのPubSub(以降PubSub)を使用した開発を行うことになり、苦戦した部分が多々ありました。そこで今回はPubSubについて噛み砕いて説明していきます。今後PubSubを使用した開発をする方の助けになれればと思います。 (Google Cloud Platform PubSubについての公式ドキュメントはこちらです。) 目次 そもそもPubSubとは何か PubSubを理解する上で重要な単語の解説 実際の処理の流れの解説 PubSubを使用したユースケース考えてみた まとめ 最後に 1. そもそもPubSubとは何かPubSubとは、非同期型のメッセージングサービスです。つまり、異なるコンポーネントやアプリケーション間でデータを非同期的に送
GCPのProfessional Data Engineer試験にエンジニア実務未経験で合格した話 - Qiita
なぜ受験しようと思ったのか 4月からデータエンジニアとして働くことが決まりましたが、実務未経験だったため入社前に事前学習をしておくためです。 入社後に研修がある企業でしたが、必要な知識の全体像を把握した上で研修を受けた方が細部まで理解できると考えたので、データエンジニアリングの知識が網羅的に習得できそうな本資格の受験を決めました。 前提知識 ・エンジニアとしての実務経験は0の状態。 ・Pythonは完全に理解している() ・趣味でWebアプリ開発をしたことがある(Rails、Django、React、TS) ・趣味で機械学習の実装(KaggleやSIGNATEにチャレンジして多少の精度改善)ができるレベル ・AWSはWebアプリのデプロイで使ったことがある。(GCPの経験は0) ・仕事ではBIツールでSQLを扱っていた。(サブクエリや結合等の複雑なクエリは書けるが、クエリのパフォーマンス等
LINEの大規模なインフラを支えるインフラエンジニアが所属しているチームの役割や実際の仕事内容について、普段の働き方や現在の課題、取り組みなどを事例を交えてお話しする「LINE インフラエンジニア採用説明会」。ここで登壇したのは、システム室 室長／システムソリューションチーム マネージャーのカーン・フィロズ氏。システム室の役割と、新設されたポジション、System Infra Managerについて話しました。 1年で約18パーセント増え続けているサーバー カーン・フィロズ氏（以下、フィロズ）：ここからは私の部署、システム室についてお話しします。先ほど少し触れましたが、システム室の役割の中で大きな範囲として、サーバーとOSの領域となっています。 7月のデータですが、現在LINEのサーバーは、約16万8,000台のホストという規模感になっています。その中で、物理サーバーが7万台を超えています
はじめに 概要 昨年主要なパブリッククラウドであるAzure,GCP,AWSのOCRサービスの比較記事を書きましたが、クラウドの世界は進化が早いですね。 2021年にそれぞれのサービスでアップデートがありましたので、改めて比較してみたいと思います。 以下の前回の比較記事です。 【2021年版】Azure/GCP/AWS OCRサービス比較 実は今回、マイクロソフトから最新のAPIのプライベートプレビュー版を入手しました。 プライベートプレビュー版なのでバージョンアップ内容の詳細は控えますが、日本語手書き文字の認識精度が猛烈に向上しています。 (2022/05/02 追記) 2022年2月にパブリックプレビューに移行しました。 バージョンアップ内容の詳細はこちらをご確認ください。 この記事の想定読者 クラウドが提供するOCR機能に興味のある方 どのクラウドサービスを導入しようか迷われている方
概要 Before Google Cloud Platform f1-micro インスタンスで CoreOS が動作していた。 sinatra の Docker コンテナが動的なコンテンツを返していた。 とはいえほぼ静的な html なので、 SSL 終端もしていた nginx コンテナに強めのキャッシュを持たせていた。 After Amazon Web Services 予めビルドした静的コンテンツを S3 に放り込む。 S3 + CloudFront(CDN) + ACM(SSL) + Lambda@Edge で配信。 詳細 GCP は Always Free という無料枠で f1-micro インスタンスを使わせてくれるのだが、これはもう滅茶苦茶弱いマシンなんですよね。使うにしても色々工夫して使わないといけなかった。 しかも無料かと思いきや Static IP Charge という
AWSとGCP におけるセキュリティの勘所 - Qiita
AWSやGCPを利用する際によく対面するセキュリティ対応について各クラウドでのソリューションを比較しながら、サービスや方針についてまとめました。 この記事の範囲 主に、Webサービス／アプリ開発でのクラウド利用におけるセキュリティについての話がメインです PCI DSS とか ISMS とかの難しい話はしません(というかできないよ\(^o^)/) パブリッククラウドにおけるセキュリティ パブリッククラウドにおいて、まず最初に押さえるべきは「責任分担モデル」です。簡単にいうと、クラウドサービス自体の運用に関しての責任はクラウドプロバイダが持つ。クラウドサービスの利用の仕方に関する責任は自分たちで持つ。ってやつです。 これは大体どのプロバイダも一緒なので、覚えておくといいと思います。 引用: https://aws.amazon.com/jp/compliance/shared-r
GCPへの大規模移行に伴いセキュリティ診断を実施。クラウドとアプリケーションはセットで診断すべきと考えていたのでFlatt Securityを選んだ | Flatt Security
GCPへの大規模移行に伴いセキュリティ診断を実施。クラウドとアプリケーションはセットで診断すべきと考えていたのでFlatt Securityを選んだ 株式会社SmartHRは2013年1月に設立され、2015年11月よりクラウド人事労務ソフト「SmartHR」の提供を開始しました。2019年に関西支社を設立したことを皮切りに、2020年には九州支社、東海支社にも拠点を拡大しました。2021年にはシリーズDラウンドで海外投資家などから約156億円を調達。累計調達額は約238億円となり、創業から8年で企業価値が10億ドル（約1100億円）以上のユニコーン企業になりました。 4万社以上が利用しているクラウド人事労務ソフト 「SmartHR」は、雇用契約や年末調整などの人事・労務業務のペーパーレス化、従業員サーベイや分析レポートなど蓄積された情報を活用する人材マネジメントなど、さまざまな人事・労務
AWSに無料枠があるように、GCPにも無料枠があります。GCPの無料枠では何ができるのか気になり調べてみました。 「AWSの無料枠」 https://aws.amazon.com/free/ 「GCPの無料枠」 https://cloud.google.com/free/ AWSの無料枠には「短期の無料トライアル」や「12ヶ月間の無料枠」,「永久無料枠」があります。 GCPには「$300分の無料トライアル」と「永久無料枠」があります。 AWSの無料枠については知りたい方は以下のページをご確認ください。 ・$300分の無料クレジット GCPには、90日間利用できる$300分の無料トライアルが用意されています。登録が完了すると自動的に開始され、すべてのGoogle Cloudリソースで利用できます。AWSの「12ヶ月間無料枠」でも様々なサービスが利用できますが、GCPでは90日間ですが全てのサ
※この投稿は米国時間 2020 年 2 月 13 日に、Google Cloud blog に投稿されたものの抄訳です。 ウェブブラウザでドラッグ＆ドロップするように、新しいアプリケーションを簡単に構築できたら素晴らしいと思いませんか？この記事では、GCP サービスを活用しながら、ビジュアル プログラミング形式で幅広いソリューションを構築できる、人気のオープンソースを開発、実行するプラットフォーム Node-RED を使用し、Google Cloud Platform（GCP）でホストされるアプリケーションを簡単に構築する方法を説明します。 Node-RED では、提供されるビルディング ブロック（ノード）を使用して、プログラム（フロー）を作成します。ブラウザには、使用可能なノードのパレットとともにキャンバス領域が表示されます。ノードをパレットからキャンバスにドラッグ＆ドロップし、ワイヤー
GCP CloudRunにSlack Bolt(TypeScriptで)を導入してSlackBotを作成する - Qiita
皆さんCloudRunを使っていますか？ 素早くDocker環境に秒単位でデプロイができるこのサービスに私はメロメロです。 で本日はCloudRunを使ってSlackBot (Bolt)を導入して簡単なスラッシュコマンドを作成してみたい。と思います。 完成品は /ping コマンドを発行したらbotから pong が返ってくるものを作成します 事前に必要なもの GCPのアカウント及び下記サービスのPermissionが必要になります Cloud Run Cloud Build Container Registry Slack Appsを作成できるPermission 使うもの Slack Bolt SlackBotにかかる料金についての試算目安 Cloud Run Cloud Build について説明します。この他にStorageの料金等細かい部分が発生しますが、省略させていただきます。
BigQuery とは？ BigQueryは、Google Cloud Platform (GCP) の一部として提供されている、フルマネージド型のデータウェアハウスサービスです。BigQueryは、大量のデータを効率的に分析するために設計されており、ペタバイト単位のデータを迅速かつ簡単にクエリすることができます。 BigQueryの主な特徴は以下のとおりです。 スケーラビリティ: BigQueryは、データ量やクエリの複雑さに応じて自動的にスケーリングします。このため、追加のリソースやインフラストラクチャの管理が不要です。 高速性: Googleのインフラストラクチャと技術を利用して、大量のデータに対してリアルタイムに近いレスポンスでクエリを実行できます。 セキュリティ: BigQueryは、データの暗号化やアクセス制御など、Googleの厳格なセキュリティ基準を満たしています。また、ユ
GCP の OAuth 2.0 grant_type=refresh_token で「Token has been expired or revoked.」が発生する場合の対処方法 - CData Software Blog
こんにちは。CData Software Japanリードエンジニアの杉本です。 ここ最近、GCP・BigQuery や Google Contacts などの連携利用でリフレッシュトークンが期限切れになる・使えなくなるという事象に遭遇することがあったので、その対処方法についてお伝えしたいと思います。 どんな問題？ GCP で提供されているOAuth2.0 で、Reflesh Tokenのリクエスト「grant_type=refresh_token」を行った際に発生するエラーの一種です。 developers.google.com 取得したReflesh Tokenを使って、新しいAccess Tokenを取得しようとし、以下のようなリクエストを行った場合に発生します。 developers.google.com POST /token HTTP/1.1 Host: oauth2.goog
クラウドネイティブなオープンソースAPIゲートウェイ「Apache APISIX」の開発チームは2022年8月12日（米国時間）、ネットワークI/O集約型シナリオにおける「Amazon Web Services」（AWS）、「Microsoft Azure」（Azure）、「Google Cloud Platform」（GCP）の処理性能の比較結果を発表した。狙ったのはArmベースサーバの優劣を見極めることであり、APISIXを使って比較テストを実行した。 Armプロセッサはセンサーからスマートフォン、サーバまで、世界最大のコンピューティングエコシステムの基盤となっている。低消費電力や柔軟なライセンス、低コストという特徴から、多くの専門家はArmプロセッサが、クラウドコンピューティングの未来を担うと考えている。 AWSやAzure、GCPといった大手クラウドサービスベンダーは、Armアーキ
【GCP】Cloud IAMの概念を整理してみた
はじめに IAMを触る時、「ロールとポリシーの関係ってなんだっけ？」、「サービスアカウントってなんだっけ？」と毎回調べて雰囲気のまま使っていました。 今回は、再度勉強しなおしてCloud IAMについて纏めてみました。 Cloud IAMとは Cloud IAMとは「誰（ID）」が「どのリソースに対して」「どのようなアクセス権（ロール）」を持つかを定義することにより、アクセス制御を管理できます。 例えば、下記のようなこと設定をすることがで、適切なアクセル管理をすることが可能です。 「開発者A」に「Cloud FunctionsとPub Sub」の「閲覧と編集」を行える 「Cloud Functionsの関数A」は「Cloud Strage」の「作成」のみを行える Cloud IAMの概念 公式ドキュメンに正しく詳細な説明があるので、こちらも参照いただければです。 ここでは自分が理解したもの
こんにちは、インフラ部の id:sue445 です。 GitLabのGCP移行3部作の最後になります。 前回までの記事はこちらになります。余談ですが前編・中編・後編で合計約4万字になりました。 inside.pixiv.blog inside.pixiv.blog 今回の目次 今回の目次 やったこと5: 移行時の作業の洗い出し やったこと6: 直前の作業を実施 GitLabをcloneするサーバに対してssh configを配置 やったこと7: 実際の移行作業 やったこと8: 移行後の対応 主要サービスで実際にGitLabをcloneしてデプロイできるかを確認（残り） 社内ドキュメントなどで旧URLになってるものを新URLに変更 移行直後のトラブル対応事件簿 OneLoginのロール付与漏れ 移行して3日後に急にデプロイサーバでcloneできなくなった 対応内容1: 踏み台サーバが詰まって
概要 GCPの資格試験 Associate Cloud Engineer の認定試験ガイドと公式ドキュメントのURLを紐づけたもの。 2022/5 更新 資格の更新再受験にあたって、チートシートを更新しました。 2020/5 にこれを新規作成した時との差異は、以下の通りです。 オフィシャルでない教材を参考に試験準備をしている方は、「削除された項目」がその教材にある場合は無視をし、「追加された項目」がその教材にない場合は自力で学習されるのが良いかと思います。 削除された項目 Google App Engine 全般 (GAE は オワコンですね) Deployment Manager 全般 (IaCツールとしては Terraform を使うよう推奨されています) 追加された項目 GKE 関連 (クラスタの選択、Config Connector、水平／垂直スケーリング等) IAM 関連 (権限
【Electron+GCP+Slack App】Slackのコメントをニコニコ動画風にプレゼンで流す方法 - Qiita
この記事は DeNA Advent Calendar 2019 の12/17(火)の記事です。 こんにちは、ゲーム事業部エンジニアの今江です。普段はゲームのサーバサイドの開発をやっています。 この記事では、社内の勉強会でニコニコ風コメントを作ってみたら良さそうだった話と作り方について紹介します。 最近は、Google Cloud Platform（GCP）を使って開発をしているので、この記事でもクラウドサービスはGCPを使っています。 事前準備 GCP: https://cloud.google.com/ Google Cloud SDK: https://cloud.google.com/sdk/docs/ node.js: v10.15.1 electron: v1.4.13 背景 DeNAでは社内の勉強会が結構活発に行われていて、チーム内、ゲーム事業部内、全社規模、特定の技術に関して
HerokuからGCPへのインフラ移行 〜ダブルライト検証編〜 - PLEX Product Team Blog
アイキャッチ こんにちは、Plex Job 開発チームの池川です。 Plex Job では従来、バックエンドのデプロイ先として Heroku を使用していましたが、2024年1月に GCP に移行しました。 移行にあたって、移行後しばらくはいつでも旧環境に切り戻せるようにしておく必要があったほか、切り戻し時に発生するサービスの休止時間もなるべく抑えたかったため、新旧 DB にダブルライトする方法が取れないか検証しました。 結論としてはダブルライトは不採用としたのですが、不採用とした経緯も含め検証して得た知見を今回はまとめたいと思います。 検証環境 設計 1. コールバックは順番が保証されているか 2. コールバックがスキップされる ActiveRecord のメソッドがある 3. Active Storage に対応可能か 実装 1. 設定の追加 2. モジュールを作成する 3. Appl
[Google 認定資格] GCP Professional Data Engineer の勉強方法と対策 | エスタイルAIメディア
[Google 認定資格] GCP Professional Data Engineer の勉強方法と対策 2022 12/30 本記事では、Google 認定資格の 1 つである Professional Data Engineer に一発合格するためにやるべきことをまとめています。Google 公認資格は国際資格ということもあり、国内の出版社から決定版といえる対策本が出ていないのが現状です。私も Professional Data Engineer を受験するにあたり、参考となる書籍の少なさから、受験対策として何をすべきか非常に迷いました。この記事では、そんな私がお勧めする効率的な Professional Data Engineer のための勉強方法についてまとめています。 ちなみに、私の簡単なプロフィールは次の通りです。 新卒 1 年目 大学で Deep Learning の研究に
![[Google 認定資格] GCP Professional Data Engineer の勉強方法と対策 | エスタイルAIメディア](https://cdn-ak-scissors.b.st-hatena.com/image/square/09ca6d2cef1092d567ed8b8440dd7f2f165717b8/height=288;version=1;width=512/https%3A%2F%2Festyle.co.jp%2Fmedia%2Fwp-content%2Fuploads%2F2020%2F06%2F1a1b6b6c416fa0e83c5039642bbcaf6a.png)
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
Google Cloud Platform (GCP)サービスの正式名称・略称・読み方まとめ#2(AI と機械学習/AI Platform およびアクセラレータ) - Qiita
Google Cloud Platform (GCP)サービスの正式名称・略称・読み方まとめ#2(AI と機械学習/AI Platform およびアクセラレータ)まとめ読み方略語GoogleCloud Google Cloud Platform (GCP)のサービスで正式名称や略称はともかく、読み方がわからずに困ることがよくあるのでまとめてみました。 クラウド コンピューティング サービス | Google Cloud https://cloud.google.com/?hl=ja Amazon Web Services (AWS)のまとめはこちら！ Amazon Web Services (AWS)サービスの正式名称・略称・読み方チートシート - Qiita https://qiita.com/kai_kou/items/cb29d261c8acc49fd22a Amazon Web
Mockun_JPNと申します。ITコンサルタント/エンジニアとして活動しています。肩書は仕事内容や相手によって使い分けてます。IT、旅行、投資が好きです。アイコンは妻が描いたカワウソです。 以下の記事の最初の一文に共感したので、自分も書いてみることにしました。 公営競技を題材にGCPを勉強する 直接的にお金が絡まないと中々やる気が出ないため、公営競技を題材にしてGCPをざっくり勉強する。 この記事について Google Cloud Platformについて、COURSERAで学んだ内容を使ってみようと思い立って作ったFX自動取引システムについての記事です。主にGCPのサービスを組み合わせればこんなこともできるよ、というアーキテクチャ寄りの内容になっています。 売買判定には、Scikit-learn、XGBoost、Optunaなどのライブラリを使った簡易な機械学習を用いていますが、この記
AWS・Azure・GCPのSLAを徹底分析、共通して役立つ大規模障害への3つの備えとは（ビジネス＋IT） - Yahoo!ニュース
DX（デジタルトランスフォーメーション）の推進などで、クラウドサービスの導入が加速している。コスト効率や柔軟性、可用性の観点で好まれている一方で、クラウド障害によるリスクも拡大。クラウドサービスの提供会社はSLA（サービス品質保証）で高い可用性を保証しているが、実際は大小さまざまな障害でサービスの停止が起きている。しかしサービスが停止してもSLA違反として一部料金が返金されるのみで、さらには提供者側の障害に利用者が気付かなければSLA違反による補償を受けられない危険性がある。本稿では、そんなクラウド障害による影響と対応策について解説する。 【詳細な図や写真】クラウド障害の際にSLAの保証を受けるために必要なこととは（Photo/Getty Images） ●クラウド障害を見逃せば「SLA」の補償は受けられない？ 大規模なクラウドサービスの障害が国内外で相次いで発生している。AWS（Amaz
GCP A100GPU-VMでKaggle-Docker環境を構築（2023年3月版） - Qiita
この記事は kaggle用にNVIDIA A100 GPUを使いたかったので、 GCP&kaggleコンテナイメージを用いた環境構築に挑戦したところ、 思ったより難しくて数日を費やしてしまったので、備忘録として手順を整理しました。 GCPに手を出してみたいけど躊躇している方や、今現在同じように苦労している方の助けになれば幸いです。 （注意事項） あくまでkaggle用学習環境の構築方法であることにご注意ください。例えばプロダクト用のGPU環境が欲しい場合は、より適切な手順があると思います。 本記事では(筆者がPyTorchユーザーのため)Tensorflowはサポートしていません。 ただし、kaggleコンテナを開始するところまでは同じ進め方のはずなので、参考にはなると思います。 手順 (事前準備)GPUの割り当て申請 GCPでGPUを使用するためには、割り当ての申請を事前に行う必要があり
GCP 素人の私と、心優しい同僚たちが、デプロイエラーに立ち向かった覚書です。筆者が GCP 素人なので、語り口が素人くさいのはご容赦ください。 3 行まとめ 2023 年 1 月 14 日以降しばらくの間、GitHub Actions を用いて Cloud Run 等へデプロイする際に「コンテナイメージが見つからない」といった類のエラーメッセージが出たら、 docker/build-push-action@v3 の利用を疑ってみる provenance に未対応のレジストリを使っているのがわかったら、 provenance: false をインプットとして指定すると、治るかもしれない Cloud Run の場合、エラーメッセージが出た時点で異常な状態のリビジョンを作成してしまっている場合があるので、念のためチェックして、必要であれば異常なリビジョンを削除するとよい 2022.2.9 追記
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DeNA での GCP ネットワーク運用 | BLOG - DeNA Engineering
GCP DataProcのスペックを自由、楽に変更しながら運営
オンライン機械学習サービスとしてGCP Vertex AIのMLOpsを導入した話
Terraform で GCP のサービスアカウントを管理する - Eng (なりたい)
GCP for Stackdriver 設定マニュアル - Qiita
GCP Pub/Subの概念をかみ砕いて説明してみた | フューチャー技術ブログ
Vmware、GCP、AWS運用経験者を歓迎 Fintech領域でのインフラの構築・設計を担うSystem Solution Team
【2022年版】Azure/GCP/AWS OCRサービス比較(随時更新) - Qiita
ブログを GCP から AWS に移行した。 | blog.dnpp.org
GCPの無料枠をAWSと比較してみた | DevelopersIO
GCP で Node-RED によるローコード プログラミングが可能に | Google Cloud 公式ブログ
【GCP】シェープファイルデータをBigQueryに格納する【GEE】 - LabCode
「AWS」「Azure」「GCP」のArmサーバを徹底テスト、その納得の勝者は？
GitLab GCPに 移行した（後編） - pixiv inside
GCP Associate Cloud Engineer チートシート(2022年最新版) - Qiita
無料でここまでできる！GCPの無料枠を使いこなして、ランニングコストを最適化しよう！ | 株式会社トップゲート
GCPでFX自動取引システムを作った話 - Qiita
docker/build-push-action@v3 + GCP のデプロイエラーを何とかした覚書