Cockroach Labs 2021クラウドレポート：GCPがAzureとAWSを上回る
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
【初心者】GCP Identity-Aware Proxy (IAP), Access Context Managerを使ってみる (WEBサーバへのアクセス制限) - Qiita
【初心者】GCP Identity-Aware Proxy (IAP), Access Context Managerを使ってみる (WEBサーバへのアクセス制限)初心者GoogleCloud 目的 Google の提唱する BeyondCorp って何かな？と思っていたが、BeyondCorpはいろんな技術の組み合わせであり、Identity-Aware Proxy (IAP)やAccess Context Managerがその中の主要な構成要素とのこと。それらがどんなものか簡単に確認する。 GCP Identity-Aware Proxy (IAP) とは（自分の理解） 既存のWEBサービスに対して認証機能を挟むことができる仕組み。 GCPのサービス(GCE, GAE, GKE)で作られているWEBサービスであれば、その前にIAPをそのまま追加できる。オンプレや他のクラウドで提供されて
Terraform × GCP 入門 - Qiita
はじめに Terraformを扱い始めて2ヶ月ぐらいたったので、Terraformチュートリアル的なものをハンズオン形式でまとめました。 Infrastructure as Codeやりてぇ！と思った方の事始めとなれば幸いです。 公式のチュートリアルが公開されているのですが、AWSのみでGCPに関するものは掲載されていません。 よって今回はGCP上でTerraformからリソースを管理する流れをみる、という目標でやっていきたいと思います。 想定している読者 以下のような事象に心当たりのある方を想定しています。 Terraformを初めて触る GCPをちょっとだけ触ったことがあり、リソースの作成を自動化したい いい感じにリソースを管理したい気持ちになった 実行環境 実行環境をまとめました。 Cloud SDKについては入っている前提とします。 まだインストールできていない場合はこちらを参考に
GCPのQwiklabsで勉強している際に操作を誤ってアカウントがロックされたため、ロックを解除する方法を記載します。既にアカウントロックされた方はもとい、これから始める方もアカウントロックされるとハンズオンラボがやり直しになるので原因部分だけでも参考になるかと思います。 はじめに CX事業本部東京オフィスの佐藤智樹です。 今回は以下の記事で紹介されているGCPのQwiklabsで勉強している際に操作を誤ってアカウントがロックされたため、ロックの原因とロックの解除方法を記載します。 もしアカウントロックされた際に解除までの手順を参考にしてもらえればと思います。これからQwiklabsを始める方でもアカウントロックされるとハンズオンラボが最初からやり直しになるので、どんな操作でブロックされるのか原因部分だけでも読むことをおすすめします。 アカウントロックの原因 QickLabではマニュアルに
背景 権限を付与する google_project_iam_member のリソースの role が配列を持てないので、複数の role を一度に設定することができません。 したがって、複数の role をあるアカウントに付与するためにはツラツラ書く必要があって、少し辛いところがあります。 参考 https://www.terraform.io/docs/providers/google/r/google_project_iam.html#google_project_iam_member-1 # create account resource "google_service_account" "sample_app_user" { account_id = "app-mgr" display_name = "app-mgr" } # add role1 resource "google_
gcloud alpha asset list --organization='組織ID' --asset-types='iam.googleapis.com/ServiceAccountKey' --content-type='resource' --filter="resource.data.keyType=USER_MANAGED" gcloud alpha asset list --project='プロジェクトID' --asset-types='iam.googleapis.com/ServiceAccountKey' --content-type='resource' --filter="resource.data.keyType=USER_MANAGED"
はじめに TwitterのAPIが無料だった時に構築していた簡易データ基盤の内容を記載しようと思う(供養) 構築した背景 以前、ある検査の分析を行っていており、ふとTwitterでその検査名を調べたところ結構参考になる感想がちらほら... 分析のインスピレーションになると考えデータ収集を決意 構成図・説明 構成図 説明 ①Cloud FunctionsでTwitterAPIで特定の文字を含むツイートを収集。 ②①を加工して、Bigqueryに格納。pandasでデータ加工後にBigqueryに書き込み。 ※ 下記ライブラリでpandasをBigqueryに書き込み可能。 ③Cloud Schedulerで定期的にCloud Functionsを実行 感想 GCPを使うと簡単に低コストでデータ基盤が作成できるなと感動した。 また、実際に仮説立てやドメイン知識習得にも役立った。 集めたデータに
こんにちは、IT 基盤部ネットワークグループの谷崎です。 DeNA のインフラは現在オンプレミスデータセンタ（以下、オンプレ DC）からパブリッククラウド（以下、クラウド）へ移行の過渡期にあります。 そこで我々ネットワークグループはオンプレ DC とクラウド間のセキュアな通信を提供すべく、プライベートネットワークを設計、実装しました。 今回はその中でも GCP とのプライベートネットワーク（以下、内部通信）についてご紹介いたします。 なお、3 月開催の DeNA TechCon 2020 にて AWS との内部通信を含めたセッション内容で 登壇 いたします。 興味のある方は足をお運びいただけますと幸いです。 従来の構成 全社的なクラウドへの移行方針が決定する以前から小規模にはクラウドを利用しており、GCP との内部通信は下記のような構成で運用していました。 各プロジェクトの VPC で C
概要 GCPから以下のようなメールが来ていた 要約すると「セキュリティの変更を行うけどIAMで権限を変更しないとデプロイできなくなるから2021年1月27日までに権限変更しておいてね」かと 参考までに実際対応した記録を以下に記載 件名：ご対応のお願い - AppEngineのIAMの更新が必要です Google App Engine をご利用のお客様 Google Cloud では、App Engine のセキュリティ体制の変更を行っております。 今後、App Engine アプリケーションをデプロイするデベロッパーは、 App Engine のデフォルトサービス アカウントに対する iam.serviceAccounts.actAs 権限が必要になります。 これらの変更は、2021 年 1 月 27 日から適用されます。 デベロッパーの皆様がAppEngineアプリケーションのデプロイを
[GCP] Google Cloud Deployment ManagerでCompute Engineをデプロイしてみた | DevelopersIO
構成ファイル作成 構成ファイルにYAML構文でリソースを定義します。PROJECT_IDは個人のものに差し替えてください。 sample-vm.yaml resources: - type: compute.v1.instance name: sample-vm properties: zone: asia-northeast1-a machineType: https://www.googleapis.com/compute/v1/projects/[PROJECT_ID]/zones/asia-northeast1-a/machineTypes/f1-micro disks: - deviceName: boot type: PERSISTENT boot: true autoDelete: true initializeParams: sourceImage: https://www
![[GCP] Google Cloud Deployment ManagerでCompute Engineをデプロイしてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/12ff051e47579f5bd123668c6a9e87000e5bec27/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F09%2Fgcp-eyecatch-deployment-manager_1200x630.png)
この記事は Google Cloud + Gaming Advent Calendar 2020 の18日目のものです。 GCPの組織の配下にあるプロジェクトを、他の組織に移行するためにやることを書いた記事です。 （2021年5月31日追記） 移行のコマンドが gcloud beta にアップデートされたようです。GAまでもうすぐですかね。 （2021年3月3日追記） GCP 組織間のプロジェクト移行について、サポートケースの作成なしで、ユーザーのコマンド実行でできるようになりそうです。 Pre-GA（alpha）で機能が提供され始めたようでした、便利になりますね。 https://cloud.google.com/resource-manager/docs/project-migration （追記ここまで） はじめに はじめまして、グリー株式会社の黒木です。 グリーでは他社からのゲーム
【AI Shift Advent Calendar 2021】Label StudioのGCP上でのデプロイ | 株式会社AI Shift
こんにちは、AIチームの東です。 本記事はAI Shift Advent Calendar 2021の18日目の記事です。 今回は、Heartex社が提供しているアノテーションツールであるLabel StudioとGCP上でのデプロイの手順について紹介していきます。 Label Studio 近年、テキスト翻訳や対話アシスタントなど、深層学習を用いたプロダクトやサービスが多くみられるようになりました。 しかし、一般にそのような大規模なモデルを利用するには入力データ(音声、画像、テキスト等)とその正解ラベル(発話内容、画像の説明文、翻訳結果等)が大量に必要になります。モデルの学習に利用する入力データと正解ラベルの組を作成する作業をアノテーションと呼び、現在様々なアノテーションツールが開発、提供されています。 Label Studioはそんなアノテーションツールの一つで、画像やテキスト、音声な
CQRS なレコメンドシステムをGCP で構築した話 - スタディサプリ Product Team Blog
こんにちは、データエンジニアの @masaki925 です。 今年の春リニューアルされたスタディサプリの中学講座にて、レコメンドシステムを新規構築しました。 そのアーキテクチャが、当初意図していなかったものの、結果的にはCQRS (Command Query Responsibility Segregation) パターンと呼べるものになっていました。 本記事では、CQRS の特徴に則って当該アーキテクチャを紹介しつつ、今後に向けて考察します。 CQRS パターン + イベントソーシング なぜCQRS + イベントソーシングか 1. 分析用の学習ログと、レコメンドシステム用の学習ログは分けたい 2. 直前の学習状況をリアルタイムに反映したレコメンドをしたい 3. レコメンドロジックはルールベースで開始し、ログが溜まったのちに機械学習(ML) ベースに移行したい 4. 学習ログはスナップショ
こんにちは。 開発チームのワイルド担当、まんだいです。 GCP の Cloud Functions をご存知でしょうか？ コードをデプロイするだけで簡単に実行環境を用意できる、サーバーレスコンピューティング環境で、 GCP 版 AWS Lambda です。 サーバーを用意するまでもない、ちょっとしたコードの実行や、 Cloud Pub/Sub だけではちょっとむずかしいサービス間を繋ぐ処理をちゃちゃっと動かす場合に非常に便利な存在ですが、いくら簡単なコードとはいえ、テストせずにアップロードするのは不可能です。 ましてや実運用に絡む重要な処理を担うとなれば、なおさら開発環境は必要です。 なのに、 Cloud Functions を実装するための開発環境の情報として、これだという無いな...... という気持ちになったので、いい感じに開発しやすい環境を作ってみたいと思います。 エディタを準備す
![[GCP] 効率いい Cloud Functions の開発環境を整備する [JavaScript]](https://cdn-ak-scissors.b.st-hatena.com/image/square/00a5a0d5b36d5c95b98f9475c215a872e41016d2/height=288;version=1;width=512/https%3A%2F%2Fbeyondjapan.com%2Fcms%2Fwp-content%2Fuploads%2F2020%2F01%2FCloud-Functions.png)
こんにちは、ご無沙汰してます。GCP Xの水野（@yukim0512）です！ 前回の私の記事では、スタートアップへの転職方法として、「スタートアップ企業の情報を多く持つ人材エージェントへ登録しましょう」とおすすめしましたが、「いやいや、エージェントは沢山ありすぎて、どこのエージェントにコンタクトすればいいかわからないよ！」という声もちらほら伺いました。 私自身、GCP Xで、我々の投資先への人材ご紹介を担当しているため、初めてのスタートアップ転職を検討されている方と、お話する機会がとても多いのですが、よく考えたり準備もせずに、ただただ、スタートアップへの転職を期待しているだけのケースをよく目にします。 すると・・・ 書類選考でもなかなか受からない。せっかく面談に進んでも、上手く話す事が出来ない。「こんなはずではなかったのに、、、」となってしまう方が多いのが実情です。 そこで、今回は、スター
【AWS・Azure・GCP】3大クラウドサービスをわかりやすく比較 こんにちは、クラウドエース編集部です。 「3大クラウド」 とは、クラウドサービスの中でもシェアの大きい3つのサービス 「Amazon Web Service（AWS）」 「Microsoft Azure（Azure）」 「Google Cloud（GCP）」 のことを指します。 クラウドサービスの導入を検討している人の中には、3社から似た名前で同じような機能が提供されているため、どれを選べば良いのかと迷ってしまう人もいるでしょう。 今回は、3大クラウドサービスで提供されている各機能をまとめ、それぞれの名称と特徴、違いについて解説していきます。 また、こちらのダウンロード資料 『3大クラウドプラットフォーム比較表（Amazon・Microsoft・Google）2023.07 ver』 ではより体系的な比較を行なっておりま
Elasticsearch 7 クラスタ on GCP 事始め - Containers on GCE と GKE - #elasticsearchjp - Speaker Deck
Transcript Elasticsearch 7 Ϋϥελ on GCP ࣄ࢝Ί - Containers on GCE ͱ GKE - ୈ36ճElasticsearchษڧձ (2020/6/18) @moco_beta ࣗݾհ • ଧాஐࢠ @moco_beta • גࣜձࣾLegalForce R&DηΫγϣϯ • ڵຯ: ݕࡧɼࣗવݴޠॲཧ ͳͲ • Elasticsearch ӡ༻ܦݧ 3 ɼGCP ܦݧ ̍ϲ݄ʢֶशதʣ ձࣾհ: LegalForce • 2017ۀͷϦʔΨϧςοΫاۀ • اۀϛογϣϯʮશͯͷܖϦεΫΛ੍ޚՄೳʹ͢Δʯ • ఏڙαʔϏε • LegalForce: ܖॻϨϏϡʔࢧԉαʔϏε • Marshall: [క݁൛] ܖॻཧαʔϏε جװػೳͰ͋ΔAIϨϏϡʔʹՃ͑ɼ اۀ๏͚φϨοδϚωδϝϯτʹྗ • ܖॻόʔ
概要 こんにちは、@sshota0809 です。 本記事は Uzabase Advent Calendar 2021 の 7 日目の記事となります。 昨今、SRE の文化を取り入れたり組織を新たに作ったりと様々なチャレンジをする会社が増えていると思います。 また、その中で SLA/SLI/SLO といったサービスに対する指標の策定、運用にチャレンジをする方たちも多いと思います。 今回は、SLI/SLO を定義及び運用するプラクティスの 1 つとして GCP の Cloud Monitoring を使った方法を紹介します。 TL;DR GCP の Cloud Monitoring には SLI/SLO を定義できる機能がある ドキュメント 定義した指標に対してエラーバジェットのバーンレートベースのアラートも定義することができる 各種設定は Terraform のモジュール を使うと簡単 GC
内容 これまで GCP を手動構築していた範囲を、Terraform で IaC 化したので、その内容を記載する これまで手動(Webコンソール, gcloud, etc.)でやっていた内容 (Terraform コード化対象) 構築内容 前述の「これまでやっていた内容 (Terraform コード化対象)」のリンク先内容を実施する 内容は下記で、記載済み内容については説明を省略し、追加するものは補足を記載している箇所がある 組織の作成と共有 VPC 構築 ホストプロジェクト作成 サービスプロジェクト作成 共有 VPC Subnet の設定 [追加] 組織のポリシー追加 [追加] 権限の追加 HA VPN 自宅ラボ向けに HA VPN を構築する 自宅ラボ向けに設定Config例を出力する (EdgeRouer向け) VPC Service Controls サービス境界の作成 限定公開
概要 前回は、GitHub ActionsとTerraformでGCP管理を始める でTerraformでGCPの管理を始めるのを紹介したが、今回は、AuditingをProject内で有効化する設定を書いておく。 GCPのAudit log 種類が大きく分けて4種類。そしてDataAccessAuditLogの中にまた4種類。 Admin Activity audit logs: デフォルトで有効。無効化できない。 Data Access audit logs: BigQuery データアクセス監査ログを除き、データアクセス監査ログはデフォルトで無効 詳細: データアクセス監査ログを構成する ADMIN_WRITE: デフォルトで有効。無効化できない。 Admin Activity audit logs are enabled for all Google Cloud services
Ubuntu Desktopが欲しくなったのでGCPで従量課金のGUIPCを作ってみました。 まずは、GCEインスタンスを作成する。 もう1,2段階スペックの低いCPUでもいいのだが、今回はリモートなのに最高のヌルヌル感が欲しいため、ちょいとオーバスペック気味のものを選択。 ここが地味に重要ポイントなのだが Boot Dist TypeがデフォルトのママだとHDDになるので、SSDに変更しておく。 これをしないといくらCPUやメモリのスペックを上げたとろこでカクカクのものになってしまいげんなりする。 bashsudo apt update -y && sudo apt upgrade -ysudo adduser new_user_xxxsudo gpasswd -a new_user_xxx sudosudo apt -y install ubuntu-desktopsudo apt i
[GCP] Cloud VPN 接続した VPC にリージョンの異なる複数サブネットを追加してみる | DevelopersIO
こんにちは、菊池です。 以下のエントリにて、GCPのVPCへの高可用性（HA）VPN接続を試してみました。 [GCP] Cisco ルータを使った VPC との Cloud VPN 接続を試してみた 今度は、この接続しているVPCに対して、同じリージョンあるいは異なるリージョンのサブネットを追加して、BGPの経路情報がどのようになるか確認してみました。 サブネット追加時の経路変化 初期状態サブネット1つ（asia-east1） こちらの記事のように、サブネット1つのVPCに対してのVPN接続は確立した状態からスタートします。 VPNトンネル、BGP共にアップした状態です。 オンプレのルータ側は、等コストロードバランスが有効になるように、下記の通りmaximum-pathsを追加しています。 router bgp 65000 bgp log-neighbor-changes neighbor
![[GCP] Cloud VPN 接続した VPC にリージョンの異なる複数サブネットを追加してみる | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0ec9f88cc977506d5ff5ab998ee4d8ee94035a30/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F09%2Fgcp-eyecatch-cloud-vpn_1200x630.png)
関連キーワード Twitter | BCP（事業継続計画） | クラウドサービス | データセンター 短文投稿サイトを運営するTwitterを買収したイーロン・マスク氏は、同社CEOになってから、さまざまなコスト削減策を打ち出した。Googleのクラウドサービス群「Google Cloud Platform」（GCP）の利用も、コスト削減の対象に入った。そうした中で、2023年2月にTwitterのサービスに障害が発生。マスク氏の判断はどう出るのか。 インフラの“コスト大幅削減”の末路 併せて読みたいお薦め記事 連載：マスク氏の大改革が一時中断 前編：“Twitter改革”に血眼だったマスク氏が「障害時に出した正論」とは データセンターと障害に関する話題 データセンターの「効率が良い」「障害に強い」をそのまま信じてはいけない理由 システム障害を招かないための「データセンターOS移行」4つの
Livesense Advent Calendar 2022 12/13の記事です。 TL;TR 以下の方法を紹介します sqlalchemyでinspectを使ってテーブル定義を取得して転送時に利用する設定を生成する pandasでデータベースからデータを読みながらparquetを書く gsutil/bqコマンドでBQへロードし、SQLでテーブルコメントを付与する はじめに 分析などの用途でBigQueryを用いるとき、各種サービスのデータベース上のデータをBQにロードする、という状況が生まれます。このためのツールやサービスとして、AirbyteやCloud Data Fusion、trocco、embulkなどがありますが、まずはスモールにpythonと各種コマンドを使って作るとどうなるのか、というのを考えて試してみました。 データは、1日に1回程度、毎回全件削除して投入し直す（洗い替
現場向け動画教育SaaS「tebiki」、GCPから8億円をシリーズA調達——コロナが追い風、問合せは1年半で10倍に - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
「tebiki」 Image credit: Tebiki デスクレスワーカーのための動画教育プラットフォーム「tebiki」を運営する tebiki は16日、シリーズ A ラウンドでグロービス・キャピタル・パートナーズ（GCP）から8億円を調達したと発表した。これは、tebiki にとって、昨年9月に実施したシードラウンドに続くものだ。今回ラウンドに調達した GCP は、シードラウンドでも参加していた。調達した資金を使い、tebiki は人材獲得を強化する。 tebiki は2018年3月、シリアルアントレプレナーの貴山敬氏により創業（創業時の社名はピナクルズ）。貴山氏は習い事マッチングサイト「サイタ」を運営していたコーチ・ユナイテッドで副社長を務めたことでも知られる（コーチ・ユナイテッドはのちにクックパッドに買収され、「サイタ」事業はクラウドワークスが事業譲受した）。 ところで、冒頭
ゲーム開発が変わる！GCPゲームインフラ実践ガイド 「ゲーム開発が変わる！GCPゲームインフラ実践ガイド」発行主旨・内容紹介 「ゲーム開発が変わる！GCPゲームインフラ実践ガイド」目次 「ゲーム開発が変わる！GCPゲームインフラ実践ガイド」Amazonでの購入はこちら 「ゲーム開発が変わる！GCPゲームインフラ実践ガイド」楽天市場での購入はこちら※電子書籍版です ゲーム開発関連記事：ゲームにオススメのフォント ゲーム開発が変わる！GCPゲームインフラ実践ガイド インプレスグループで電子出版事業を手がけるインプレスR&Dは、ゲームインフラとして活用されるGCP（Google Cloud Platform）の最前線の一冊として、ゲーム業界各社のエンジニアによる寄稿集「ゲーム開発が変わる！GCPゲームインフラ実践ガイド」を発売した。編者は「GCPゲームインフラ実践ガイド」製作委員会。 ▼執筆者紹
※この投稿は米国時間 2019 年 11 月 5 日に、Google Cloud blog に投稿されたものの抄訳です。 他の多くの業界と同様、医療業界でも膨大な量のデータの保存、処理、分析などを行うためにクラウドベースのリソースが急速に導入されています。しかし、この複雑な業界向けにクラウドベースのソリューションを作成することはとりわけ難しいと感じている医療組織は少なくありません。 スケーラビリティと可用性の高いシステムを実装するという技術的な課題に加え、保護対象保健情報（PHI）をどのように処理するかも、医療ソリューションの重要な検討事項になります。世界各地の法令（米国の HIPAA など）では、患者情報の処理方法と保存方法が規定されています。さらに、医療組織にとって業界全体でデータを共有できることは重要ですが、組織で使用されるデータ形式とスキーマは多岐にわたります。そのため、さまざまな
関連キーワード Google | SAP | データセンター | 環境保護 | パブリッククラウド 発電用設備やシステムなどの生産を手掛けるエネルギー企業のSiemens Energyは、ITインフラの脱炭素化を主な目的として、同社がオンプレミスのインフラで稼働させているSAPアプリケーションと、製造部門やサプライチェーン部門に関連するデータを全てGoogleのクラウドサービス群「Google Cloud Platform」（GCP）に移行させるプロジェクトを開始した。 Siemens Energyの最高情報責任者（CIO）キアン・モッサネン氏は、移行先のインフラとしてGCPを選んだのは、Googleの持続可能性に関する取り組みだけが理由ではないと言う。「クラウドサービスへの移行によって可用性とスケーラビリティを実現させるだけでなく、当社の想定を超えて事業が成長するよう促してくれるパートナ
【R&D DevOps通信】Poetryでプライベートパッケージを扱う(GitHub, AWS CodeArtifact, GCP Artifact Registry) - Sansan Tech Blog
研究開発部 Architectグループ ML PlatformチームのKAZYこと新井です。ちなみに名古屋にある中部支店に所属です。 今回はPoetryでプライベートパッケージ(ライブラリ)を扱うテーマです。 追記(2022/11) Poetry 1.2で新たに追加された機能をプライベートパッケージの観点からまとめました。 合わせて御覧ください。 buildersbox.corp-sansan.com 目次 追記(2022/11) 目次 はじめに 調査結果 所感 Poetryでのパッケージ作成方法 パッケージ作成 パッケージのビルド パッケージの公開 プライベートパッケージへの公開 (おまけ) パッケージに含めたくないファイルの制御 AWS CodeArtifact パッケージ作成方法 AWS CodeArtifactでプライベートリポジトリを作成 pyproject.tomlにプライベー
本記事では、GCPのマイグレーション方法についてまとめてみたの記事でも取り上げた移行ツール、Migrate for Compute Engine(M4CE) を使って、AWSからGCPへのVM移行を行う方法について試してみました。今回はAWSに特化した設定方法や、移行ステップの紹介に重きを置いています。ツールの仕組みなどに関しては上記記事を参照ください。 動作確認環境以下の環境で、AWS EC2からGCP GCEインスタンスにVMごと持ってくることを想定し、動作の確認をしていきます。 移行元: AWS EC2移行先: GCP GCE移行対象VMのOS: CentOS7.7 / Amazon LinuxAWS — 移行対象GCPプロジェクトはInternet VPNで接続対象EC2インスタンスは以下の通りデプロイしてあります。また、移行過程でインスタンスのタグを使ってインスタンスリストを抜い
GCPで完結する動画配信サービスの設計と実装
現時点では実装できていない機能もある為詳しく記述できない箇所や実際の仕様と異なる、変更される箇所も出てきます。その点を考慮して閲覧していただけると嬉しいです。 サービスの仕様 以下の特徴を持つようなサービスを設計します。 ユーザーがmp4形式の動画をアップロード アップロードされた動画をHLSにトランスコードし閲覧時に配信 配信されている動画はユーザー単位のアクセス制限をかける事が可能 今回は動画をメインに取り扱っていますが、動画以外にも画像や音声、テキストデータなどを扱う事が可能だと思います。 配信基盤の設計 配信にはCloudStorageを利用します。加えてCloudStorageのrulesでは表現の難しいユーザー単位でのアクセスコントロールを予定しているのでHttpLoadBalancer, CloudCDNを利用する予定です。 以下は署名付きCookieを使用した場合のシークエ
TL;DR tfstate、アセット管理用 バケットだけは コマンドラインないし GCP コンソールで作成する バージョニングと（過課金防止のための）ライフサイクル設定を追加 Google Cloud Build · GitHub Marketplace をインストールしておき、 ソースリポジトリとGCP のプロジェクトを連携しておく Cloud Build をモジュールとして複数用意して、手元からデプロイ アプリケーションビルド用 terraform apply 用 （すでに手で作成済みだったので）App Engine を terraform import アプリビルド用 CloudBuild を実行して ZIP を作成 google_app_engine_standard_app_version をみながら バージョンを定義して作成済みのアーティファクトからデプロイするように Next
概要 PostgreSQL や MySQL などの運用データベースから、GCP のデータウェアハウスである BigQuery に、直接かんたんにデータをレプリケートできる Datastream for BigQuery のプレビュー版が提供されました。 BigQuery のスキーマ定義、BigQuery に適したデータ型への変換、データを BigQuery に送信するバッチ処理などが不要になることが期待されたので、試してみました。 構成 本記事では以下の構成で GCP Datastream for BigQuery を試しました。 AWS EC2 : RDS の踏み台サーバー AWS RDS (MySQL) : ソース GCP BigQuery : レプリカ GCP Datastream : RDS のデータを BigQuery にレプリケート 手順 Datastream 公式ドキュメント
![[GCP Datastream] AWS RDS から BigQuery へのレプリケーションを試してみた](https://cdn-ak-scissors.b.st-hatena.com/image/square/1b7390c207e41533d9bd1bb9f0f59c2d6d739ee4/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--Op_gvPy0--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BGCP%252520Datastream%25255D%252520AWS%252520RDS%252520%2525E3%252581%25258B%2525E3%252582%252589%252520BigQuery%252520%2525E3%252581%2525B8%2525E3%252581%2525AE%2525E3%252583%2525AC%2525E3%252583%252597%2525E3%252583%2525AA%2525E3%252582%2525B1%2525E3%252583%2525BC%2525E3%252582%2525B7%2525E3%252583%2525A7%2525E3%252583%2525B3%2525E3%252582%252592%2525E8%2525A9%2525A6%2525E3%252581%252597%2525E3%252581%2525A6%2525E3%252581%2525BF%2525E3%252581%25259F%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Asaitok7%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2FiNmE0YWRmMmYuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
LIXILは2011年にトステム、INAX、新日軽、サンウエーブ工業、東洋エクステリアの5社が統合して生まれた企業だ。合併後にはアメリカンスタンダードやグローエを子会社化したため、LIXILグループは実質的には国内5社と海外2社の集合体といえる。事業統合や企業の合併では、組織間の運営方針の違いや業務プロセスの違いが課題となる。管理やもろもろのプロセス整備がかなわなければ、効率化は期待できず、事業統合や合併の効果は半減してしまう。顧客情報の統合などももちろん重要だが、同社の場合、特に課題となっていたのが会計システムだ。 LIXILの岩崎 磨氏（常務役員 Digital部門システム開発運用統括部 リーダー兼コーポレート＆共通基盤 デジタル推進部リーダー）は会計システムについて「エンティティ間の粒度に差が出ていたり、連携が困難になるなど、ロジックが複雑化していました」と話す。こうした事情から、シ
GCEちょい技 – Cloud IAP TCP Forwarding で踏み台サーバ要らずなメンテナンス | apps-gcp.com
外部IPアドレスがないCompute Engine VMにSSH/RDPログインするためには、これまでは 踏み台サーバ(Bastion Server)を経由する必要がありました。 外部IPがなければFWルールの状態にかかわらず外部インターネットからのアクセスを 制限できる反面、踏み台サーバを用意して起動しておく必要があり、余計なコストが かかっていました。 これから紹介する Cloud IAP TCP Forwarding を使えば、踏み台サーバを用意せずに外部IPアドレスがないVMに対してSSHやRDPログインすることが可能になります。 対象読者 Cloud Shellにそんなに抵抗がない コマンド実行のためだけの踏み台サーバの運用がつらい Cloud Shellの基本的な使い方については、こちらの記事を参考にしてください。 HandsOn環境迷子に贈るCloud Shell 準備作業
GitHub - irsl/gcp-dhcp-takeover-code-exec: Google Compute Engine (GCE) VM takeover via DHCP flood - gain root access by getting SSH keys added by google_guest_agent
Note that the last 4 bytes (0a:80:00:02) of the MAC address (42:01:0a:80:00:02) are actually the same as the internal IP address of the box (10.128.0.2). This means, 1 of the 3 components is effectively public. The pid of the dhclient process is predictable. The linux kernel assigns process IDs in a linear way. I found that the pid varies between 290 and 315 (by rebooting a Debian 10 based VM many
AWS と GCP (GAE) それぞれのリージョン間のレイテンシを計測してみた - Akatsuki Hackers Lab | 株式会社アカツキ（Akatsuki Inc.)
この記事は Akatsuki Advent Calendar 2019 の 9 日目として書きました。 はじめに みなさん、マルチクラウドしてますか！？ 株式会社アカツキでエンジニアをしている @sachaos です。 弊社では各ゲームプロダクトから利用される共通基盤をマイクロサービスとして構築しています。 この共通基盤は Google Cloud Platform (以降 GCP) の Google App Engine (以降 GAE) Standard Environment により運用されています。 現在、ゲームプロダクトでは主に Amazon Web Services (以降 AWS) を利用しているため、ゲームサーバは AWS と 共通基盤は GCP のマルチクラウド構成となっています。 アカツキでは海外向けに提供しているゲームもあります。 日本にゲームサーバがあれば日本のプレ
一、背景 背景：AdobeAnalyticsのデータをBigqueryに蓄積して活用しようということで、1時間分のCSVデータをZipfiles形式で1時間ごとGoogleCloudStorageに転送されていて、その後Bigqueryにテーブルとして集約します。 元々はDataproc上のSparkJobで処理しているですが、コスパを考えてDataflowへの移行を決まりました。 実行するための権限周りについてはGoogleの公式ドキュメントまでご参照いただければ幸いです。 二、アーキテクチャ 今回のアーキテクチャは下記のようになります。 GCS上に格納されるZIPファイルをトリガーとして、CloudFuntionsを起動し、その後Dataflowに送信してflexTemplatesのJobを実行し、CSVデータをBigqueryのテーブルにアウトプットします。 三、ApacheBeam
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GCPのQwiklabsでアカウントロックされた原因と解除する方法 | DevelopersIO
TerraformでGCPのIAMをちょっとだけ上手に管理する - Qiita
GCP サービスアカウントキーが発行されているサービスアカウント一覧の取得方法 - Qiita
GCPで簡易データ収集基盤作成 - Qiita
オンプレミスと GCP 間のネットワーク接続 | BLOG - DeNA Engineering
GCPセキュリティ変更に伴うAppEngineのIAM更新について - Qiita
GCP プロジェクトを他の組織へ移行する - Qiita
[GCP] 効率いい Cloud Functions の開発環境を整備する [JavaScript]
あなたがもし、スタートアップに転職を考えたなら ～実践編～｜GCP X
【AWS・Azure・GCP】3大クラウドサービスをわかりやすく比較 | クラウドエース株式会社
GraphQLを使ってみよう｜出来る100%TypeScript 作って学ぶNext.js + GraphQL + Prisma(上) - GCP編
GCP の Cloud Monitoring を使って SLI/SLO を運用する
Terraform で GCP の組織設定・共有 VPC・VPN 作成 - Qiita
TerraformでGCPのAudit logを有効化する - Qiita
GCPでUbuntu Desktopの環境を作り、従量課金制(10円/h)のGUI PCを作ろう
「Twitterは危ない」と“GCP利用”さえ削らせるマスク氏は正しいのか
DB->BQデータ転送をミニマムにpythonとGCPコマンドだけで作る - Qiita
ゲーム業界エンジニアによるGCPゲーム基盤活用解説本 - mojiru【もじをもじる】
GCP 上の医療データ管理システムのための処方箋 | Google Cloud 公式ブログ
脱炭素化だけじゃない Siemens Energyが「GCP」を選んだ“もう一つの理由”
GCPのVMマイグレーションツールを試してみた (AWS to GCP)
Terraform 検証：手元から GCP GAE のNext.jsアプリをデプロイする
[GCP Datastream] AWS RDS から BigQuery へのレプリケーションを試してみた
3つのメインフレームを「GCP＋S/4HANA」へ LIXILのクラウドシフト、データ基盤統合の現在地
GMOグローバルサイン・HD、GCP向けの請求代行サービスや監視・運用代行サービスを提供
【GCP】GCSにあるZipfilesをBigqueryに~Dataflowによる実装 - Qiita