GoogleがチャットAIのGeminiでマルウェアを分析し脅威レポートを要約するサイバーセキュリティツール「Google Threat Intelligence」を発表
2024年5月7日、Googleがサイバーセキュリティツールの「Google Threat Intelligence」を発表しました。Google Threat Intelligenceは、Googleが提供するサイバーセキュリティツールの「Mandiant」と「VirusTotal」をGoogleのネットワークおよびチャットAIの「Gemini」と統合したもので、使用することでより実用的な対策ができるようになるとのことです。 Introducing Google Threat Intelligence: Actionable threat intelligence at Google scale | Google Cloud Blog https://cloud.google.com/blog/products/identity-security/introducing-google-t
Cloud RunとCloud NATを組み合わせた時の「インスタンスあたりの最小ポート数」の適正値について調べた - SmartHR Tech Blog
こんにちは。SmartHRで文書配付機能の開発しているプロダクトエンジニアのkekkeです。 私が所属しているチームではインフラにGoogle Cloudを採用しており、ウェブ アプリケーションをCloud Run 上に構築して外部へのアクセスはCloud NATを経由して行っています。 この記事ではCloud RunとCloud NATを組み合わせた時の「インスタンスあたりの最小ポート数」の適正値について調査した内容を紹介します。 背景 ある日Cloud NATのVMあたりの使用ポート数が増加して、このままだとCloud Runから外部にアクセスできなくなってしまうため対策を打つ必要がありました。 Google Cloudのドキュメントを確認したところ「インスタンスあたりの最小ポート数」を上げることで解決することがわかったのですが、以下のような疑問が生まれチーム内では腑に落ちない雰囲気を
Blitz（後編）：リアルタイムユーザー解析エンジンを実現する技術（強整合な解析） - PLAID engineer blog
PLAIDではPersonalizationに特化したリアルタイムユーザー解析エンジン（Blitz）を自分達で開発し、KARTEの基盤として使ってきました。今回新たに刷新した解析エンジンのコア要素である「強整合な解析」を実現する具体的なアーキテクチャ、技術選定の内容を紹介します。
Googleの最新AIモデル「Gemini 1.0 Pro」が正式版となり本番環境で利用可能に。「Gemini 1.0 Ultra」「Gemini 1.5」は特定の開発者に提供開始
Googleは同社の最新AIモデル「Gemini」のバリエーションの1つである「Gemini 1.0 Pro」を正式版とし、全開発者がGoogle Cloudの機械学習AIプラットフォームであるVertex AIから利用可能になったと発表しました。 「Gemini」は昨年（2023年）12月にGoogleが発表したAIモデルです。 このとき発表された「Gemini 1.0」には、Google Pixelなどのモバイルデバイス上で実行可能な「Gemini 1.0 Nano」、幅広いタスクに対応する「Gemini 1.0 Pro」、非常に複雑なタスクに対応する「Gemini 1.0 Ultra」の3つのサイズが用意されています。 さらに数日前には、Gemini 1.0 Ultraと同等のクオリティをより少ないコンピューティングリソースでも担保し、扱える情報量が最大で100万トークンと大幅に増加
Google Cloud Spanner、価格据え置きのままスループットを1.5倍に向上、ノード当たりのストレージも10TBに増強と発表
Google Cloudは、大規模分散データベース「Cloud Spanner」について価格を変更することなく従来よりも大幅な性能向上を提供すると発表しました。 Google Cloudとしては珍しく、AWSのAmazon DynamoDBを名指しして「DynamoDBよりも高い性能を半額で提供する」と自画自賛しています。 スループットの50％向上とノード当たりのストレージ容量向上 Cloud Spannerは、PostgreSQL互換のデータ型、スキーマ、一般的なクエリにより強い一貫性を備えつつ、1 桁ミリ秒のレイテンシーと高スループット、ファイブナインの可用性 、そしてグローバルな分散機能による事実上無制限のスケールなどを実現しているマネージドデータベースサービスです。 参考：Google、大規模分散DB「Spanner」にPostgreSQL互換インターフェイスを実装。強い一貫性で秒
Google Cloud Champion Innovators Advent Calendar 2023 の1日目の記事です。 Advent Calendarの初日ということもあり、筆者がなぜGoogle Cloudが好きなのかについて。 筆者が初めてGoogle Cloudに出会ったのは2011年で、 App Engine に恋い焦がれてから、ずっとGoogle Cloudを使い続けています。 現在、仕事ではかなり大きなシステムをGoogle Cloudで扱っていますが、個人で小さなシステムを作るのも好きです。 そんな小さなシステムから大きなシステムまで作れるところも魅力に感じています。 この記事では個人でよく作っている小さなシステムに注力しています。 筆者が魅力に感じているGoogle Cloudの思想としてDatacenter as a Computerがあります。 日本語だとGo
それぞれ微妙にできることや制限に違いがあり、ここを捉えた上で選択する必要があります。 Batchの強みはおそらくタイムアウトがないことによって長時間実行ができ、かつシンプルに実装できることだと思います。 （タイムアウト最大値に関して、Batchにおいては存在しないと公式動画の方で説明していますが、Cloud Composerについては不明でした。） Batch単体でもジョブ定義ファイル内で各タスクの依存関係（順次実行、並列実行）はできますが、Cloud ComposerやWorkflowsのように複雑なジョブネットを書くことは難しそうです。 ジョブネットのように動かしたい場合には公式ドキュメントにもあるようにWorkflowsなどからBatchジョブを実行するのが良さそうです。 動かしてみよう 実際にジョブを作って動かすまで試してみたいと思います。 GCP公式がBatchのサンプルコードを
Infrastructure Manager のご紹介: Terraform を使用した Google Cloud リソースのプロビジョニング | Google Cloud 公式ブログ
Infrastructure Manager のご紹介: Terraform を使用した Google Cloud リソースのプロビジョニング ※この投稿は米国時間 2023 年 9 月 13 日に、Google Cloud blog に投稿されたものの抄訳です。 Terraform の機能を Google Cloud マネージド サービスとして提供する Infrastructure Manager をご紹介いたします。Infrastructure Manager を使用すると、Terraform の堅牢な基盤に構築された Infrastructure as Code（IaC）の原則に基づいて Google Cloud インフラストラクチャを管理できます。これにより、宣言型の構成を使用してクラウド リソースをデプロイ、設定、管理する際に、両方の長所を活かした合理的なマネージド エクスペリエ
Google Cloud Next '23 参加レポート 〜Google本社にも行ったよ！〜 - ZOZO TECH BLOG
こんにちは、MA部MA開発1ブロックの齋藤（@kyoppii13）です。 8/29-8/31に開催されたGoogle Cloud Next '23へ参加してきました。今年は4年ぶりとなるオフライン開催で、アメリカ・サンフランシスコで開催されました。弊社からはMA部の齋藤・松岡・中原の3名が参加しました。 今年は生成AIにフォーカスした内容がとても多く、それに関連する新サービスの発表も多くありました。本記事では、現地での様子と特に興味深かったセッションをピックアップして紹介します。 現地での様子 3日間に渡って開催されたGoogle Cloud Nextの会場はモスコーニ・センターという大きな展示施設で、メインルームではキーノート、他ルームでセッションが発表されるというものでした。発表以外にもワークショップやたくさんの企業ブースがあり大変賑わっていました。 Moscone Center Ma
Google Cloud、AIワークロードに特化したストレージ「Hyperdisk ML」発表 AWSやAzureの高速ストレージより100倍高速と説明
この記事は新野淳一氏のブログ「Publickey」に掲載された「Google Cloud、AIワークロードに特化したストレージ「Hyperdisk ML」発表。競合となるAWSやAzureの高速ストレージより100倍高速と説明。Google Cloud Next '24」（2024年4月11日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Google Cloudは日本時間4月10日未明から開催中のイベント「Google Cloud Next '24」で、AIの推論やサービングのワークロード向けに最適化されたブロック ストレージ サービス「Hyperdisk ML」を発表しました。 説明によると、Hyperdisk MLは一般的なストレージサービスと比較して、AIモデルの読み込み時間を最大12倍高速化し、最大で2500インスタンスが同じボリュームにアクセスでき、
はじめに Cloud Run から 別の Cloud Run へアクセスするときに、その Cloud Run って「すべてのインターネットからアクセスさせる」必要ってあるのかな？という疑問がありました🤔 公式ドキュメント[1]を読むと Cloud Run からのアクセスをInternal (内部)として扱う方法について記載がありました。 3つの方法があるようですが、どうも理解が進まないので実際に検証してみたいと思います。 やりたいこと 検証プロセスの概観 Cloud Run を2つ作成します。以下はそれぞれのコードです。 client-node : server-node に対して、HTTPリクエストを投げる Cloud Run。この Cloud Run は常に 内向きは「すべて」とする。 リクエスト先 Cloud Run の公開URLを環境変数として設定している server-node
クラウドインフラのシェア、生成AIブームによりマイクロソフトが上昇率でGoogleを抜いてトップに、AWSを猛追中。2023年第3四半期。Canalysの調査
クラウドインフラのシェア、生成AIブームによりマイクロソフトが上昇率でGoogleを抜いてトップに、AWSを猛追中。2023年第3四半期。Canalysの調査 調査会社のCanalysは、2023年第3四半期のグローバルにおけるクラウドインフラのシェアを発表しました。 クラウドインフラとは、IaaS、PaaS、ホステッドプライベートクラウドを合わせたものを指します。 同時期のクラウドインフラのシェアの調査結果として、すでに先月（2023年11月）にSynergy Researchの調査結果が報告されており、そこではマイクロソフトが3カ月で2ポイントのシェア上昇を見せていたことが示されました。 参考：グローバルのクラウドインフラ市場シェア、この3カ月でマイクロソフトのシェアが2％増加。2023年第3四半期、Synergy Researchの調査結果。 Canalysの調査結果でも同様に、マイ
本連載は、Google Cloudのアプリ開発とDBプロダクトにおけるスペシャリスト達が、Google Cloudプロダクトを利用した、クラウドネイティブな開発を実践する方法を解説しています。 第5回の今回は、Google Cloudのサーバーレス製品を活用したアーキテクチャに焦点を当て、アプリケーション開発における実装パターンを実践的ないくつかのユースケースにあわせて紹介をします。また、サービスの選定にまよったときの判断のポイントも紹介します。 基本のアーキテクチャパターン まず最初に、クラウドアーキテクチャセンターを紹介します。Google Cloudでワークロードをビルドまたは移行するためのリファレンスアーキテクチャ、ガイダンス、ベストプラクティスがまとまっているページです。クラウドのアーキテクチャを検討する際に、こまったらここを参考にするとヒントが詰まっています。 Webアプリケー
この記事は、NTTコミュニケーションズ Advent Calendar 2023 23日目の記事です。 はじめに はじめまして。イノベーションセンター テクノロジー部門 OsecT-Ops プロジェクトの鄭（GitHub: nbhgytzheng）です。2021年度入社で、現在はオペレーショナルテクノロジー（OT）セキュリティリスク可視化サービス OsecT（オーセクト）の開発・保守運用業務に取り組んでいます。OsecTについては過去にブログで紹介していますので、ご興味がある方はご覧ください。 制御システムのセキュリティと対策技術OsecTのご紹介（前編） 制御システムのセキュリティと対策技術OsecTのご紹介（後編） OsecT、サービスリリースしました OTセキュリティリスク可視化サービス OsecT、リニューアルしました 今回は技術ブログへの2回目の投稿で、前回はOsecTで利用して
Google Cloudからオンプレや他のクラウドへ移行する際の転送料金が無料に、クラウド市場における顧客の選択と競争の障壁を取り除く一歩へ
Googleが、Google Cloudの利用をやめて他のクラウドサービスやオンプレミスへ移行することを決定したユーザーの転送料金を無料にすると発表しました。ユーザーがクラウドプロバイダーを簡単に変更できるようになり、クラウド市場における顧客の選択と競争を促進すると述べられています。 Eliminating data transfer fees when migrating off Google Cloud | Google Cloud Blog https://cloud.google.com/blog/products/networking/eliminating-data-transfer-fees-when-migrating-off-google-cloud/ クラウドサービスの多くは、クラウドサービスへデータをアップロードする内向きの転送料金は安く、クラウドサービスからデータを
Project IDX は、クラウドでのフルスタックのマルチプラットフォーム アプリ開発のための AI 支援型ワークスペースです。IDX は幅広いフレームワーク、言語、サービスをサポートし、おなじみの Google サービスと統合できるだけでなく、開発ワークフローを合理化し、さまざまなプラットフォームにまたがって迅速、簡単、品質にアプリを構築し、リリースできます。 ��� �U �d� �U @�� �U
Google Cloud ComposerでGPUを使ったタスクを安定稼働するために行ったこと - ZOZO TECH BLOG
はじめに こんにちは、ML・データ部MLOpsブロックの松岡です。 本記事ではCloud Composerのワークフローにおいて、GPUを使うタスクで発生したGoogle CloudのGPU枯渇問題と、その解決のために行った対策を紹介します。 ZOZOが運営するZOZOTOWN・WEARでは、特定の商品やコーディネート画像に含まれるアイテムの類似商品を検索する類似アイテム検索機能があります。本記事ではこの機能を画像検索と呼びます。 画像検索では類似商品の検索を高速に行うため、画像特徴量の近傍探索Indexを事前に作成しています。近傍探索Indexはワークフローを日次実行して作成しています。 このワークフローでは大きく次のように処理を行っています。 当日追加された商品の情報を取得し、商品情報をもとに商品画像を取得する。 物体検出器で商品画像から商品が存在する座標とカテゴリーを検出する。 検出
スタンダード ティア - 1 か月あたり 200 GB のインターネット データ転送が無料に | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 9 月 21 日に、Google Cloud blog に投稿されたものの抄訳です。 アプリケーションとユーザー間のシームレスかつスケーラブルで安全性の高いインターネット接続は、あらゆる企業がクラウド導入時の最優先事項に掲げるテーマです。2023 年 10 月 1 日より、Google Cloud ネットワーキング スタンダード ティアの新規および既存のすべてのお客様は、インターネット データ転送を毎月 200 GB まで無料でご利用いただけるようになります。このオファーはお客様が運用を行っているリージョンごとに個別にご利用いただけます。スタンダード ティアをサポートする Google Cloud リージョンは 28 を超えるため、毎月のべ約 6 TB ものデータ転送が無料で提供されることになります。このことは、スタートアップや小規模企業のお客様が Go
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 ホット タブレット Bigtable には、パフォーマンスの問題をトラブルシューティングするため、クラスタ内のホット タブレットを特定してモニタリングする機能があります。このページでは、ホット タブレットの概要、ホット タブレットのリストを取得する方法、ホット タブレットの識別が有益な状況について説明します。このページを読む前に、Bigtable の概要を理解しておく必要があります。 ホット タブレットのリストを取得するメソッドの名前は、使用する言語によって異なります。わかりやすくするため、このドキュメントでは RPC Cloud Bigtable Admin API 名（ListHotTablets）を使用します。ホット タブレットのリストは、以下のものを使用して取得できます。 Goo
AutoMLからVertexAIに移行した話
この記事は GMOアドマーケティング Advent Calendar 2023 18日目の記事です。 はじめに こんにちは、GMOアドマーケティング GMOSSP開発担当の@KazuakiMです。 GMOSSPではAutoML Visionで広告画像の解析を行い、解析結果を広告審査に利用しています。 そしてAutoML Visionを利用している方はGoogleから下記メールが度々送られているため、ご存知だと思いますが 2024/01/23 にAutoML Visionの役目を終えます。 Your AutoML Vision Services will remain available through January 23, 2024, unless you discontinue your usage of AutoML Vision, or migrate to Vertex AI b
こんにちは。 GMO NIKKOのT.Cです。 今回は、Dataflowで、特定のゾーンにあるリソースが一時的な不足(= ZONE_RESOURCE_POOL_EXHAUSTED)により、間欠的にJobが失敗した内容について話したいと思います。 ※ 本ブログで発信される情報は、個人の見解でドキュメントで直接言及されてない内容も含まれているため、実際とは異なる可能性もあるので、参考までにしてください 1日何回も、Cloud FunctionでDataflow(batch・dataflow shuffle)を動かしてGCSにあるログを処理していますが、ゾーンのリソース不足により、Jobが失敗する現象が数日にわたって間欠的に発生していました。 Startup of the worker pool in zone us-central1-a failed to bring up any of th
Cloud Storage FUSE が GKE と AI ワークロード向けに最適化 | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 8 月 25 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud の Cloud Storage は、AI ワークロードへのトレーニングと処理に必要な大量のトレーニング データ、モデル、チェックポイントを格納でき、クラウド ストレージ システムの特徴であるスケール、パフォーマンス、シンプルさ、優れた費用対効果を備えています。ただし、AI ワークロードが実際にそのデータにアクセスする際、常に簡単にアクセスできるとは限りません。AI ワークロードのほとんどが、Cloud Storage から提供されるオブジェクト セマンティクスではなく、ファイル システム セマンティクスを必要とするからです。 Linux の Filesystem in Userspace（FUSE）は、ファイル システムを Linux カーネル
本連載は、Google Cloudのアプリ開発とDBプロダクトにおけるスペシャリスト達が、Google Cloudプロダクトを利用した、クラウドネイティブな開発を実践する方法を解説しています。 第3回では、サーバーレス開発とGoogle Cloudのサーバーレス製品であるCloud Runに焦点を当てます。 まず、サーバーレス開発の基本概念と利点について説明し、従来のサーバーに依存しないアプリケーション開発手法の重要性を探ります。次に、Cloud Runの概要を紹介し、コンテナイメージの実行をサポートするサーバーレスプラットフォームとしての役割を説明します。この回を通じて、サーバーレス開発の基礎を学び、Cloud Runを利用して効率的なアプリケーション開発を実現する方法を理解できます。 主に対象となる読者は、クラウドを利用してアプリケーションを開発するエンジニア、またはその基盤を構築する
Googleのクラウドコンピューティングサービス「Google Cloud」において、機械学習特化型プロセッサ「TPU v5e」を用いた処理が可能になりました。GoogleはTPU v5eについて前世代の「TPU v4」と比較してコストパフォーマンスが2.3倍に向上しているとアピールしています。 Cloud TPU v5e is generally available | Google Cloud Blog https://cloud.google.com/blog/products/compute/announcing-cloud-tpu-v5e-in-ga/?hl=en TPU v5eはGoogleが独自に開発している機械学習特化プロセッサ「Tensor Processing Unit(TPU)」の第5世代モデルで、発表時には前世代モデルのTPU v4と比較して1ドル当たりのパフォーマ
Cross-Cloud Network の紹介: 新たな形のネットワーク | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 8 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 組織がトランスフォーメーションを推進し、ビジネス上の成果を達成できるかは、ネットワークによって決まります。しかし、組織がワークロードを移行し、最新の分散アプリケーション（多くの場合、オンプレミスと複数のクラウドにまたがります）を集約して、データがどこに保存されているかにかかわらず本格的に基盤モデルを運用し、トレーニングと推論を実行するために高性能なネットワークが必要となる生成 AI のような新しいイノベーションを採用するにつれ、ネットワークは信じられないほど複雑になっています。同時に、組織はかつてないほど大規模なハイブリッド ワークフォースを管理するようになっており、どこからでもアプリケーションにアクセスできるネットワークとセキュリティが求められています。 昨今、ネット
ネットワーク サービス スタンダード ティア向け Cloud NAT サポートの一般提供開始のお知らせ | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 8 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 Google はこのたび、ネットワーク サービス スタンダード ティア向け Cloud NAT サポートの一般提供を行うことになりました。スタンダード ティアは、Google Cloud リソースから外部システムにインターネット経由でトラフィックを配信します。プレミアムとスタンダードはインターネット上のシステムと Google Cloud インスタンス間の接続性を最適化できる Network Service Tiers です。プレミアム ティアは Google のプレミアム バックボーンでトラフィックを配信し、スタンダード ティアは通常の ISP ネットワークを使用します。スタンダード ティア向け Cloud NAT サポートにより、スタンダード ティアによる費用削減と
G-gen の杉村です。Google Cloud と GCP（Google Cloud Platform）、どちらの呼び名が正しいの？という疑問をよくお聞きします。結論からいうと、正式名称は Google Cloud です。 正式名称は「Google Cloud」 GCP と呼んではいけないの？ Google Cloud と Google 正式名称は「Google Cloud」 Google が提供するクラウドプラットフォームである Google Cloud。インターネット上には「Google Cloud」「Google Cloud Platform」「GCP」と複数の呼び名が見られます。どの名称で呼ぶべきなのでしょうか。 現在では、正式名称は「Google Cloud」です。 「Google Cloud Platform」およびその略称である「GCP」は旧称であり、2022年6月に「Go
顧客が生成した画像を安全に使うために、Google DeepMindの電子透かし「SynthID」を組み込む。また、潜在的に有害なコンテンツjの生成を防止するための「包括的な安全フィルター」が含まれているという。（GoogleはImagenのトレーニングデータについては開示していない。） Vertex AIでのImagenの利用可能範囲は以下の通り。 関連記事 Google、企業と開発者向け「Gemini Pro」提供開始 Googleは、新しい生成AIモデル「Gemini」のミドルサイズ「Gemini Pro」を企業と開発者向けに提供開始した。「Vertex AI」と「Google AI Studio」で利用できる。まずは無料で提供し、将来的には“競争力のある価格”にする計画。 Google、「Vertex AI」での生成AIサポート一般提供開始 「PaLM 2」も使える Google
Google Cloud、サーバレスの「Cloud Functions」をコンテナサーバレスの「Cloud Run」に統合、「Cloud Run functions」に
Google Cloud、サーバレスの「Cloud Functions」をコンテナサーバレスの「Cloud Run」に統合、「Cloud Run functions」に Google Cloudは、「Cloud Functions」を「Cloud Run」に統合し、「Cloud Run functions」にすることを発表しました。 これにより、これまでCloud Functionsでは利用できなかったGPU機能などのCloud Runの機能がCloud Run functionsで利用可能になります。 There's a new deployment option for Cloud Run: the function. A.k.a Cloud Functions and its event-driven programming model is now Cloud Run functi
みなさんこんにちは！ 2023年は「Cloud Run を触って覚える」をテーマとした一人アドベントカレンダーを一人で開催したいと思います。Cloud Run のさまざまな機能や、Cloud Run でよく使う構成などを実際の使い方と一緒にご紹介したいと思います。 初日は、私自身がデモなどでよく使う Next.js を Cloud Run にデプロイする方法を紹介します。 Cloud Run の概要は技術評論社さまのブログ「gihyo.jp」に寄稿した記事で解説していますのでこちらもぜひご覧ください。 Next.js アプリの作成 まずは Cloud Run でホスティングする Next.js のサンプルアプリを作ります。 Dockerfile 付きのサンプルアプリは Next.js 公式として公開されているので、コンテナ化した Next.js アプリは簡単に作ることができます。 FROM
DCC グループの Google Cloud ユーザーコミュニティイベント報告【GINGER Event#5】 - NTT Communications Engineers' Blog
はじめに こんにちは、イノベーションセンターでノーコード分析ツール「Node-AI」開発チームの林です。 業務としては Node-AI のフロントエンドやバックエンド開発、最近では監視/可視化のプラットフォーム開発に携わっています。（先日こちらの記事を執筆したりしています。） 本記事では、2023 年 11 月 14 日に開催した NTT ドコモ・NTT コミュニケーションズ・NTT コムウェアからなるドコモグループ（以下、DCC グループ）内の Google Cloud のユーザーコミュニティ「GINGER」の第 5 回目のイベントをご紹介します。 GINGER 紹介 GINGER は Google Cloud Community In NTT Group Enterprise の頭文字をとって命名しました。 2023 年 4 月のドコモ在籍時にグーグル・クラウド・ジャパン合同会社様支援
完全招待制のオンラインカンファレンス「PIXIV MEETUP 2023」。「創作活動を、もっと楽しくする。」というミッションを遂行するために、メンバーが普段行っている業務について、自らの言葉で語り、その想いと技術を共有する場です。sue445氏は、 ピクシブ社における、パブリッククラウド活用の取り組みについて発表しました。全2回。後半は、ピクシブ社の現状と未来のために取り組んでいることについて。前回はこちら。 過去と現在のオンプレとクラウドの比率 sue445氏：次に、現在のピクシブの状態について話します。（スライドを示して）だいたいこんな感じのことを話そうと思います。 まず、オンプレとクラウドの比率について話します。 僕が入社した当時は、クラウドの利用率はだいたい2割弱でしたが、今現在は3割弱と、ちょっと増えています。 AWSのアカウント数とGCPのプロジェクト数の推移 次に、AWSの
Bigtable の新しい変更ストリームを使用して、データをリアルタイムで操作する | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 9 月 9 日に、Google Cloud blog に投稿されたものの抄訳です。 Cloud Bigtable は、スケーラビリティに優れたフルマネージド NoSQL データベース サービスで、ミリ秒単位のレイテンシと最高 99.999% の可用性 SLA を実現します。また、リアルタイム分析、ゲーム、通信など、高スループットと低レイテンシを必要とするアプリケーションに適しています。 Cloud Bigtable 変更ストリームは、Bigtable データの変更を追跡し、簡単にこのデータにアクセスして他のシステムと統合できる機能です。変更ストリームを使用すると、Bigtable での変更を BigQuery に複製してリアルタイム分析を行ったり、（イベントベースのデータ パイプライン用に）Pub/Sub を使用してダウンストリーム アプリケーションの動
いやー高い技術を持ってそうだけどいまいち地味なのと料金表が表に出てないから敬遠してた謎のネットワークサービスFastlyを友人が転職してたので試してみました。そしたらいままでCloud Runで抱えてた悩みが解決してしかも値段も結構大丈夫そうだったので記事にまとめることにしました。 追記：Host Overrideについて書いた 俺たちは安くてhttpsで独自ドメインでCloud Runを使いたい そう、それだけなんですよ。それだけなのに苦労するのがCloud Runなんですよ。詳しくはこちらをお読みください。いままでは安くで済まそうとすると、プレビュー版のカスタムマッピングか、Cloudflareを前段にかますことが多かったのですが、それだと遅いのですよ。 Cloudflare Workersを組むとそこそこ速いのですが、キャッシュ含めちゃんと組むとなるちょっとコードの手間がかかるんです
Google Cloud Next Tokyo '23で発表した資料です。
Bucket full of secrets – Terraform exfiltration | Mercari Engineering
Background At Mercari, we utilize many microservices developed across multiple different teams. Each team has ownership over not only their code, but also the infrastructure necessary to run their services. To allow developers to take ownership of their infrastructure we use HashiCorp Terraform to define the infrastructure as code. Developers can use Terraform native resources or custom modules pr
Cloud Spannerを使う大規模アプリケーションの負荷試験におけるアプローチとチューニング | BLOG - DeNA Engineering
2024.05.14 技術記事 Cloud Spannerを使う大規模アプリケーションの負荷試験におけるアプローチとチューニング by tomohiro.katsukura #loadtest #google-cloud #spanner ゲームサービス事業本部の勝倉です。 この投稿では、Cloud Spanner を使う大規模アプリケーション 1 での負荷試験の方法論と、チューニング方法について記述しています。 前半は、従来的な負荷試験の手法が抱える課題を整理し、それらを解決する新しい方法論を紹介しています。 後半は、Cloud Spanner で秒間500万超のクエリ(5M+ QPS)の負荷を捌くまでに出てきたボトルネックの見つけ方と潰し方について紹介しています。 1. 負荷試験の悩みどころ バックエンドアプリケーションの開発において、負荷試験は重要なチェックポイントになります。 これ
OpenTelemetry+Go 計装サンプル大全 with Cloud Trace ~意外なつまづきポイントを添えて~
はじめに こんにちは。クラウドエース株式会社で主にアプリケーション開発を担当している水野です。 今回は、Go 言語でトレース計装する際のサンプル集をご紹介します。 OpenTelemetry は、アプリケーションのオブザーバビリティを実現するための OSS です。 対象読者 手動計装は、アプリケーションコードを煩雑化してしまう可能性もあるため 「できるだけ最小限な構成で手軽に導入したい」という方もいると思います。 そんな方に すぐ活用できる！ような記事となっています。 使用技術 Golang OpenTelemetry Google Cloud Cloud Trace Cloud Logging Cloud Pub/Sub Cloud SQL 方針 アプリケーション実装は最小限にする（ライブラリの力をできるだけ借りる） 計装箇所 API (incoming, outgoing) http
既知の不具合として Cloud Run でカスタムドメインを利用するとレイテンシーが高くなる問題があります。 Cloud Run の既知の問題 | Cloud Run のドキュメント | Google CloudCustom Domains latency impact for asia-northeast1, australia-southeast1 and northamerica-northeast1 [64458939] — Issue Trackerとはいえ直接カスタムドメインマップする機能はプレビューリリースなので仕方ありません。(カスタム ドメインのマッピング | Cloud Run のドキュメント | Google Cloud) この記事ではなぜレイテンシーが高くなるのかを調べてみます。 ※この記事は2023/11/30時点の調査のものです ＜目次＞ 先に結論予備知識 2.
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
sinmetalはなぜGoogle Cloudが好きなのか？
GCPのバッチ処理サービス「Batch」を試してみる
Cloud Run から内向きが「内部」なCloud Run にアクセスしたい
Google Cloud日本法人に、VMwareブランドを所有するBroadcomとの取り組みを聞く
Google Cloudのサーバーレス製品を活用したアーキテクチャ | gihyo.jp
OsecTにおける運用の自動化 - NTT Communications Engineers' Blog
Project IDX | Google for Developers
ホット タブレット | Bigtable のドキュメント | Google Cloud
Dataflow(batch)でZONE_RESOURCE_POOL_EXHAUSTEDが発生した話
サーバーレス開発の基本と簡単に使い始められるCloud Runの特徴 | gihyo.jp
コスパが2.3倍になったGoogleの機械学習特化プロセッサ「TPU v5e」がGoogle Cloudで利用可能に
Google CloudとGCP、どっちが正しい？ - G-gen Tech Blog
Google、テキスト→画像生成AIモデル「Imagen 2」をVertex AIでリリース 画質大幅アップ
Cloud Run ことはじめ - Next.js アプリを 10 分でデプロイする
「今のピクシブは、AWS、GCP、オンプレのすべてがアツい」 パブリッククラウド活用における、未来のための取り組み
Cloud RunとかGCPサーバレス製品のCDNはFastlyが最強かもしれない話-1/2
BigQuery のデータ品質やデータ活用を高める Dataplex 等の活用
Cloud Run でカスタムドメインを使うとレイテンシーが高くなる原因と解決