ネットワーキング入門ガイド GCP リファレンス シート: ネットワーキングの基本 | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 6 月 23 日に、Google Cloud blog に投稿されたものの抄訳です。 IT ネットワーキングに関する話では、多くの人にとってなじみの薄い用語が使われがちです。ネットワーキング関連のドキュメントや会話を理解しようとしても、この分野の従事者でなければ、まるで外国語を見聞きしているかのように感じられるかもしれません。 ネットワーキング入門ガイド GCP シートネットワーキング入門ガイド GCP シートを使えば、一般的なネットワーキング用語を一目で確認できます。一般的な用語に加えて、Google Cloud に固有のサービスもいくつか記載されており、両者をすばやく結び付けて理解できるようになっています。 わかりやすい構成このドキュメントは複数のトピックエリアに分かれており、各セクションで簡単な定義が示されています。次の見出しに含まれるさまざまなト
AI Platform / GCP で最強の分析環境を手に入れた話
日頃から Google Cloud Platform (GCP)がデータ分析基盤の決定版になると言い続けて・・・たぶん5年ほど経ちましたが、このたびやっと、具体的に使える基盤になってきた感じがするので、まとめておきます。 その前に。 まえおき ～ 分析仕事とデータのセキュリティデータ分析の仕事とデータセキュリティとの関係を、ここ20年くらいの流れを思い出しながらまったり書いていたら長くなったので、お急ぎの方は次の章へ。 さて、データ分析の仕事で普段からやっていることをざっくりまとめると、次の通り。 データの入手、整理、加工仮説の検討と検証、試行錯誤レポーティング、プロトタイピングさて、これらの作業をどこでやっているかというと、主に1はクラウド、2はローカルマシン、3のレポーティングはローカルですが、プロトタイピングはクラウドが多くなりました。というより、クラウドでプロトタイピングが容易にで
Better data pipeline observability for batch and stream processing | Google Cloud Blog
Bring 20/20 vision to your pipelines with enhanced monitoring Stream analytics is bringing data to life in a way that was previously unimaginable, unlocking new use cases, from connected medical devices in healthcare to predictive maintenance on the factory floor. But with new uses comes new challenges that, if left unaddressed, can lead to unintended behaviors for end-user applications. Before th
Google Cloud’s data engineering learning path is now updated | Google Cloud Blog
With the market for artificial intelligence and machine learning-powered solutions projected to grow to $1.2B by 2023, it’s important to consider business needs now and in the future. We've heard from our customers and have witnessed internally that the data engineering role has evolved and now requires a larger set of skills. In the past, data engineers worked with distributed systems and Java pr
Apache Kafka & Google Cloud Pub/Sub 主要機能の比較
執筆者: 秋葉原ラボ sitotkfm&rshtykh はじめに 秋葉原ラボでは大規模データ処理基盤の研究・開発・運用を行っており、データの転送や解析システムのHubとしてPubsubシステムの重要性が高まっている。 Pubsubメッセージングモデルは、非同期メッセージングパラダイムの一種であり、メッセージの送信者（出版側）が特定の受信者（購読側）を想定せずにメッセージを送るようプログラムされたものである（wikipedia）。Pubsubモデルを用いることでシステムアーキテクチャにおいてコンポーネント同士を疎結合にし、高スケーラビリティを実現するメッセージングパターンである。このモデルに基づいたソリューションは既に複数存在するが、今回は特に注目されているApache KafkaやGoogle Cloud Pub/Subを紹介し、システム面で重要と思われる機能を比較する。 Kafkaは、
AWS・GCPのNVMeディスクの性能比較 | CyberAgent Developers Blog
技術本部の柘植です。今回は技術本部サービスリライアビリティグループで１ヶ月間インターン生として参加してくれた漆田さんの記事になります。 はじめに はじめまして。技術本部サービスリライアビリティグループ(以下SRG)の漆田と申します。SRGは大きく4つのチームに分かれており、その中のWIGというチームに、インターン生として1ヶ月間お世話になりました。 唐突に話が変わりますが、ちょうど私がインターンに来た頃に、AWSがNVMeストレージを備えたI3というインスタンスをリリースしました。このようにNVMeを提供するクラウドサービスが増えてくると、各社のディスクの性能やその特徴を基に適切なものを選択したい、という希望がわいてきます。 これに伴い、AWS、GCP、プライベートクラウドの3通りでNVMeストレージの性能を比較することにしました。今回の記事ではその検証結果を報告します。 NVMeって？
ネットワーク コスト最適化のベスト プラクティス | Google Cloud 公式ブログ
※この投稿は米国時間 2019 年 12 月 6 日に、Google Cloud blog に投稿されたものの抄訳です。 すべてのクラウドのデプロイメント環境には、データを転送するネットワークが必要です。ネットワークがなければ、猫の動画を視聴したり、自撮りをアップロードしたりすることはできません。マイクロサービス間のやり取りも不可能です。 Google Cloud には、クラウドベースのワークロードとサービスのためにスケーラブルで柔軟なグローバル ネットワークが用意されています。そのネットワークの利用方法が、デプロイの 4 つの重要な側面、つまり、費用、セキュリティ、パフォーマンス、可用性に影響を及ぼします。 信頼性と安全を備えた費用対効果の高いネットワーク アーキテクチャを設計するには、社内に複数のチームを用意して、こうした 4 つの要素に重点を置きながら、優先順位を決める必要があります
Data transformation, preprocessing available in BigQuery ML | Google Cloud Blog
Simplified data transformations for machine learning in BigQuery Building machine learning models on structured data commonly requires a large number of data transformations in order to be successful. Furthermore, those transformations also need to be applied at the time of predictions, usually by a different data engineering team than the data science team that trained those models. Keeping the s
GKE と Cloud Run、どう使い分けるべきか | Google Cloud 公式ブログ
※この投稿は米国時間 2019 年 11 月 23 日に、Google Cloud blog に投稿されたものの抄訳です。 高度なスケーラビリティと構成の柔軟性を提供するコンテナ オーケストレーション プラットフォームを求めているお客様にとって、マネージド Kubernetes サービスである Google Kubernetes Engine（GKE）は優れた選択肢になります。GKE は、ステートフル アプリケーションのサポートに加えて、ネットワーキング、ストレージ、オブザーバビリティ（可観測性）のセットアップなど、コンテナ オーケストレーションのあらゆる側面を完全に制御できます。 しかしながら、お使いのアプリケーションがそうしたレベルのクラスタ構成やモニタリングを必要としない場合は、フルマネージドの Cloud Run が最適なソリューションになるかもしれません。フルマネージド Clou
次世代のバンキングシステムを支える GCP | Google Cloud 公式ブログ
九州を主な営業基盤として展開する国内最大級の広域展開型地域金融グループである株式会社ふくおかフィナンシャルグループ（以下、FFG）は、地域経済発展への貢献を使命に掲げ、従来型の銀行業務に留まらず、様々な金融サービスを開発/提供されています。その中でも、特にデジタルトランスフォーメーションの推進においては、勘定系システムに Google Cloud Platform を採用するなど、まさに次世代のバンキングシステムの構築に着手されています。 このバンキングシステム構築を担う FFG の子会社のゼロバンク・デザインファクトリー株式会社（以下、ZDF） 代表取締役 横田 浩二 氏は以下のように述べています。 「従来の勘定系システムは重厚長大で、新しい機能の追加や変更に時間が掛かるだけでなく、運用・保守のほとんどがマニュアル作業のため人的なコストも嵩みます。そのため、顧客のニーズに合わせてサービス
Network Architecture Design for Microservices on GCP
This is our goal architecture design, please read the article to understand the journey :)This blog article is participating in the Mercari Bold Challenge month (#6) Hi everyone, this is Raphael from the Microservices Platform team at Mercari. Bluntly introduced, we are a post-IPO Japanese C2C (Customer to Customer) marketplace transitioning from a monolithic to a microservices architecture. A few
Introducing Cloud Run Button: Click-to-deploy your git repos to Google Cloud | Google Cloud Blog
Introducing Cloud Run Button: Click-to-deploy your git repos to Google Cloud As developers, we love that Cloud Run allows you to deploy containerized serverless applications without having to worry about operations, scalability and security. You can package your app in a container, deploy to Cloud Run, and get a fully managed HTTPS endpoint. Today, we are introducing the Cloud Run Button, an image
GCP を用いた高性能かつスケーラブルなオンライン予測システムの構築方法
Yaboo Oyabu, Machine Learning Specialist, Google Cloud Kazuhiro Yamasaki, Deep Learning Solution Architect, NVIDIA 概要このチュートリアルでは GCP 上で NVIDIA Tesla T4 と TensorRT Inference Server (以降 TRTIS) を用いて高性能なオンライン予測システムを構築する手順と、そのパフォーマンス計測・チューニング方法を説明します。このチュートリアルを完了すると、TensorRT に最適化された機械学習モデルが Cloud Storage に格納されます。また、 オンライン予測と負荷テストを実施するための GKE クラスタが作成されます。 本記事は Google Cloud Next 2019 Tokyo におけるセッション『GCP
メルペイにおける大規模バッチ処理 | メルカリエンジニアリング
この記事は MERPAY TECH OPENNESS MONTH の 13日目の記事です。 こんにちは、メルペイ ソフトウェアエンジニアの laughngman7743 です。 メルペイではマイクロサービスにおけるデータストアのデータや、アプリケーションのログを有効活用できるような基盤づくりをデータプラットフォームチームとして行っています。 データプラットフォームではラムダアーキテクチャに基づき、スピードレイヤとして Cloud PubSub と Cloud Dataflow を利用した仕組みに加え、バッチレイヤとして Cloud Composer と Cloud Dataflow を利用した仕組みを構築しています。 この記事ではバッチレイヤのアーキテクチャについてご紹介します。 スピードレイヤのアーキテクチャについては 「GCPでStreamなデータパイプライン始めました」 を参照くださ
タベリーを支えるアーキテクチャ - Koichi Ishida blog
目次 アーキテクチャ フロントエンド・バックエンドアーキテクチャ 分析アーキテクチャ レコメンデーションアーキテクチャ 最後に 「タベリー」は株式会社10Xが提供するパーソナルな献立を推薦するアプリです。iOSとAndroidとWebで提供しています。先日、プレスリリースで「オンライン注文機能リリース」と「2.5億円の第三者割当増資を実施したこと」をお知らせしました。献立作成、献立からの買い物リスト作成、買い物リストをネットスーパーで注文、料理を作るということがタベリー１つでできます。特にこの「オンライン注文機能」はいままでネットスーパーの商品を１つ１つ選択して注文していたものを、自動でカートに追加し注文できるのでとても便利です。 10Xではよりよいチームを目指しメンバーを募っています。エンジニアも募集しています。チームがどのように開発しているかは社長の矢本さんが書いた「10Xなプロダクト
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloud data warehouse news and tips | Google Cloud Blog
BigQuery DeDuplication — Window Function vs Group by For Stitch
How Qubit deduplicates streaming data at scale with Google Cloud Platform | Google Cloud Blog
Twelve-factor app development on Google Cloud | Cloud Architecture Center
[Cloud OnAir] Cloud Run Deep Dive ~ GCP で実践するモダンなサーバーレス アプリケーション開発 ~ 2019年9月12日 放送![[Cloud OnAir] Cloud Run Deep Dive ~ GCP で実践するモダンなサーバーレス アプリケーション開発 ~ 2019年9月12日 放送](https://cdn-ak-scissors.b.st-hatena.com/image/square/faf980322ca4f84c0fa016b0f7e634f3f68d732d/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F0912-190912084632-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
