Dataflowが解決するストリーミング処理の課題と基盤構築で考慮すること - case-kの備忘録
Dataflowが解決するストリーミング処理の課題と基盤を作る上で考慮すべき点をいくつか資料を参考に備忘録もかねて整理してみました。 ストリーミング処理の概要 ストリーミング処理とは バッチ処理との違い ストリーミング処理の課題 データ量と変動性 遅延データの扱い 異なるプログラミングモデル Dataflowでどのように解決すのか オートスケール 遅延データの制御 プログラミングモデルの統一 遅延データの制御 (機能詳細) ウィンドウとは 固定ウィンドウ スライディングウィンドウ セッションウィンドウ ウォーターマークとは トリガーとは アキュミュレーションとは 破棄モード 累積モード 累積 ＆ 後退モード Dataflowでストリーミング処理の基盤作成で考慮すること 何を計算するか？(ETL) イベント時間のどこを対象にするか？(ウィンドウ) 処理時間のどの時点を対象にするか？(ウォータ
Google Cloud の新たな目標: 4000 万人以上のクラウド人材育成 | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 10 月 7 日に、Google Cloud blog に投稿されたものの抄訳です。 世界中で、さまざまな業界の企業がビジネスのデジタル トランスフォーメーションの真っ只中にいます。多くの企業にとって、COVID-19（新型コロナウイルス感染症）のパンデミックは事態をさらに加速させました。このようなデジタル トランスフォーメーションは、持続可能性の促進、カーボン ニュートラルの拡大、人工知能による新しいビジネスモデルの構築、これまでにないレベルでの世界規模のバーチャル コラボレーションの実現など、私たちの仕事や生活にすでに影響を与えています。 さらに重要なことに、このような変化の原動力となるのは、大規模なクラウドの導入と維持に必要なスキルを持った人材となるでしょう。特に人工知能、機械学習、データ分析、アプリケーション開発、セキュリティ、クラウド アーキテ
「その言語、 Cloud Run で実装してみない？」というテーマで喋りました #devio2021 | DevelopersIO
こんにちは CX事業本部 MAD事業部 の 田中 孝明 です。 DevelopersIO 2021 Decade という弊社オンラインイベントにて、「その言語、 Cloud Run で実装してみない？」というテーマでお話させていただきましたので、ご紹介します。 セッション概要 MAD事業部では以前から一部使われていた Google Cloud を本格的に利用しようという動きがあります。個人的に好きなサービスである Cloud Run を使った内容をお話しします。 動画 スライド Cloud Run を一言で Cloud Run は 2019年 にデビューした コンピュート に属するサービスです。 主な機能 Cloud Run は、マシンのプロビジョニング、クラスタの構成、自動スケーリングについて心配することがない、フルマネージドコンピューティング環境です。 更に、任意のプログラミング言語、
Cloud Runで新規サービスを構築・運用するためにSREとして取り組んだこと - ZOZO TECH BLOG
はじめに こんにちは。メディアプラットフォーム本部 WEAR部 WEAR-SREの笹沢（@sasamuku）です。 ZOZOが新しく展開する「FAANS」というショップスタッフ向けアプリをクローズドβ版としてテスト運用しています。本アプリは、WEARと連携したコーディネート投稿や、その成果を可視化する機能などをショップスタッフの皆さんに提供するtoBのソリューションです。現在、正式リリースに向け開発を進めています。 そして、FAANSのAPIはCloud Runと呼ばれるサーバレスなコンテナ実行基盤で稼働しています。本記事では、FAANSの実行基盤としてCloud Runを選定した理由や、構築・運用するためにSREとして取り組んだことをご紹介します。 Cloud Runを選んだ理由 まず、クラウドサービスはGCPを選択しています。FAANSでは開発速度の向上と運用負荷の軽減のため、認証やメ
GCP の Compute Metadata Credentials について
Google Cloud Platform(以降 GCP) の認証認可については GCP と OAuth2 などの記事があるが、 Compute Metadata credential そのものの解説はあまり十分にされているとは言えないので、今回一つの記事で説明する。 Compute Metadata Credentials と聞いてもピンと来ない人向けに書くと、「Cloud Run や Cloud Functions などの GCP のプロダクトから GCP の API を呼ぶのにサービスアカウントキーが必要ないこと」の裏側がどのように動いているかの話について説明する記事である。 Compute Metadata Credentials とは Compute Metadata Credentials は Google Cloud Platform(以降 GCP) の標準の credent
GCPでSelf-Hosted Sentryを構築する
GCP（Google Cloud Platform）でSelf-Hosted Sentryを立てることがあったのでメモとして残します。 構成 Cloud Load Balancing（GCLB） マネージド SSL 証明書を使いために設定 Let's Encrypt などで運用するなら不要 Cloud Armor DDOSやSQL Injectionなどの攻撃から守る Compute Engine Sentry を立てている Docker Compose で複数の Docker コンテナが起動している リバプロ用の Nginx も常駐 Cloud SQL for PostgreSQL Sentry のデータなどを保存 Docker Compose でも作成できるがデータを永続化したかったため外出しした 前提 VPC ネットワーク、Firewall 作成済 Cloud NAT およびルーティ
完全マネージドな k8s ! GKE Autopilot を解説する
Kubernetes / GKE ファンの皆様こんにちわ。Google Cloud の Kazuu (かずー) です。GKE Autopilot が GA になりました。弊社公式ブログに続きまして、GKE Autopilot を日本語で解説していきたいと思います。 本記事は以下、3 部構成となります。 GKE Autopilot 概要GKE Autopilot を試してみるGKE Autopilot がハマりそうなユースケースは？ 1. GKE Autopilot 概要GKE Autopilot は GKE の新しいモードです。Control Plane に加えて、Node が完全マネージドになります。これまでの GKE では Node はユーザー自身が必要台数分作成し、以後の Day 2 オペレーション (e.g. アップグレード) 等も気に掛ける必要がありました。GKE Autopil
4年ほど本番運用してきたGoogle Kubernetes Engine。４年の間で変化し続けてきた弊社のIngress周りの歴史 | Money Forward Kessai TECH BLOG
4年ほど本番運用してきたGoogle Kubernetes Engine。４年の間で変化し続けてきた弊社のIngress周りの歴史 きづけば2021年ですね。12月末に書いたこの記事は年末休暇の関係で、公開がこのタイミングになりました。あけましておめでとうございます。 今回は、マネーフォワードケッサイが利用しているGCP/GKEのIngreeまわりを振り返ってみたいとおもいます。 創業初期 2017年3月時点ではGCPには証明書を自動的に作成する仕組みがなかった事もありますが、まだまだ証明証は信用の為にEVを買うという考えが強かったので、EV証明書とワイルドカード証明書を購入してIngressに設定してました。 証明書の自動作成と更新できるように ユーザが利用するドメインのみ購入した証明書を使い、社内利用のドメインは、cert-managerを利用して作成したLet’s Encriptの証
Google Cloud のアクセス管理をおさらいしよう 2020アップデート版
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2020 の 2日目の記事です。 TL;DR本記事ではGoogle Cloud でのアクセス管理について整理していきます。 はじめにGoogle Cloud Japan Customer Engineer Advent Calendar 2019 で、Google Cloud の IAM をおさらいしよう という記事を書いたのですが、多くの方に読んでいただいたのですが、逆に多くの方が悩まれるトピックなのだなと感じました。2020年も多くのアップデートがありましたので、改めて Google Cloud の アクセス管理をおさらいしていきましょう。 クラウドを使う上で、ユーザー管理や権限管理は非常に重要です。Google Cloud を使う際に、どのようにユーザー管理できるのか
Kpetrovi
Online-Kasinos existieren dank der Spiele, die von Software-Entwicklungsfirmen hergestellt werden. Es gibt zwar eine Handvoll Unternehmen, die als die wahren Pioniere des Online-Casino-Glücksspiels angesehen werden, aber es gibt auch neue Unternehmen, die einen ziemlichen Eindruck auf die Branche gemacht haben, Weiterlesen
AWS, Azure, and GCP respond to the 2020 Cloud Report
[THE 2021 CLOUD REPORT IS AVAILABLE. READ IT HERE] In December 2019, we published the 2020 Cloud Report and an accompanying blog post, which summarized original research we conducted benchmarking the performance of Amazon Web Services (AWS), Microsoft Azure (Azure), and the Google Cloud Platform (GCP). The response from our customers and the cloud providers was tremendous. Before publishing, we sh
Cloud Run と GitHub Actions を使って Pull Request 単位でプレビュー環境を立ち上げる - wadackel.me
はじめに 最近 Google Cloud Platform の Cloud Run が GA となったのが話題に上がりました。また gcloud コマンドを GitHub Actions 上で簡単に扱うための GoogleCloudPlatform/github-actions もリリースされました。これまで使われることの多かった actions/gcloud は deprecated となりアーカイブされています。 これらのサービス、ツールを使うことでかなり簡単に Docker コンテナを動かす環境を構築できます。そのユースケースの一つとして、実際に僕が携わっているプロジェクトでレビューコスト低減のために行っている、Pull Request (以下 PR) 単位で独立したプレビュー環境を起動する方法についてメモがてらブログにまとめようと思います。 前提 以下のようなアプリケーション、プロ
「AWS」「Azure」「GCP」で相次ぐ障害 クラウドを信じ切ってよいのか
関連キーワード Amazon Web Services | Microsoft Azure | Google | クラウド運用管理 「Amazon Web Services」（AWS）や「Microsoft Azure」「Google Cloud Platform」（GCP）の3大クラウドサービス群で、2019年11月にサービスの低下や停止が相次いだ。何が起こったのか。 AWSの各サービスの稼働状況を示すステータスページ「AWS Service Health Dashboard」によると、AWSのフランクフルトのリージョン（データセンターの設置地域）において2019年11月11日（現地時間、以下同じ）に障害が発生した。障害が発生したサービスは仮想マシン（VM）サービス「Amazon Elastic Compute Cloud」（Amazon EC2）とリレーショナルデータベースサービス「A
Google Cloud Run で社内フリードリンク在庫判定ボットを作ってみた。 - スタディサプリ Product Team Blog
はじめまして、データプロダクト開発チームの@yuu_itoです。 一緒に仕事をしている@toohskとフリードリンクの在庫判定をするSlackボットを作成しましたので紹介します。 フリードリンクとフリードリンク在庫判定ボットとは システム構成 Google Cloud Run について Google Cloud Functions から Cloud Run に移行するためにしたこと 1. Dockerfileの追加 2. Pythonコードの修正 画像分類モデルについて 動作結果 ハマったところ まとめ フリードリンクとフリードリンク在庫判定ボットとは Quipperでは福利厚生の一環として、社内でフリードリンクが提供されています。 フリードリンクの冷蔵庫はオフィスエリアの一角にあり定期的に充填されています。 既にWebカメラを搭載したRaspberry Piで定期的に様子を撮影しており、
How and why we migrated from Heroku to Kubernetes | Rainforest QA Blog | Software Testing Guides
Until late last year, Rainforest ran most of our production applications on Heroku. Heroku was a terrific platform for Rainforest in many ways: it allowed us to scale and remain agile without hiring a large Ops team, and the overall developer experience is unparalleled. But in 2018 it became clear that we were beginning to outgrow Heroku. We ended up moving to Google Cloud Platform (GCP) with most
Google Cloudの障害レポートを読んだ - jtwp470’s blog
つい最近、Google Cloudを利用しているサービスで大きな障害が発生していました。有名なサービスとしてはポケモンGoやSpotifyなどがサービス不可の状況になっていたようです。日本国内ではインシデント発生時刻が早朝のためあまり大きな障害はなかったようですが、米国時間ではちょうどお昼ごろのため大きな影響があったと推測されます。 障害と影響範囲 障害自体は2018/07/17 12:17 - 12:55 (PDT) です。日本時間だと 7/18 の早朝 5時台に障害が発生した模様です。 日本時間2018年7月18日(水) 05:04:30 致命的 [更新あり] Cloud Networking - We are investigating a problem with Google Cloud Global... https://t.co/S6Lxr1BPfI— GCP障害情報(全リー
中規模プロジェクトでの GCP権限管理(アクセス制御)ベストプラクティス - Qiita
GCP(Google Cloud Platform)の開発・運用者へ付与する権限の管理について、現状のベストプラクティスを考えてみました。 ※Googleが推奨する権限管理の形とは異なる部分があります。あくまで個人の考えたベストプラクティスですので、ご了承下さい。 目次 はじめに なぜ権限管理が必要なのか どうしたいのか GCPの権限管理 アクセスする主体と役割の管理方法 アクセス対象と権限の管理方法 GCP権限周りの困りポイント・注意すべきポイント こんな運用もあり 現状のベストプラクティス ←時間のない人はこちら コード化して管理する 運用してみて良かったこと・課題と今後 おわりに はじめに GCPの権限管理(IAM)周りについての基礎知識はこちら。 Cloud IAM 概念 Google Cloud Platform(GCP)のCloud IAM Qiita記事, GSuiteやCl
『GCPのCloud IAMを試してみた』
（2019/04 追記 この記事の情報は古いです。今では、GCPのIAMでも IAM Custom Roles によってカスタマイズしたロールが作れたり、Cloud IAM Conditions が登場してリソースの制限がしやすくなったりしています。また、メディア管轄のAWS Organizationsの活用については 「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018 もご覧ください） メディア事業（アメーバなど）を中心にAWS/GCPを担当している柿島大貴です。前回は、Google Cloud Platform（GCP）の各プロジェクトでコストを追える環境を作る を書きました。前回の続報としては、一部には使ってもらいつつも、可視化の部分で cloudyn を検証中です。 今回は、GCPのリソースの認可の話になります。GCPの利
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google_Cloud_Next_19_AI_ML_Summary_public.pdf
ソロソロ来るゾ！ Google Cloud Platform！ 記事一覧 | gihyo.jp
