こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「元AWSエンジニアがGoogle Cloud Professional Cloud Architectを取得した話」を読んでいただいた方々、ありがとうございます。 こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「PostgreSQLのメモリアーキテクチャを知る」を読んでいただいた方々、ありがとうございます。先日、Google Cloud のProfessional Cloud Architect(以下PCA)を取得する機会があったので今回はその合格までの道のりについてお話しいたします。きっかけきっかけとなったのは、Google Cloudが主催している特別トレーニング「G.I.G.」に参加する機会が巡ってきたことです。GMOアドマーケティングに入社して約1年が経つと
Dear Google Cloud: Your Deprecation Policy is Killing You
God dammit, I didn’t want to blog again. I have so much stuff to do. Blogging takes time and energy and creativity that I could be putting to good use: my novels, my music, my game, and so on. But you get me riled enough, and I have to blog. Let’s get this over with, then. I’ll begin with a small but enlightening story from my early days at Google. For the record, I know I’ve said some perhaps unk
Prometheusベースの大規模クラウド向けメトリクス収集システム「Cortex 1.0」リリース | OSDN Magazine
米Grafana Labsは4月2日（米国時間）、Prometheusをベースとするメトリクス（統計情報）収集システム「Cortex 1.0」を公開した。長期間にわたる統計情報の収集や分析をサポートするもので、キャパシティプランニングなどにも活用できる。 Grafana Labsは「Grafana」などのオープンソースプロジェクトを展開する企業で、Cortexには貢献企業として関わっている。CortexはGrafana Labsの開発者らがスタートしたプロジェクトで、2018年にCloud Native Computing Foundation（CNCF） Sandboxプロジェクトとして採用された。 Cortexはモニタリング技術Prometheusをベースに、大規模クラスタへの対応や取得した統計データのクラウドストレージ上への保存といった機能を追加したもの。データの自動複製や配信を行う
こんにちは！SouzohのMLチームでSoftware Engineerをしているwakanaです。 SouzohのMLチームは2021年4月にスタートし、ちょうど2年が経ちます。当時1人だったメンバーも、今では4人になり、レコメンデーションを中心に5, 6個の機能を提供するようになりました。MLOpsも成熟し、より新しく高度なML機能開発に集中して取り組める環境が整ってきていると感じています。 そこでこの記事では、立ち上げから2年たった今SouzohのPython, ML環境がどのようになっているか紹介しようと思います。これからPythonやMLのMonorepoでの開発環境を整えようとしている方、特に少人数での運用を考えてる方の参考になれば嬉しいです。 TL;DR SouzohではPoetry, Bazel, VertexAI Pipelinesで快適なMonorepo開発環境を実現
Google Cloud Service Health Incidents Multiple Google Cloud services in the europe-west9-a zone are impacted This page provides status information on the services that are part of Google Cloud. Check back here to view the current status of the services listed below. If you are experiencing an issue not listed here, please contact Support. Learn more about what's posted on the dashboard in this FAQ
Cloud Dataflow で実現する柔軟なデータパイプライン - スタディサプリ Product Team Blog
はじめに こんにちは、@shase です。 スタディサプリでは、データパイプラインのツールとして、従来 AWS Kinesis Stream や、Embulk や、AWS Lambda などがよく使われてきました。 ただ、現在開発中のプロジェクトでは、システム間の連携の為、Cloud Pub/Sub が多用されているということもあり、データパイプライン Cloud Pub/Subとの親和性が高いCloud Dataflowを一部取り入れています。 本記事では Cloud Dataflow 自体は詳述しませんが、簡単に説明させていただくと、Cloud Dataflowとは、GCP が提供するマネージドな Apache Beam の実行環境になります。 Cloud Dataflow のメリット Cloud Dataflow（Apache Beam）には、以下のようなメリットを感じています。 ス
はじめに これは ドリコム Advent Calendar 2021 の24日目です。 23日目は AnD00 さんの プロジェクトの行動規範を作ってチームの理想を描いてゆく です。 弊社内ではユーザの主要なデータの保存先としてRDBが使われるケースが多く、NoSQLを中心としたシステムを開発した経験のあるエンジニアが限られています。しかし新たなシステムを開発するとき選択肢としてNoSQLを選べることは有用だと思われるので、NoSQLを選択したときどのような課題があるか調査し、対策を検討しておくことにしました。 大小様々な課題があることは想像できますが、本稿ではAmazon DynamoDBのスキーマ設計に焦点を当て、実際に設計して直面した課題と、その解決方法を紹介します。 対象読者 RDBを使ったアプリの開発／運用経験があり、DynamoDBを使ってみたい人 背景 冒頭の通り、社内ではR
Google Dataflow を使ってコーディング無しでテキストファイル内に出現する単語をカウントしてみた | DevelopersIO
こんにちは、みかみです。 データアナリティクス事業本部に所属しています。 GCP のデータ分析基盤関連でよく聞く Google Dataflow。 設定などの手間が必要なく、オートスケーリングな並列分散処理をしてくれるデータパイプラインが簡単に構築できるらしいとのことですが、実際に使ったことがなかったので、触ってみました。 やりたいこと Google Dataflowをさわってみたい Dataflowを使うにはどうすればよいのか知りたい 前提 本エントリでは、Dataflow を実際に動かしてみるために、Python を使用したクイックスタートを実行して、指定したテキストファイル内に出現する単語の数をカウントしてみます。 動作確認には Cloud Shell を使用します。 Cloud Shell には Google Cloud SDK などの基本的な環境はインストール済みのため、Pyth
Spotify Unwrapped: How we brought you a decade of data | Labs
The Spotify Wrapped Campaign is one of Spotify’s largest marketing and social campaigns of the year. It enables our users to see a detailed breakdown of their listening habits over the past year. Since 2019 was the end of the decade, we wanted to do something special for our users. As one of the few streaming platforms that has existed since before 2010, Spotify had a unique opportunity to be able
GCP入門［第3回］ストレージとデータベース
GCPのストレージサービスは、前回取り上げた、仮想マシンの永続ディスクに加え、「Google Cloud Storage（以下、Cloud Storage）」がある。データベース（DB）のサービスとしては、「Google Cloud Bigtable（以下、Cloud Bigtable）」「Google Cloud Datastore（以下、Cloud Datastore）」「Google Cloud SQL（以下、Cloud SQL）」「Google Cloud Spanner（以下、Cloud Spanner）」の4種がある（表1）。 最初に、仮想マシンの永続ディスクを除いて、これらのサービスを簡単に説明する。 Cloud Storageは、Amazon S3相当のオブジェクトストレージである。S3との違いは、独自のCDN（Content Delivery Network）機能（AWS
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSエンジニアから見たGCPサービス(DB/ストレージ編)
メルカリShopsを支えるMonorepo ML開発環境 | メルカリエンジニアリング
Google Cloud Service Health
DynamoDBをゲームアプリで使う際の課題と対策（前編） - Tech Inside Drecom