Dear Google Cloud: Your Deprecation Policy is Killing You
God dammit, I didn’t want to blog again. I have so much stuff to do. Blogging takes time and energy and creativity that I could be putting to good use: my novels, my music, my game, and so on. But you get me riled enough, and I have to blog. Let’s get this over with, then. I’ll begin with a small but enlightening story from my early days at Google. For the record, I know I’ve said some perhaps unk
Prometheusベースの大規模クラウド向けメトリクス収集システム「Cortex 1.0」リリース | OSDN Magazine
米Grafana Labsは4月2日（米国時間）、Prometheusをベースとするメトリクス（統計情報）収集システム「Cortex 1.0」を公開した。長期間にわたる統計情報の収集や分析をサポートするもので、キャパシティプランニングなどにも活用できる。 Grafana Labsは「Grafana」などのオープンソースプロジェクトを展開する企業で、Cortexには貢献企業として関わっている。CortexはGrafana Labsの開発者らがスタートしたプロジェクトで、2018年にCloud Native Computing Foundation（CNCF） Sandboxプロジェクトとして採用された。 Cortexはモニタリング技術Prometheusをベースに、大規模クラスタへの対応や取得した統計データのクラウドストレージ上への保存といった機能を追加したもの。データの自動複製や配信を行う
こんにちは！SouzohのMLチームでSoftware Engineerをしているwakanaです。 SouzohのMLチームは2021年4月にスタートし、ちょうど2年が経ちます。当時1人だったメンバーも、今では4人になり、レコメンデーションを中心に5, 6個の機能を提供するようになりました。MLOpsも成熟し、より新しく高度なML機能開発に集中して取り組める環境が整ってきていると感じています。 そこでこの記事では、立ち上げから2年たった今SouzohのPython, ML環境がどのようになっているか紹介しようと思います。これからPythonやMLのMonorepoでの開発環境を整えようとしている方、特に少人数での運用を考えてる方の参考になれば嬉しいです。 TL;DR SouzohではPoetry, Bazel, VertexAI Pipelinesで快適なMonorepo開発環境を実現
Google Cloud Service Health Incidents Multiple Google Cloud services in the europe-west9-a zone are impacted Service Health This page provides status information on the services that are part of Google Cloud. Check back here to view the current status of the services listed below. If you are experiencing an issue not listed here, please contact Support. Learn more about what's posted on the dashbo
Cloud Dataflow で実現する柔軟なデータパイプライン - スタディサプリ Product Team Blog
はじめに こんにちは、@shase です。 スタディサプリでは、データパイプラインのツールとして、従来 AWS Kinesis Stream や、Embulk や、AWS Lambda などがよく使われてきました。 ただ、現在開発中のプロジェクトでは、システム間の連携の為、Cloud Pub/Sub が多用されているということもあり、データパイプライン Cloud Pub/Subとの親和性が高いCloud Dataflowを一部取り入れています。 本記事では Cloud Dataflow 自体は詳述しませんが、簡単に説明させていただくと、Cloud Dataflowとは、GCP が提供するマネージドな Apache Beam の実行環境になります。 Cloud Dataflow のメリット Cloud Dataflow（Apache Beam）には、以下のようなメリットを感じています。 ス
はじめに これは ドリコム Advent Calendar 2021 の24日目です。 23日目は AnD00 さんの プロジェクトの行動規範を作ってチームの理想を描いてゆく です。 弊社内ではユーザの主要なデータの保存先としてRDBが使われるケースが多く、NoSQLを中心としたシステムを開発した経験のあるエンジニアが限られています。しかし新たなシステムを開発するとき選択肢としてNoSQLを選べることは有用だと思われるので、NoSQLを選択したときどのような課題があるか調査し、対策を検討しておくことにしました。 大小様々な課題があることは想像できますが、本稿ではAmazon DynamoDBのスキーマ設計に焦点を当て、実際に設計して直面した課題と、その解決方法を紹介します。 対象読者 RDBを使ったアプリの開発／運用経験があり、DynamoDBを使ってみたい人 背景 冒頭の通り、社内ではR
Google Dataflow を使ってコーディング無しでテキストファイル内に出現する単語をカウントしてみた | DevelopersIO
こんにちは、みかみです。 データアナリティクス事業本部に所属しています。 GCP のデータ分析基盤関連でよく聞く Google Dataflow。 設定などの手間が必要なく、オートスケーリングな並列分散処理をしてくれるデータパイプラインが簡単に構築できるらしいとのことですが、実際に使ったことがなかったので、触ってみました。 やりたいこと Google Dataflowをさわってみたい Dataflowを使うにはどうすればよいのか知りたい 前提 本エントリでは、Dataflow を実際に動かしてみるために、Python を使用したクイックスタートを実行して、指定したテキストファイル内に出現する単語の数をカウントしてみます。 動作確認には Cloud Shell を使用します。 Cloud Shell には Google Cloud SDK などの基本的な環境はインストール済みのため、Pyth
Spotify Unwrapped: How we brought you a decade of data | Labs
The Spotify Wrapped Campaign is one of Spotify’s largest marketing and social campaigns of the year. It enables our users to see a detailed breakdown of their listening habits over the past year. Since 2019 was the end of the decade, we wanted to do something special for our users. As one of the few streaming platforms that has existed since before 2010, Spotify had a unique opportunity to be able
GCP入門［第3回］ストレージとデータベース
GCPのストレージサービスは、前回取り上げた、仮想マシンの永続ディスクに加え、「Google Cloud Storage（以下、Cloud Storage）」がある。データベース（DB）のサービスとしては、「Google Cloud Bigtable（以下、Cloud Bigtable）」「Google Cloud Datastore（以下、Cloud Datastore）」「Google Cloud SQL（以下、Cloud SQL）」「Google Cloud Spanner（以下、Cloud Spanner）」の4種がある（表1）。 最初に、仮想マシンの永続ディスクを除いて、これらのサービスを簡単に説明する。 Cloud Storageは、Amazon S3相当のオブジェクトストレージである。S3との違いは、独自のCDN（Content Delivery Network）機能（AWS
[ GCP ] メガネと学ぶ GCP (8) ストレージ・サービスの特徴を知る | Wild Data Chase -データを巡る冒険-
こんばんは、七色メガネです。 今回は Google Cloud Platform (以下,GCP) で提供されるストレージ・サービスについて勉強したことをまとめます。 GCP(Google Cloud Platform) ってなに？ こちらの記事でまとめているので、お時間あればご参照ください。 [ GCP ] メガネと学ぶ Google Cloud Platform (1) GCPって何ぞや？ ストレージ・サービスの全体像 GCPではユーザの目的に合わせた様々なストレージ・サービス（一般的なDBの立ち位置に在るもの）が提供されています。 どのサービスを選択すれば良いのか、と言う点について公式ドキュメントでフローが公開されています。 Firebase はまだベータ版なので選定から外すとすると、注目すべきフロー分岐は次のようなものになります。 扱うデータは構造化されているか？（構造化されていな
![[ GCP ] メガネと学ぶ GCP (8) ストレージ・サービスの特徴を知る | Wild Data Chase -データを巡る冒険-](https://cdn-ak-scissors.b.st-hatena.com/image/square/53dd2ad3305ef25c1cb0c225b6e1a8d2711ec0cd/height=288;version=1;width=512/http%3A%2F%2F35.200.14.143%2Fwp-content%2Fplugins%2Fall-in-one-seo-pack%2Fimages%2Fdefault-user-image.png)
ピクシブ株式会社は2022年11月24日、pixivに運用型配信広告が簡単に出稿できる「pixiv Ads」をリリースしました。pixiv Adsは完全自社開発のセルフサーブ型の運用型広告プラットフォームです。実現にあたっては実に二年以上の歳月をかけて、数々の技術的挑戦を行ってきました。 本日はpixiv Adsの技術を支えるエンジニア4名から、特に大きな取り組みを中心に技術発表させていただきます。 pixiv Adsを支えるエンジニアの自己紹介 takashi：2021年5月入社のtakashi（たかし）です。アドプロダクト部で、インフラ・バックエンド・フロントエンドを一貫して設計・開発・運用を行っています。 toki：アドプロダクト部で2022年3月からアルバイトをしているtoki（とき）です。インフラを含めた配信基盤に関わることが多いです。 mytk：2018年4月入社のmytk (
Google Cloud bigtable(emulator)をgoから - t.marcusの外部記憶装置
ローカルでbigtable-emulator動かして、goでCRUDしてみるテスト // Bigtable example by go. // // Install library // $ go get cloud.google.com/go/bigtable // // Start bigtable emulator by docker // $ docker run -it -p 8080:8080 spotify/bigtable-emulator:latest // // Need to set Environment variable // BIGTABLE_EMULATOR_HOST="127.0.0.1:8080" // // Reference URL) // https://cloud.google.com/bigtable/docs/samples-go-hello
Neo4j+pythonで特定の条件で繋がっているサブグラフを抽出する - rinoguchiのメモブログ
やりたいこと なぜグラフDBを利用するのか Neo4jのインストール brew でインストールする場合 docker-compose を利用する場合 管理画面表示 サンプルグラフでお試し サンプルデータ削除する 管理画面でやりたいことを実現 データ登録 データ抽出 pythonでやりたいことを実現 neo4j-driverをインストール Neo4jアクセス用のクライアントラッパーを作成 データをCSVロードで登録 実際のデータを取得 感想 後日談 ハマったこと①：CSVロードが意外に大変 ハマったこと②：リレーション数が多いと結果が返ってこない [参考] メモリはどれぐらい使うか [参考] Communityエディション or Enterpriseエディション やりたいこと 候補ノード（約1億件）と候補同士のリレーション（約100億件）をneo4jに登録して、特定の条件で繋がっているサブグ
アドテク本部の成尾です。 今回、GraphDBについて検証したので少しでも参考になればと思い公開してみます。 経緯 とあるプロダクトでOrientDBのCommunity Editionを利用しているのですが Writeの性能が予想よりも出ていない事、新しい製品も数多く出てきている事から 検証をしてほしいという声があがり検証する事となりました。 Graphとは、VertexとEdgeで構成されます。 多くのGraphDBは、上記のVertex, EdgeにPropertyを保持できるProperty Graphを扱います。 例えば Vertexとして人 VertexのPropertyとしてその人の名前や年齢を持ち それぞれの人がfriendという関係のEdgeで相互につながっていて EdgeのPropertyとして知り合った日を持っているという関係性を保持する場合以下のようになります。 G
Google Cloud Service Health Incidents Multiple services are being impacted globally within Google Cloud Service Health This page provides status information on the services that are part of Google Cloud. Check back here to view the current status of the services listed below. If you are experiencing an issue not listed here, please contact Support. Learn more about what's posted on the dashboard i
Google Cloud Service Health Incidents Multiple Cloud products experiencing elevated error rates, latencies or service unavailability in europe-west2 Service Health This page provides status information on the services that are part of Google Cloud. Check back here to view the current status of the services listed below. If you are experiencing an issue not listed here, please contact Support. Lear
フィードバックを送信 Bigtable を使用して GKE で JanusGraph を実行する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 グラフ データベースは、データ エンティティとその間の関係をモデリングすることで、分析情報を得るために役立ちます。JanusGraph は、大量のデータを扱うことをサポートするグラフ データベースです。このチュートリアルでは、オーケストレーション プラットフォームとして Google Kubernetes Engine を使用し、ストレージ バックエンドとして Bigtable を使用して、Google Cloud で JanusGraph を実行する方法について説明します。このチュートリアルは、ストレージ バックエンドとしてマネージド データベースを使用し、Google Cloud で JanusGraph の
Cloud Bigtable + Cloud Memorystore: 組み合わせて高速化 | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 3 月 13 日に、Google Cloud blog に投稿されたものの抄訳です。 要約: 頻繁にクエリされるデータに Memcached を使用して、アプリケーションのパフォーマンスを向上させます。たとえば次のように使用します。 MemcachedClient mcc = new MemcachedClient(new InetSocketAddress(memcachedIP, 11211)); Object value = mcc.get(rowId); if (value != null) { System.out.println("Value fetched from cache: " + value); } else { // Read row from database (Pseudocode) Row row = dataClient.
Professional Cloud Architect 模擬問題集（2020.02.07） : Cloud Smog
※ 他の問題集は「タグ：Professional Cloud Architect の模擬問題集」から一覧いただけます。 本模擬問題集は「Professional Cloud Architect Practice Exam (2020.02.07)」を日本語翻訳した模擬問題集です。 Google Cloud 認定資格 – Professional Cloud Architect 模擬問題集（全100問）QUESTION 1この質問については、JencoMart のケーススタディを参照してください。 JencoMart のセキュリティチームは、すべてのGoogle Cloud Platform インフラストラクチャが運用リソースと開発リソースの分離した最小限の権限モデルを使ってデプロイされていることを望んでいます。 どのGoogle ドメインとプロジェクト構造をするべきでしょうか？ A. ユー
Wunderkind 社が Google Cloud を使用して毎秒 20 万件までリクエストをスケールアップした方法 | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 7 月 15 日に、Google Cloud blog に投稿されたものの抄訳です。 編集者注: マーテック プロバイダである Wunderkind 社が、複数のユースケースにおいて Cloud Bigtable と他の Google Cloud データ ソリューションを使用して、顧客増加に伴い拡大していく需要に容易に対応した方法についてお話を伺いました。 Wunderkind はパフォーマンス マーケティング チャネルであり、主に 2 種類のお客様を抱えています。1 つはオンライン小売業、もう 1 つはギズモード メディア グループ、リーダーズ ダイジェスト、ニューヨーク ポストなどのニュース メディアです。小売業のお客様にはメール、SMS、オンサイト、広告向けに設計されたリアルタイム メッセージ ソリューションを提供し、e コマースの収益増加をお手伝
aws-mwaa-local-runnerのAirflowバージョンをカスタマイズする | DevelopersIO
こんにちは、八木です。 MWAAは最小構成でも1時間あたり0.49USDかかってしまうため、検証のハードルが高くなってしまいます。 そんな時に便利なのが aws-mwaa-local-runner です。 aws-mwaa-local-runner はAmazon Managed Workflows for Apache Airflow（MWAA）をローカルでシミュレーションするCLIツールです。このツールを利用することで簡単に技術検証が行えます。 中身はシェルスクリプトで記述されており、MWAAをシミュレーションするDockerイメージのビルド、コンテナの立ち上げ等を行います。 利用方法は公式のREADMEや以下の記事をご覧ください。 aws-mwaa-local-runner はシンプルな作りのため、シェルスクリプト及び Docker の知見がある方は比較的簡単にカスタマイズできます。
第3回：マーケティング担当のためのBigQuery入門 ～分析データの準備～ | 株式会社AZ(エーズィー) - デジタルマーケティング・WEBマーケティング・DX
前回、BigQueryの基本設定が完了しましたので、今回は、実際にBigQueryにデータを入れていく方法をご紹介いたします。 BigQueryのアカウント構造BigQueryのアカウント構造は、プロジェクト、データセット、テーブルという階層になっています。 データセットは、複数のテーブルを格納しており、テーブルにはデータを格納することになります。 プロジェクトの作成では、早速プロジェクトの作成の作成方法を進めていきます。 前回、設定が完了した「BigQuery」のアカウント画面を開いてください。 画面上部にある「プロジェクトの選択」の項目をクリックしてください。 すると、新たなウィンドウが開きますので、ウィンドウの右上にある「新しいプロジェクト」をクリックしてください。 プロジェクト名を決める画面に移行しますので、プロジェクト名を記入してください。 その下に小さくプロジェクトIDを編集で
GCP データ分析関連プロダクト8個まとめ GCP（Google Cloud）ではデータの分析に関する様々なプロダクトを提供しています。これらのサービスを利用することで、膨大な量のデータを収集、保存、処理、分析し、ビジネス上のインサイトを得ることができます。 本記事では GCP のデータ分析に関する 8 つのプロダクトについて概要やメリット、機能、ユースケースなどを解説いたします。 また、Amazon の AWS や Microsoft の Azure も同様にデータ分析関連プロダクトを提供しており、GCP の各プロダクトと類似する AWS や Azure のプロダクトについても紹介していきます。ぜひ、クラウドコンピューティング活用の際の参考にしていただけましたら幸いです。 1.BigQuery（ビッグクエリ） BigQuery は、GCP のクラウドベースのデータウェアハウスサービスです
Introducing Google Cloud Platform GCP Fundamentals: Core Infrastructure https://youtu.be/uOTy_0gXf7I を学習して、興味深いなあと感じた点について、備忘録としてまとめたいと思います。 普段、こういった基礎の基礎といったところは飛ばしがちなので、この機会に復習がてらまとめてみました。 星マークが付いているのが特に興味深かった点です。 Cloud computingとは 普段そんなに気にしたことがなかったですが、定義がキチンとあるみたいで、この機会になんたるか、を復習しておきたいと思います。 米国国立標準技術研究所（National Institute of Standards and Technology）が提唱するクラウドコンピューティングの定義によると、5つの基本属性があります。 ①顧客はコ
Google Cloud Platform Fundamentals: Core Infrastructure 日本語版 受講まとめ - Qiita
Google Cloud Platform Fundamentals: Core Infrastructure 日本語版 受講まとめcourseraGoogleCloud 受講前に たくさん出てくるので知っておくべき用語 プロビジョニング: 必要に応じてネットワークやコンピューターの設備などのリソースを提供できるよう予測し、準備しておくこと レイテンシ： 遅延 GCPのリージョンとゾーン Compute Engineを使ってGCPでVMを起動するとVMは指定したゾーンで稼働する。 ゾーンはGCPデータセンターのように 思われているが、正確にはそうではない。 （ゾーンは１つの建物と 対応するわけではないから） ただしそのように見ても構わない 環境に対する責任 2007年以来 Googleは100％カーボンニュートラル。近いうちにデータセンターの電力は100％再生可能エネルギーになる。 GCP
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
メルカリShopsを支えるMonorepo ML開発環境 | メルカリエンジニアリング
Google Cloud Service Health
DynamoDBをゲームアプリで使う際の課題と対策（前編） - Tech Inside Drecom
【前編】完全自社開発の広告システム、pixiv Adsを支える技術を大公開 - pixiv inside
GraphDBを検証してみたら予想よりも辛かった | | AI tech studio
Google Cloud Service Health
Google Cloud Service Health
Bigtable を使用して GKE で JanusGraph を実行する | Google Cloud
GCP データ分析関連プロダクト8個まとめ | クラウドエース株式会社
Google Cloudの概要の基礎を学ぶ - Qiita