この記事は、第2回ウェブシステムアーキテクチャ研究会の予稿です。 ウェブシステムをモニタリングするために、高可用性、高書き込みスケーラビリティ、メトリックの長期保存が可能な時系列データベースが求められている。 これらを実現するために、性能特性の異なる汎用Key-Value Store(以下KVS)を組み合わせ、透過的に問い合わせ可能な、ヘテロジニアス時系列データベースであるDiamondを開発した。 この記事では、Diamondを分散システムの観点で捉え、アーキテクチャ、データ構造、実装を紹介し、考察によりFuture Workを議論する。 1. はじめに 2. アーキテクチャ アーキテクチャ概要 動作フロー データ構造 KVSの機能要件 3. 実装 実装概要 KVS間のデータ移動 データ位置の解決 費用特性 4. 考察と今後の課題 Diamondの欠点 将来機能 5. まとめ スライド
ビッグデータ処理データベースの全体像と使い分け
2018年version
ビッグデータ処理データベースを分類し、2018/9時点で最新のプロダクトを紹介しています。Read less
Announcing Google Cloud Bigtable: The same database that powers Google Search, Gmail and Analytics is now available on Google Cloud Platform
Product updates, customer stories, and tips and tricks on Google Cloud Platform
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「元AWSエンジニアがGoogle Cloud Professional Cloud Architectを取得した話」を読んでいただいた方々、ありがとうございます。 こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「PostgreSQLのメモリアーキテクチャを知る」を読んでいただいた方々、ありがとうございます。先日、Google Cloud のProfessional Cloud Architect(以下PCA)を取得する機会があったので今回はその合格までの道のりについてお話しいたします。きっかけきっかけとなったのは、Google Cloudが主催している特別トレーニング「G.I.G.」に参加する機会が巡ってきたことです。GMOアドマーケティングに入社して約1年が経つと
Send feedback Stay organized with collections Save and categorize content based on your preferences. BigQuery is a fully managed, AI-ready data platform that helps you manage and analyze your data with built-in features like machine learning, search, geospatial analysis, and business intelligence. BigQuery's serverless architecture lets you use languages like SQL and Python to answer your organiza
Google、HBase API互換のCloud Bigtableを公開、Googleの基盤で使われてきたNoSQLデータベースが利用可能に。Cloud Datastoreとの違いは？
Googleは5月6日、10年以上にわたりGoogleのほとんどの重要なアプリケーションを稼働させてきたNoSQLデータベースのBigtableを、クラウドサービスの「Google Cloud Bigtable」として公開しました。 Cloud BigtableはフルマネージドのスケーラブルなNoSQLデータベースで、高い性能が特長。大規模なデータ収集、分析などに向いているとされています。 HBase APIでアクセス可能なためHadoopのエコシステムを活用でき、またGoogleのBigQueryやDataflowといった既存のサービスとも連係。 Bigtableの上にDatastoreが構築されている GoogleはすでにマネージドなNoSQLデータベースとして「Google Cloud Datastore」を提供しています。BigTableとDatastoreはどう違うのでしょうか？
Send feedback Stay organized with collections Save and categorize content based on your preferences. Introduction to AI and ML in BigQuery BigQuery ML lets you create and run machine learning (ML) models by using GoogleSQL queries. It also lets you access Vertex AI models and Cloud AI APIs to perform artificial intelligence (AI) tasks like text generation or machine translation. Gemini for Google
Fastly の導入事例 : 履歴統計 DB を MySQL から Cloud Bigtable にダウンタイムなしで移行 | Google Cloud 公式ブログ
Fastly の導入事例 : 履歴統計 DB を MySQL から Cloud Bigtable にダウンタイムなしで移行 （この記事では、米 Fastly から許可をいただき、先日同社が公開したブログ記事 How we moved our Historical Stats from MySQL to Bigtable with zero downtime の日本語訳を掲載します） - By Toru Maesaka, Senior Software Engineer at Fastly 過去から学ぶことは意思決定に不可欠なステップの 1 つです。私たち Fastly は、お客様が過去のイベントに基づいて迅速かつ的確に決定を行えるよう支援するため、Historical Stats API を提供しています。この API を使用すれば、分や時間、日単位でキャッシュに関するあらゆる統計情報を取
Send feedback Stay organized with collections Save and categorize content based on your preferences. BigQuery public datasets A public dataset is any dataset that is stored in BigQuery and made available to the general public through the Google Cloud Public Dataset Program. The public datasets are datasets that BigQuery hosts for you to access and integrate into your applications. Google pays for
この記事について Google Cloud Platform Japan Blog では日々様々な情報が発信されています。新サービスの発表、事例紹介だけでなく、ポイントを分かりやすく説明した資料、網羅的で重厚な資料、Google の謎テクノロジーについての紹介など、役立つ情報が豊富！ ただ、情報量がとてつもなく多いので、分野ごと、項目ごとに整頓して、後で目当ての記事をすぐ見つけられるようにしたいと思い、この記事を書きました。 今年は Google Cloud Platform 10 周年と節目の年。改めて記事を掘り起こしてみると、新たな発見があるかも知れません。 また、時代ごとの変遷を感じ取れる資料として、記事後半にはサービスが公開された時期を年表にしたもの、Google が公開している論文リンク集も付録として作成しました。 各分野の記事 サービス全体を俯瞰する記事 Google Clou
Packages by categoryCategories: (5), "Distributed Computing" (1), - (1), .NET (9), Accelerate (27), Accessibility (4), ACME (55), Actors (2), Adjunctions (2), ADSB (5), Aerospace (11), Aeson (4), Agda (1), AI (82), Algebra (61), Algebra Uniform (1), Algorithm (8), Algorithm Visualization (2), Algorithmic Music Composition (1), Algorithms (135), Amazon (1), Amqp (1), Anatomy (1), Animation (6), AN
Google、Google検索やGmailなどに利用されているデータベースを「Google Cloud Bigtable」として提供
「Google Cloud Bigtable」は、Google検索やGmail、Google Analyticsなど、Googleにおけるさまざまなサービスに使用されているデータベース。巨大なデータの取り扱いに対応し、金融、広告、エネルギー関連、医療、広域コミュニケーションなど、エンタープライズ／データ分析用途に適している。 パフォーマンスは非常に高く、他のNoSQLシステムとの比較では、単位金額あたりで2倍のスループットを実現する。さらに、レイテンシもはるかに小さい。 オープンソースのApache HBase APIを通じたアクセスが可能なので、既存のビッグデータシステムやHadoopとの相性がよく、Googleのビッグデータ関連製品もサポートする。また、既存のHBaseクラスタから容易にデータをインポートできる。 完全なマネージドサービスなので、維持・管理にかかるコストの削減が可能で、
「Google Cloud Bigtable」公開で変わること--グーグルの主力サービス支えるNoSQLデータベース
「Google Cloud」のコストを安く設定するだけでは十分な競争力を発揮できなかった。しかし、Googleの内部テクノロジにアクセスできるというのであれば話は違ってくる可能性がある。本記事では、「Google Cloud Bigtable」のメリットと課題について解説する。 Googleはクラウド分野でその潜在能力を生かし切れていなかった。しかし、その状況がようやく変わろうとしているのかもしれない。 「Amazon Web Services」（AWS）と「Microsoft Azure」がクラウドコンピューティング市場のシェアの多くを握っている一方、Googleはほとんど動きを見せず、「Google Cloud Platform」が開発者にもたらす利点（特にAWSと比較して）を明確に語れない、もしくは語ろうとしない状況が続いていた。しかし、米国時間5月6日に発表されたGoogle Cl
Dear Google Cloud: Your Deprecation Policy is Killing You
God dammit, I didn’t want to blog again. I have so much stuff to do. Blogging takes time and energy and creativity that I could be putting to good use: my novels, my music, my game, and so on. But you get me riled enough, and I have to blog. Let’s get this over with, then. I’ll begin with a small but enlightening story from my early days at Google. For the record, I know I’ve said some perhaps unk
Prometheusベースの大規模クラウド向けメトリクス収集システム「Cortex 1.0」リリース | OSDN Magazine
米Grafana Labsは4月2日（米国時間）、Prometheusをベースとするメトリクス（統計情報）収集システム「Cortex 1.0」を公開した。長期間にわたる統計情報の収集や分析をサポートするもので、キャパシティプランニングなどにも活用できる。 Grafana Labsは「Grafana」などのオープンソースプロジェクトを展開する企業で、Cortexには貢献企業として関わっている。CortexはGrafana Labsの開発者らがスタートしたプロジェクトで、2018年にCloud Native Computing Foundation（CNCF） Sandboxプロジェクトとして採用された。 Cortexはモニタリング技術Prometheusをベースに、大規模クラスタへの対応や取得した統計データのクラウドストレージ上への保存といった機能を追加したもの。データの自動複製や配信を行う
株式会社リクルートライフスタイルの導入事例： Google Cloud Bigtable などの Google 最新機能を駆使して、リアルタイム分析のコストを 10 分の 1 に。
Google Cloud Platform (Google App Engine, Compute Engine, BigQuery や Container Engine など）の情報の日本公式ブログ
Fastly の導入事例 : 履歴統計 DB を MySQL から Cloud Bigtable にダウンタイムなしで移行 | Google Cloud 公式ブログ
Fastly の導入事例 : 履歴統計 DB を MySQL から Cloud Bigtable にダウンタイムなしで移行 （この記事では、米 Fastly から許可をいただき、先日同社が公開したブログ記事 How we moved our Historical Stats from MySQL to Bigtable with zero downtime の日本語訳を掲載します） - By Toru Maesaka, Senior Software Engineer at Fastly 過去から学ぶことは意思決定に不可欠なステップの 1 つです。私たち Fastly は、お客様が過去のイベントに基づいて迅速かつ的確に決定を行えるよう支援するため、Historical Stats API を提供しています。この API を使用すれば、分や時間、日単位でキャッシュに関するあらゆる統計情報を取
Migrating MySQL Stats to Bigtable with no downtime | Fastly
Migrating MySQL Stats to Bigtable with no downtime | FastlyLearning from the past is an essential step in decision making; at Fastly, we offer our Historical Stats API to help customers make quicker and better decisions based on past events. This API enables you to retrieve historical caching statistics by the minute, hour, and day, offering key insight into events and informing future decisions.
Send feedback Stay organized with collections Save and categorize content based on your preferences. User-defined functions A user-defined function (UDF) lets you create a function by using a SQL expression or JavaScript code. A UDF accepts columns of input, performs actions on the input, and returns the result of those actions as a value. You can define UDFs as either persistent or temporary. You
BigQuery は、AI に対応したフルマネージドのデータ分析プラットフォームで、データから最大限の価値を引き出すのに役立ちます。また、マルチエンジン、マルチフォーマット、マルチクラウド向けに設計されています。 1 か月あたり 10 GiB のデータを保存し、最大 1 TiB のクエリを無料で実行できます。新規のお客様には、BigQuery やその他の Google Cloud プロダクトでご利用いただける無料クレジット $300 分を差し上げます。
こんにちは！SouzohのMLチームでSoftware Engineerをしているwakanaです。 SouzohのMLチームは2021年4月にスタートし、ちょうど2年が経ちます。当時1人だったメンバーも、今では4人になり、レコメンデーションを中心に5, 6個の機能を提供するようになりました。MLOpsも成熟し、より新しく高度なML機能開発に集中して取り組める環境が整ってきていると感じています。 そこでこの記事では、立ち上げから2年たった今SouzohのPython, ML環境がどのようになっているか紹介しようと思います。これからPythonやMLのMonorepoでの開発環境を整えようとしている方、特に少人数での運用を考えてる方の参考になれば嬉しいです。 TL;DR SouzohではPoetry, Bazel, VertexAI Pipelinesで快適なMonorepo開発環境を実現
*利用料金は東京リージョン（asia-northeast1）で計算。 また、どのクラスも共通して以下をサポートしています。 同じツールと API を使用したデータへのアクセス (XML API、JSON API、gsutil ツール、GCP Console、クライアント ライブラリ) 同じ OAuth と詳細なアクセス制御によるデータの保護 高い耐久性（99.999999999%(イレブン9)の持続性が維持されるように設計されている。） 低レイテンシ（最初のバイトの転送時間は一般的に数十ミリ秒） 保存時の暗号化を使用した同じデータ セキュリティ ■パフォーマンス バケットの初期の IO 容量は、およそ毎秒 1,000 件の書き込みリクエストと 5,000 件の読み取りリクエストです。 これは、1 MB のオブジェクトについて 1 か月の平均が 2.5 PB の書き込みと 13 PB の読み
デジタル トランスフォーメーションを加速 お客様がデジタル トランスフォーメーションに乗り出したばかりでも、あるいはすでに進めている場合でも、Google Cloud は困難な課題の解決を支援します。
Send feedback Stay organized with collections Save and categorize content based on your preferences. Enable the BigQuery sandbox The BigQuery sandbox lets you explore limited BigQuery capabilities at no cost to confirm whether BigQuery fits your needs. The BigQuery sandbox lets you experience BigQuery without providing a credit card or creating a billing account for your project. If you already cr
Google Colaboratoryを使ってみた 今年はじめに以下のようなニュースがでていました。気にはなっていたのですが試す時間がなかったので試してみました。 Google Colaboratoryが正しいのかGoogle Colabが正しいのか… Ummmm, Colab now lets you use GPUs to accelerate your notebooks? In the cloud? For free? 😍🤓😍🤓😍🤓 Step-by-step how to: https://t.co/CENGVweaTy— Rachael Tatman (@rctatman) 2018年1月19日 控えめに言ってもすごすぎ。その他のプラットフォームを殺すつもりできてるのかと思いました。 以下に説明というか、FAQページのリンクを貼っておきます。 Colaboratory
Google systems guru explains why containers are the future of computing
As a professor at the University of California, Berkeley, Eric Brewer devised the CAP theorem — a governing concept in the design of distributed systems — and co-founded web-search pioneer Inktomi. In this interview, Brewer, now vice president of infrastructure at Google, explains why the work he’s doing on application containers could be at least as big as cloud computing and how the CAP theorem
Google Cloud Service Health Incidents Multiple Google Cloud services in the europe-west9-a zone are impacted This page provides status information on the services that are part of Google Cloud. Check back here to view the current status of the services listed below. If you are experiencing an issue not listed here, please contact Support. Learn more about what's posted on the dashboard in this FAQ
BigQuery では COUNT(DISTINCT(X)) ではなく EXACT_COUNT_DISTINCT(X) を使おう - Qiita
BigQuery では COUNT(DISTINCT(X)) ではなく EXACT_COUNT_DISTINCT(X) を使おうBigQuery 以前、COUNT(DISTINCT(X)) の代わりに GROUP BY して COUNT(X) しようという記事を書きました。 BigQuery で COUNT(DISTINCT(X)) を使わない方が良い理由 が、今は時代が変わりました。BigQuery にいつの間にか、EXACT_COUNT_DISTINCT() 関数が追加されたのです！ Returns the exact number of non-NULL, distinct values for the specified field. For better scalability and performance, use COUNT(DISTINCT field). さらに non
Send feedback BigQuery release notes Stay organized with collections Save and categorize content based on your preferences. This page documents production updates to BigQuery. We recommend that BigQuery developers periodically check this list for any new announcements. BigQuery automatically updates to the latest release and cannot be downgraded to a previous version. You can see the latest produc
BigQueryでクエリを書く時に、クエリの書き方によって実行時間を高速化できたり処理するバイト数を節約したりできます Googleが公式でBigQueryのベストプラクティス集(今はまだ未翻訳)を公開してくれているので、そのうちのクエリを書く時周りのノウハウを簡単にまとめておきます。別々のページの内容なので重複があったら端折ったりしています 誤訳や解釈の誤りがあったらコメントなどで教えてください BigQueryのベストプラクティス(クエリ編) 入力されるデータの量を減らす SELECT *を避ける 日付でパーティショニングされたテーブルの場合必要なパーティションだけを指定する 可能な限り非正規化されたデータで扱う 外部リソースを入力にするのは高速ではない テーブル名をワイルドカードで指定するときは必要なテーブルだけを指定する 通信の最適化 JOINする前にデータの量を減らす WITH句
Accelerate your digital transformation Whether your business is early in its journey or well on its way to digital transformation, Google Cloud can help solve your toughest challenges.
Send feedback Stay organized with collections Save and categorize content based on your preferences. Introduction to loading data This document provides an overview of loading data into BigQuery. Overview There are several ways to ingest data into BigQuery: Batch load a set of data records. Stream individual records or batches of records. Use queries to generate new data and append or overwrite th
Send feedback Stay organized with collections Save and categorize content based on your preferences. BigQuery IAM roles and permissions This document provides information on Identity and Access Management (IAM) roles and permissions for BigQuery. IAM lets you grant granular access to specific BigQuery resources and helps prevent access to other resources. IAM lets you apply the security principle
Learn how YouTube uses Bigtable to power one of the world’s largest streaming services.
グーグル、「Cloud IoT Core」を一般提供
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Googleは米国時間2月21日、IoTデバイスの接続や管理を行う「Google Cloud IoT Core」の一般提供を開始したと発表した。公開ベータ版は2017年9月に公開されていた。 同社は2017年5月、NXP Semiconductorsのサポートを得て、スマートシティや、電力をはじめとする公共事業、運輸業界を対象とするCloud IoT Coreを発表した。顧客は同サービスを、「Google Cloud Pub/Sub」や「Google Cloud Dataflow」「Google Cloud Bigtable」「Google BigQuery」といった、データアナリティクス向けの「Google Cloud」サービスととも
Pokémon GO with Edward Wu, Director of Software Engineering at Niantic
Pokémon GO with Edward Wu, Director of Software Engineering at Niantic We’re back! And we’re bringing a seriously cool interview about Pokémon GO with Edward Wu, Director of Software Engineering at Niantic. In this interview your co-hosts Francesc and Mark chat with Ed about the whole history of Pokémon GO, from the inception of Niantic to the amazing success and the scaling challenges they faced.
gRPC Go GothamGo 2015 Sameer Ajmani Tech Lead Manager, Go team, Google Video This talk was presented at GothamGo in New York City, October 2015. Watch the talk on YouTube 2 RPC isn't just Remote Procedure Call In Go, an RPC starts a goroutine running on the server and provides message passing between the client and server goroutines. Unary RPC: the client sends a request to the server, then the se
【初心者向け】GCPのデータ処理で必須かも！？Dataflowで初めてのパイプライン処理｜ 開発者ブログ ｜ 株式会社アイソルート
ホーム> 開発者ブログ> 【初心者向け】GCPのデータ処理で必須かも！？Dataflowで初めてのパイプライン処理... 【初心者向け】GCPのデータ処理で必須かも！？Dataflowで初めてのパイプライン処理 データ分析基盤の構築方法には色々なものがありますが、 GCP(Google cloud Platform)のサービスを利用しているシステムならば、Cloud Dataflowの利用も検討してはいかがでしょうか。 各種GCPのサービス(Cloud Pub/Sub, BigQuery, Cloud Storageなど)とも連携がしやすく、データ量に応じてスケール可能、と強力なデータ処理パイプラインをクラウド環境上に構築することができます。 本記事では、Dataflowの導入となる説明と、GUIでDataflowを使用してパイプライン処理を実装してみるところまでを書きます。 この記事は
Send feedback REST Resource: jobs Stay organized with collections Save and categorize content based on your preferences. Resource Methods Resource There is no persistent data associated with this resource. Methods
Explore the bq command-line tool | BigQuery | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Explore the bq command-line tool The bq command-line tool is a Python-based command-line tool for BigQuery. This page contains general information about using the bq command-line tool. For a complete reference of all bq commands and flags, see the bq command-line tool reference. Before you begin Be
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ
AWSエンジニアから見たGCPサービス(DB/ストレージ編)
An Inside Look at Google BigQuery(PDF)
Introduction to AI and ML in BigQuery | Google Cloud
BigQuery public datasets | Google Cloud
Google Cloud Platform ブログの膨大な情報を自分なりに整頓してみた - Qiita
packages by category | Hackage
User-defined functions | BigQuery | Google Cloud
BigQuery エンタープライズ向けデータ ウェアハウス
メルカリShopsを支えるMonorepo ML開発環境 | メルカリエンジニアリング
GCPのストレージサービスについてまとめてみた | クラウドエース株式会社
レガシー SQL 関数と演算子 | BigQuery | Google Cloud
Enable the BigQuery sandbox | Google Cloud
Google Colaboratoryを使ってみた - uepon日々の備忘録
Google Cloud Service Health
BigQuery release notes | Google Cloud
BigQueryで効率的なクエリを書いて高速化する - 唯物是真 @Scaled_Wurm
Pricing | BigQuery: Cloud Data Warehouse | Google Cloud
Introduction to loading data | BigQuery | Google Cloud
BigQuery IAM roles and permissions | Google Cloud
Bigtable Fast & Flexible NoSQL
gRPC Go
REST Resource: jobs | BigQuery | Google Cloud