データ分析基盤まとめ（随時更新）
はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。 あと、この記事追加してっていう要望も歓迎いたします。 テンプレート 記事公開日 : 会社名（サービス名） データソース : データ処理 : アウトプット : 画像 URL 2025年 2024/03/14 : 株式会社エス・エム・エス（カイポケ） データソース : Amazon Aurora データ処理 : Datastream、BigQuery、dbt アウトプット : Looker Studio 2024/03/12 : 株式会社マイナビ データソース : SQL Server、Amazon S3 データ処理 : Embulk、Amazon MWAA、Apache Airflow、Snowf
StackScript、k8s、Terraformを使って、Linodeで負荷試験環境を自動で構築する方法について、アカマイ・テクノロジーズの岡本英輝氏と佐藤裕行氏が、実際のデモを交えて紹介しました。後半はLinodeを使った負荷試験のデモとQ&Aについて。前半はこちら。 Linodeのメリットが得られやすいユースケースとは？ 佐藤裕行氏（以下、佐藤）：後半は、Linodeのユースケースについて、少し岡本さんと話を進めていきたいと思うんですけども。今回はアプリケーションの負荷試験にフォーカスして、デモなども見せていきます。 その前に、負荷試験以外のサービスでいうと、こういうのに向いているとか、こういうのに向いてそうなところって、なにか感覚として持ってたりしますか？ 岡本英輝氏（以下、岡本）：前半に続いて、ちょっと転送量コストの話ばっかりになってしまうんですけど、やはりアウトバウンド転送量を
BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場
BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場 Google Cloudは、BigQueryに対してMySQLやPostgreSQL、Oracle Databaseからニアリアルタイムで直接データのレプリケーションを可能にする新サービス「Datastream for BigQuery」をプレビューリリースしました。 オンプレミスやクラウドで稼働するMySQLやPostgreSQL、Oracle DatabaseでのOLTPによるデータ操作が、ETLツールなどを挟むことなくほぼリアルタイムでBigQueryに反映されるため、プライマリとなるデータベースのOLTP処理に負荷をかけることなく並行してBigQueryによる大規模データの分析処理が容易になります。 To stay compet
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、次世代データ基盤であるデ
GCPで行動ログ基盤 を開発している話
Google Cloud Next '24 Recap in ZOZO Datastreamを使用したリアルタイムデータストリーミングの紹介 / realtime datastreaming with Datastream
AWSエンジニアから見たGCP(データ分析編)
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「AWS SAPを取得したら視野が広がった話」を読んでいただいた方々、ありがとうございます。今回のテーマは「AWSエンジニアから見たGCP」第2弾として、代表的なGCPのコンピューティング系サービスについてAWSと比較し感じた点についてお話いたします。 (第1弾の記事はこちら↓)IaaSCompute EngineAWSではEC2に相当するサービス。各種インスタンスタイプや提供OSイメージ、インスタンス向けのストレージ機能、オートスケール機能など、インスタンスのアーキテ... DWH BigQuery BigQueryはフルマネージドなサーバレスDWHサービスで、Googleが開発した大規模データ向けの分散システムであるDremelを基にしておりSQLクエリを使用して大規模データの分析を行うことができる。さ
はじめに こんにちは。新規事業のプロダクトマネジメントを担当している taison です。 先日、顧客への請求金額を算出するために日々実行しているデータフローを刷新しました。 その際に Datastream という Google Cloud が提供する CDC サービスを活用したことで、構築・運用が楽になったのでご紹介します。 なお今回は開発にご協力いただいている 株式会社 Rabee の abyssparanoia さんの提案・検証があって実現したので、ここで感謝させていただきます。 全体像 それまではとある BI ツールを活用して、請求根拠となるデータを各内容にあわせて出力するデータフローを組んでいました。 下図のように、プロダクトの RDB（アプリケーションデータ）そのものに直接接続し、BI ツールで生成したクエリを定期的に実行することで要件を満たしていました。 ただ、おかげ様で事業
先日、統計ダッシュボード機能(β)をリリースしました。記事をひとつでも公開している場合、Zennにログインすればどなたでも統計情報を表示できます。執筆頻度の確認や閲覧回数の参考にお役立てください。 本稿ではどのように実現したかについて課題とともに記録します。 TL;DR 投稿ページの表示イベントは Google Analytics から BigQuery へ連携しており、イベントデータ（BigQuery）と記事データ（Cloud SQL）をどうJOINさせるかが課題 外部接続でBigQueryからCloud SQLつなぐことにした 統計データ読み出し時、BigQueryを直接使うとクエリ毎に課金されてしまうため、BigQuery BI Engine を使うことにした スケジュールクエリを使い、BI Engineの容量に収まるように集計データを最小限にまとめる チャートは Chart.js
グーグル・クラウド・ジャパン（Google Cloud）は2021年6月2日、Google Cloudの“データクラウド”戦略および最新のデータ関連サービスに関する記者説明会を開催した。先月発表された3つの新サービス、多様なデータソースを統合分析可能にするデータファブリック「Dataplex」、スケーラブルなリアルタイムデータ複製を可能にする「Datastream」、データのみならずデータ分析の“手法”までを組織間で共有できる「Analytics Hub」が紹介された。 Google Cloudがデータクラウドとして重視している4つのポイント 説明会に出席したGoogle Cloud 技術部長（アナリティクス／機械学習、データベース）の寶野雄太氏はまず、企業におけるDX（デジタルトランスフォーメーション）の取り組みにおいて必須となるデータ活用について、「その実現のためには3つの要素が不可欠
公開日 2024/07/29更新日 2024/07/313フェーズに分けて振り返る atama plus データアーキテクチャ変遷 こんにちは、atama plus株式会社でEngineering Managerや、SRE、データ基盤などplatform系チームのオーナーをしております、前田（ @kzk_maeda）と申します。 atama plusでは「教育に、人に、社会に、次の可能性を。」をミッションに、全国の生徒さんに新しい学習体験を届けるため奮闘しています。 その手段として、AIを用いてパーソナライズされた学習体験を提供しております。その実現のためには生徒さんの学習データを如何に活用していくかは非常に重要な要素です。他にも、データに基づいた意思決定、コンテンツ改善のための指標トラッキング、顧客コミュニケーションなど、様々なところでデータを活用する動きがあり、年々その需要と活用幅は広
特に環境に配慮した Google Cloud リージョンにリソースを配置したいお客様のために | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 7 月 13 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud を選定されたお客様は、その時点で二酸化炭素排出量が実質ゼロとなります。Google は 2007 年に初めてカーボン ニュートラルを達成し、2017 年以来、Google の世界的な年間消費電力の 100% に相当する太陽光エネルギーと風力エネルギーを購入してきました。そして現在、Google は持続可能性に向けた新たな目標の達成を目指しています。それは、2030 年までに地域を問わず 24 時間 365 日カーボンフリー エネルギーで事業を運営するというものです。 Google は、お客様が持続可能性を優先した意思決定を行い、24 時間 365 日カーボンフリーの未来に向けて進んでいけるよう支援したいと考えています。今年に入り、Google
Fireタブレットの制限を突破するためのコマンドを打ち込むことなく様々な変更を加えられるハックツール「Fire Toolbox」（旧名：Amazon Fire Toolbox）がバージョン30.0にアップデートされた。 最近リリースされた第12世代Fireタブレット端末のサポート状況についても開発者が言及している。 「Fire Toolbox V30.0」リリース。 2022年11月18日、XDAフォーラムに開発者Datastream33氏が降臨して「Fire Toolbox V30.0」のリリースを発表した。 この数日前にはFireOS 7.3.2.6がリリースされており、出荷状態へのリセットを懸念した同氏は最初にOTAの制限を推奨。その理由としてはユーザーからの報告を参照してほしいとしている。 Googleサービスについて 次にFire OS 8におけるPlay Servicesに関す
エッジコンピューティングでアクセス集中、パーソナライズ、プライバシー保護の課題を解決 - エニグモ開発者ブログ
エンジニアの木村です。最近は負荷対策のためのリファクタリングやリアーキテクティングのリードや、データ基盤・ML・検索基盤を担当するチームのマネージャーとしてデータ関連の案件に携わっております。 先週、webinar 形式で行われた Akamai TechWeek 2021 Japan にて、6/16 に「EdgeWorkersの導入について」というテーマで、昨年末にバイマに導入したEdgeWorkersというAkamaiのサービスについて講演しました。本ブログでもその内容を共有したいと思います。 スライドはこちらになります。 EdgeWorkers の導入について - Akamai TechWeek 2021 Japan Customer Session エッジコンピューティング導入の背景 導入背景としては、アクセス集中下でもサービス自身のドメインを通じて自らユーザーを追跡し、ファーストパ
1. はじめに Findyでデータエンジニアとして働いている ひらき（hiracky16）です。 この記事ではFindyで取り組んでいるデータ基盤について紹介します。 Findyでは2023年からデータエンジニアを採用し本格的にデータ基盤構築に着手しています。 これまではBigQuery（Google Cloud）を中心としたデータ蓄積・利活用をしていました。 今後もっとデータ分析、機械学習などのデータ利用を加速するためにデータマネジメントが不可欠だと考えており、データエンジニアを採用しています。 まだ1人目のデータエンジニアがジョインしてから半年間くらいの取り組みですが、現時点のアーキテクチャや技術スタック、伸びしろや展望などを記します。 1. はじめに 2. これまでのデータ基盤の伸びしろ 3. 現状のデータ基盤アーキテクチャ 3.1. 本番環境のIaC化と開発環境の準備 3.2. デ
厚切りジェイソン『ジェイソン流お金の増やし方』投資初心者向けの良い本です "Why Japanese people!?" - 時の化石
どーも、ShinShaです。 今回は投資に関する本のご紹介です。 僕はこれまで投資をネガティブに見ていました。 まともな経済成長がない日本では、何をやってもうまくいくはずがない。 しかし最近、ひしひし日本の凋落を感じ、このままではいけないと思うのです。 少しでもお金を効果的に増やす方法はないのか？ そんな中、本屋さんでこの本を見つけました。 ジェイソン氏はシンプルな投資を始めて15年で、家族全員が一生暮らせるお金を投資利益から得られるようになりました。 この本にはわかりやすく投資に関する知識、お金を増やすコツが書いてあります。 これだけやれば貯まるのに…Why Japanese people!? ジェイソン流お金の増やし方 作者:厚切りジェイソンぴあAmazon 投資に関する僕のイメージ この本について 『ジェイソン流お金の増やし方』を読んで ジェイソン氏FIREする ジェイソン流投資法
分析基盤のテーブルと連携方式｜zono
分析基盤においては様々な連携手法があります。 これは、データ量が多いか少ないか、データソースが最新か履歴か、によって変わってきます。 今回は、連携手法を紹介しながら、その連携に必要なテーブルの特徴について話したいと思います。 連携元と連携先のテーブル連携元のテーブルは、最新テーブルになっている場合も履歴テーブル（インサートオンリー）の場合もあります。これはアプリ側の仕様によって異なります。多くの場合は、UPDATEができて、データ量が少なくなる最新テーブルになります。 基本的に連携先のテーブル（データレイクやレイクハウス）は、履歴テーブルになっています。これは、分析する上で時系列データを扱えたり、集計時に多くのデータを扱えることができるためです。 最新テーブルや履歴テーブルの作り方や必要なカラムについての詳細は下記の記事をご覧下さい。 連携方式全件連携全件連携とは、データソースから全てのデ
はじめに アドプラットフォーム事業部でアナリティクスエンジニアをしているucchi-です。 ピクシブは、2022年11月24日に「pixiv Ads」という広告ネットワークをリリースしました。広告主は、pixivに広告を少額予算から簡単に出稿できます。 ads.pixiv.net pixiv Adsのデータ基盤では、大きく分けて以下の課題と向き合っています。 鮮度：広告の配信状況をリアルタイムに見たい クライアントは、ユーザーに広告を届けるため、常にお金を払い続けます。広告配信条件を誤ると、それだけお金を無駄にしてしまうため、少なくとも数十分以内に配信状況を確認できる必要があります 精度：広告の支払い金額は1円の誤差も許さない クライアントは、広告の配信ログから集計した配信実績に基づきお金を支払います。請求金額が絡むため、非常に高い精度のデータ品質が求められます これらの課題に対し、データ
Google Cloud Service Health Incidents Multiple Google Cloud services in the europe-west9-a zone are impacted Service Health This page provides status information on the services that are part of Google Cloud. Check back here to view the current status of the services listed below. If you are experiencing an issue not listed here, please contact Support. Learn more about what's posted on the dashbo
3大クラウドAWS、Azure、GCPの機能を比較したら見えてきたサービスごとの違いと特徴とは？ | 株式会社トップゲート
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
この記事はGMOアドマーケティング Advent Calendar 202219日目の記事です。 こんにちはGMOアドマーケティングのy.yです。 今回は2022/12/06, 07に開催されたGMO Developers Dayで発表をした 『「GMO SSP」のクラウド移行(GCP)、失敗と成功をまとめてみた！』の内容になります。 時間の関係上で発表できなかった内容も少しだけ追加しています。 SSPというのは広告をリアルタイムにWebコンテンツに配信するシステムです。 接続しているDSPやアドネットワークの広告の中で、一番単価が高く ユーザーにマッチした広告をリアルタイムに配信します。 GMOSSPというのはGMOアドマーケティングにて提供している インターネット広告を配信するSSPプロダクトです。 GMOSSPは自社運営にてコンテンツ集客に特化した 広告配信DSPの「ReeMo」と国
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
Cloud Spanner で初期費用を 90% 削減し、オブザーバビリティの向上とより容易なクエリを実現 | Google Cloud 公式ブログ
Cloud Spanner で初期費用を 90% 削減し、オブザーバビリティの向上とより容易なクエリを実現 ※この投稿は米国時間 2021 年 5 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。 ACID トランザクション、SQL サポート、そして非リレーショナル データベースのスケーラビリティと可用性を兼ね備えた強整合性のリレーショナルデータベースとして、Cloud Spanner はすべての主要な市場セグメントで力強い成長を見せています。Spanner を採用していただくお客様が増加するにつれ、「開発、テスト、小規模な本番環境のワークロードをより費用対効果の高い方法でサポートするために、より小さなサイズのインスタンスにも対応させてほしい」というご要望が寄せられるようになっていました。これを受けて、このたび Spanner のインスタンス サイズをより細
お久しぶりです、インフラのいわなちゃんさん(@xcir)です。 弊社は複数のCDNを利用していますが、Akamaiを主に利用しており多数の配信設定(プロパティ)を運用しています。 これまでは新規プロパティはAkamai Control Center(ACC/旧LUNA)で作成していましたが、 今回多数のプロパティを作る必要があり既存も含めてTerraformで運用を行えるようにしたので共有します。 既存プロパティをterrafromでapplyするまで まずは運用は考えずに既存のプロパティのexport/編集/terraform apply/Activateという一連の動作を試してみましょう。 akamai/shellを実行する Akamaiを外部ツールから叩く際にはAPIクレデンシャルが必要なのでこちらを参考に発行して~/.edgercに配置してください。 次にAkamaiの操作環境をど
Datastream for BigQuery でプライベートなCloudSQLをニア・リアルタイムに分析する - Assured Tech Blog
こんにちは！エンジニアのオリバーです。最近、個人で翻訳するときに ChatGPT に英訳、和訳させてみることが多くなってきたこの頃です。 久々に少し長めの技術記事を書かせていただきました。最近のトレンドである（と思っている）多様なデータを素早く安全に Google Cloud Platform (GCP) 上で活用するための記事になっています。記事後半には Terraform のサンプルと一緒に構成の説明がありますので興味ある方は最後まで読んでいただければと思います。 直近、GCP の BigQuery にアプリケーションのデータをニア・リアルタイムで同期できる Change Data Capture (CDC)のマネージドサービス、Datastream for BigQuery を利用する機会がありました。今回使用したデータソースは外部からのアクセスを許可していない構成だったのですが、こ
Get more out of Spanner with granular instance sizing | Google Cloud Blog
Cloud Spanner trims entry cost by 90%, offers sharper observability and easier querying Customers love Cloud Spanner because it gives them the benefits of relational semantics and SQL while also delivering the scale and availability of non-relational databases. Many of these customers want to move even more of their work to Spanner, and have requested smaller instance sizes to support development,
#JAWSDAYS2021 クラウド大運動会、改めピタゴラスイッチ選手権 (JAWS DAYS 2021枠内)に参加してきた | DevelopersIO
AWSチームの鈴木(亮)です。 JAWS DAYS 2021枠内で開催されたクラウド大運動会、改めピタゴラスイッチ選手権に参加する機会がありましたので、レポートさせていただきます。 お題 以下のテーマを実現するAWS構成について、発表させていただきました。 DynamoDBにデータを書き込むHTTPエンドポイント なんでもいいので、S3にデータを書き込む 詳細資料 テンプレ構成例 DynamoDB S3 発表内容 DynamoDB GETリクエストをCloudFrontで受け付け。 リアルタイムログ解析の仕組みでDynamoDBに登録する仕組みを考えました。 構成図 フロー 端末は、DynamoDBに登録するデータをGET引数でCloudFrontに投入 CloudFrontのリアルタイムログをKinesis DataStreamsに転送、Firehose経由でElastiSearchに格
メルケル首相の中国贔屓 ドイツのメルケル首相は中国に甘い事で有名です。 これはトランプ大統領嫌いという側面で捉えられるケースも多いのですが、ドイツという欧州の最重要国の舵取りを任されている彼女が、個人的な好き嫌いで外交政策を決定しているはずはありません。 彼女には彼女なりの理由が有るはずです。 この点について英Economist誌が、「Angela Merkel’s soft China stance is challenged at home（メルケル首相の中国に対する甘い姿勢がドイツでも批判の対象に）」と題して記事を出しましたので、ご紹介したいと思います。 Economistの記事要旨 メルケル首相の対中方針と内外の批判 メルケル首相は、ドイツ経済の中国との絆に常に注意を払ってきました。 彼女が首相に就任してから15年の間に、ドイツの中国への輸出はなんと5倍にふくれあがり、1,000億
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
よりセキュアに！より低コストに！Anthosの概要から検証まで、2020年最新情報を全てお届け | 株式会社トップゲート
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
「このAWSリソース、手動で作った？ CloudFormationで作った？」を調べて解決する | DevelopersIO
AWSで「このとき、どのような動作をするんだろう？」などを確認することが多いため、AWS環境でよく実験します。 手動ポチポチでササッと作ったり、CloudFormationで作ったり、CloudFormationで作ることが目的だったり様々です。 すぐに作って試せるので非常に便利なのです。次のような場面に遭遇する方は多いのではないでしょうか。 見慣れないS3バケット・Lambda関数・Kinesis DataStream・etcがあるぞ？ 実験した際の消し忘れかな。課金対象になる場合もあるし、早く消そう あれ？ このAWSリソース、手動で作った？ CloudFormationで作った？ CloudFormaionで作成したAWSリソースであれば、CloudFormationで削除すると楽ですし、実験で使ったリソース一式が漏れなく消せます。 そのため、CloudFormationで作成したな
オープンロジという物流テック企業でエンジニアをやっている阿部です。オープンロジではデータ基盤の整備を進めており、その第一弾として Datastream for BigQuery を本番導入しようとしています。導入の経緯や、これまでに調査して分かったコトなどを書いていきたいと思います。 トリッキーな挙動になることもありますが、総じて非常に優れたマネージドサービスです。RDB と BigQuery を同期する仕組みとしては、かなり優秀です。まだ、本格的な稼働はしていませんが、いずれオープンロジのデータ基盤の中核を担うシステムになると思っています。 Datastream for BigQuery とは？ MySQL, PostgreSQL などのリレーショナルデータベース (RDB) から BigQuery に準リアルタイムでデータを同期する Google Cloud のサービスです。RDB が
BigQueryを補完する技術: DuckDBとDataflowでのデータ処理入門 - yasuhisa's blog
背景 & Disclaimer DuckDB 概念や代表的なユースケース 使ってみる 1週間〜一ヶ月などある程度の期間、分析で使いたい場合 便利なCLIツールとして使う 所感 参考 Dataflow 代表的なユースケース 具体例 参考 背景 & Disclaimer BigQueryは非常に便利で、BigQueryにさえ上がってしまえばSQLで巨大なデータを簡単に相手にできます とはいえ、BigQueryに行きつくまでが大変な場合もありえます 例: 個人情報を含むsensitiveなデータで、BigQueryに気軽に上げられないケース 一時的であっても、相談なしにその手のデータを気軽にアップロードするのはやめてください... 数万件程度であれば手元のエクセルで開いて、問題ない行/列だけに絞る、ということもできるが、もっと量が多いデータだとそういうわけにもいかない。そもそも分析はSQLでやり
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
ほとんどバッチ処理しか書いたことのない者だがストリーム処理のシステムを開発することになった。 それにあたって独学で調べたことなどまとめておく。 ストリーム処理とは#そもそも “ストリーム処理” とは何を指しているのか。 以下の引用が簡潔に示している。 a type of data processing engine that is designed with infinite data sets in mind. Nothing more. – Streaming 101: The world beyond batch こちらは “streaming system” について述べたものだが、つまり終わりのないデータを扱うのがストリーム処理ということである。 例えば web サービスから生まれ続けるユーザ行動ログを逐次的に処理するというのがストリーム処理。 web サービスが終了しないかぎり
【第5回】 Firebase Authentication を使ってアプリケーションに認証機能を追加しよう【はじめてみよう Firebase】 | 株式会社トップゲート
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
G-gen の杉村です。Google Cloud のフルマネージドな分析用データベースである BigQuery について、徹底的に解説します。当記事は基本編であり、当記事を読み終わったあとは応用編もご参照ください。 概要 BigQuery とは 利用方法 フルマネージド (サーバーレス) 他の Google Cloud サービスとの連携 他クラウドサービスとの連携 料金 料金体系の基本 ストレージ料金 ストレージ料金の基本 Physical Storage と Logical Storage Active Storage と Long-term Storage コンピュート料金 無料枠 オンデマンド課金に制限をかける コンポーネント BigQuery の構成要素 データセット テーブル テーブルとは 標準テーブル 外部テーブル ビュー ビュー (通常) マテリアライズド・ビュー ルーティン
新しいサーバーレスの Datastream で、変更データのキャプチャとレプリケーションを最大限に活用 | Google Cloud 公式ブログ
新しいサーバーレスの Datastream で、変更データのキャプチャとレプリケーションを最大限に活用 ※この投稿は米国時間 2021 年 5 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。 このたび、Datastream のプレビュー版がリリースされたことをお知らせいたします。Datastream は、サーバーレスの変更データ キャプチャ（CDC）とレプリケーションのサービスです。Datastream を使用すると、企業は異種のデータベース、ストレージ システム、アプリケーションの間でデータを確実に、かつ最小限のレイテンシで同期して、リアルタイム分析、データベース レプリケーション、イベント ドリブン アーキテクチャをサポートできます。また、Oracle や MySQL のデータベースの変更ストリームを BigQuery、Cloud SQL、Google
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
MongoDB Releases Queryable Encryption Preview | MongoDB Blog
Today we are announcing the Preview release of Queryable Encryption, which allows customers to encrypt sensitive data from the client side, store it as fully randomized encrypted data on the database server side, and run expressive queries on the encrypted data. With the introduction of Queryable Encryption, MongoDB is the only database provider that allows customers to run expressive queries, suc
VoxEU Column Exchange Rates Industrial organisation International trade Productivity and Innovation Why Japan lost its comparative advantage in producing electronic parts and components Japanese exports in electronic parts and components dramatically fell in value after the Global Crisis and have not recovered until today. This column investigates why Japan lost this comparative advantage. It argu
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
“わずか10分”で「負荷試験環境」の構築が可能に クイックにチェックできる状況をサクッと作れる、Linode活用法
次世代データ基盤：データレイクハウスを Google Cloud で実現する
Google Cloud の CDC サービスを活用した請求フローの構築 - Repro Tech Blog
統計ダッシュボード機能を BigQuery と BI Engine で実装する
Google Cloud、“データクラウド”を構成する新サービス3つを紹介
3フェーズに分けて振り返る atama plus データアーキテクチャ変遷 - Findy Tools
Fireタブレット改造ツール「Fire Toolbox V30.0」リリース、Google Playの続報
Findyデータ基盤のアーキテクチャと技術スタック - Findy Tech Blog
「鮮度」と「精度」を両立させる広告データ基盤のつくり方 - pixiv inside
Google Cloud Service Health
GMO SSPのCloud(Google Cloud Platform)移行の失敗と成功のまとめ
代表取締役の逝去に関するお知らせ（訃報） | 株式会社G-gen（旧 株式会社トップゲート）
TerraformでAkamai配信設定を作ってみる | GREE Engineering
メルケル首相は中国に何故甘いー自国でも批判の対象に - MIYOSHIN海外ニュース
2021最新機能を搭載した Cloud Run で高次元なセキュリティ対策を実現！ | 株式会社トップゲート
Datastream for BigQuery を本番導入しようとしている話
無料でここまでできる！GCPの無料枠を使いこなして、ランニングコストを最適化しよう！ | 株式会社トップゲート
バッチ処理おじさんがストリーム処理のシステムを開発するにあたって調べたこと
BigQueryを徹底解説！(基本編) - G-gen Tech Blog
ゼロからわかる！GCPのネットワークセキュリティの全体像 | 株式会社トップゲート
Why Japan lost its comparative advantage in producing electronic parts and components