Google Cloudのサーバレスなイベント駆動処理 - Cloud Runアプリをいい感じにTerraformで管理する - Lean Baseball
元・野球エンジニア*1, 現・Google Cloud Partner Top Engineer 2024*2の人です. 相変わらず仕事も趣味もGoogle Cloudで何かをやっているのですが, この年末年始に以下の絵のようなシステムを作りました（正確には「元々あった別システムを作り直しました*3」）. この記事の全体像 Baseball Savantから取得*4した投打のデータ（トラッキングデータ）のCSVをBigQueryのテーブル（事前に定義済み）に突っ込むシステムなのですが, こちらを作る過程で, Cloud RunをPub/Subのメッセージをトリガーとしたイベント駆動で動かす アプリケーション（Goで実装）を純然たるWeb APIとして実装（Pub/Sub専用のアプリではない） 上記の構成をサービスアカウントなどの権限設定含めてTerraformでIaC（Infrastruc
BigQueryとPythonではじめるプロ野球選手の成績予測（もしくは成績占い） / Baseball Player Performance Prediction using BigQuery and Python
Baseball Play Study mini 2022/5/27 登壇資料
コワクナイBigQuery - チームでデータを活用するための活動について - JX通信社エンジニアブログ
JX通信社でシニア・エンジニア&データ基盤エンジニアをしています, @shinyorke（しんよーく）です. 最近のStayHome生活は, 「YouTubeでUK Rock🎸, お笑いの動画を見まくる」「地元のお取り寄せグルメを楽しむ」「野球データ分析に集中する」で楽しんでいます. JX通信社では, 「FASTALERT」などのプロダクトのデータをBigQueryに集約し, 機械学習を用いたプロダクト開発・施策 プロダクト・サービスの改善に関する分析 日々のイベントをメトリクス化して可視化（いわゆるBI的なもの） に活用しています. このエントリーでは, ？？？「BigQuery?使い方わからないし💰かかるって噂を聞くのでコワイよ」 ワイ将「BigQueryコワクナイヨー, ガンガンBigQuery使えるように仕組み作ったので乗っかりましょ！」 というお話を残したいと思います. TL
データ基盤の3分類と進化的データモデリング - 下町柚子黄昏記 by @yuzutas0
この記事は、下書き供養 Advent Calendar 2018 - Adventarの2日目の記事です。 めっちゃ専門的な内容になってしまいました。ごめんなさい。 某Slackでの議論内容をブログに書こうとしたのですが、下書きのまま放置していました。 Wednesday, August 15th と書いてあるので、約半年前の内容となります。 もくじ もくじ はじめに 「データ基盤の3分類」と「（一般的な）技術要素」 1.データレイク（Data Lake） 2.データウェアハウス（Data Warehouse） 3.データマート（Data Mart） 私が考えるデータ基盤の定義 私が考える「あるべき構成」 技術要素を分けるのはアンチパターン 進化的データモデリングを容易にしよう チームとアーキテクチャを選ぶ まとめ 参考 余談 追記 はじめに データ基盤と世間一般で言われるシステムには分類
ベンチャー企業におけるDWH DevOps @ Retty - Retty Tech Blog
※ Retty Advent Calendar 15日目の記事です おしながき はじめに ベンチャー企業とデータ活用 完璧さよりも早さを重視する Rettyにおける現状 DWHの開発で大切にしていること プロダクトとしてのUXを大事に プロダクトとしての変化を大事に 開発者として横断的な動きを大事に RettyにおけるDWHの開発プラクティス BigQueryを中心としたデータ基盤 アウトプットを最大化するためのダッシュボードツール スプレッドシートによるお手軽ダッシュボード データポータル (Datastudio) データソースのUX/DX データソースの集約化 As-is ではなく As-was 分析者も巻きこみDWHの品質改善を行っていく 技術スタックはSQLを中心とする 仮想テーブル (View) <-> 実テーブル による スキーマのPoC SQLによるView/データソースのユ
ホームランのひみつ（MLB編）〜バレルゾーンをPythonとBigQueryで可視化してみた - Lean Baseball
このグラフは2017年MLB（メジャーリーグベースボール）の打球データ約11万レコード(球)を打球速度×打球角度で可視化したものです. ちょっとした傾向が見えますね,,,それを解説するのがこのエントリーのゴールです. こんにちは,野球エンジニアです. TL;DR 「ホームランになりやすい打球速度と打球角度」の組み合わせを「Barrel Zone（バレル・ゾーン）」と呼ぶ 長打を飛ばす上で,打球速度と打球角度を意識して飛ばすが重要！というのが今のトレンド 打球を転がす（抜ける）ような当たりを目指すのはもう昔のお話（ただし否定はしない） この手のデータの楽しみを知ってほしい！！！...のでみんなBaseball Geeksを読んでね！（宣伝） なお,弊社「ネクストベース」が運営しているメディア「Baseball Geeks」の応援コンテンツであり, 先日（3/10）に開催しました「Python
ダルビッシュ有さんが2017年に投げた投球データをPythonとBigQueryで軽く調べてみた - Lean Baseball
今日で週休七日生活が終わる野球エンジニアこと@shinyorkeです. 昨年末に,BigQueryに突っ込んだ野球データでダルビッシュ有さん（@faridyu）の投球データについてかる～く調べてみました. 「今年こそPythonでデータ分析するぞ！」 「BigQueryをPythonから使いたいぞ！」 っていう野球好きの方の参考になれば幸いです. なお今回はホントにデータを覗き見した程度の軽いネタです. TL;DR 投球コースを散布図で可視化するといい感じになる 球種と結果をSankey Diagramにするのも面白い BigQueryとJupyter,pandasの組み合わせすっごい楽 次回はPySparkあたりで学習とかさせたい 多分おそらく@faridyuさんはここに書いた分析と傾向の斜め上をいくと思ういや行って欲しい（ファンとして） Starting Member TL;DR St
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp // Speaker Deck