主にクラウドの話してます - 広島 での登壇資料です。 https://omoni-cloud.connpass.com/event/315682/
データ基盤を支える技術
主にクラウドの話してます - 広島 での登壇資料です。 https://omoni-cloud.connpass.com/event/315682/
全社データ活用基盤をTreasureDataからBigQueryへ移行しました - Leverages データ戦略ブログ
はじめに こんにちは。データエンジニアリンググループの森下です。今回は、私がプロジェクトマネージャーとして約3年間かけて実施した、TreasureDataからBigQueryへの全社データ活用基盤移行プロジェクトについてお話します。このプロジェクトは、全社で1日あたり数千件のクエリが実行されるデータ基盤を移行するという大規模なもので、関係者の数は200〜300人に上りました。プロジェクト期間中は、データ活用基盤の技術調査から始まり、関係者への説明や調整、データ移行、クエリ移行、ETLやReverse ETLに使用する各種ツールの導入など、本当に多くのタスクがありました。 プロジェクト背景: TreasureData導入とその課題 TreasureData導入の背景 2024年時点ではGoogle BigQueryを使用していますが、その前の環境が導入された背景を説明します。 2018年12
はじめに Looker StudioはGoogleが無料で提供しているBIツールです。無料でもかなりの機能が揃っており、BIの活用にあたっては大変重宝する存在になっています。ただし、以前「後回しにするとどうしようもなくなる（かもしれない）Looker Studioの権限を理解する」で整理したように、組織管理という観点で難があるのは事実です。 それは例えば、レポートを組織的に管理する機能がなかったり、Google CloudのIAMを利用した権限管理ができなかったりすることが挙げられます。Looker Studio Proという有償版のサービスでは、こうした組織管理を円滑にするような機能拡充がされています。 とはいえ、実は様々なデータをフル活用すると無料版でもできることは多くあります。今回は、そんな裏技的Tipsを5つ紹介しようと思います。 こんな方におすすめ Looker Studioの組
BigQuery データ キャンバスでデータモデリングしてみた / I tried data modeling with BigQuery Data Canvas
■イベント #bq_sushi #19 https://bq-sushi.connpass.com/event/317348/ ■発表者 技術本部 研究開発部 Architectグループ 中根 洋平 ■研究開発職 採用情報 https://media.sansan-engineering.com/randd ■Sansan Tech Blog https://buildersbox.corp-sansan.com/
bq_sushi#19での発表資料 https://bq-sushi.connpass.com/event/317348/
Google Cloud Next'24 にて Google Cloudの生成 AI エコシステムはなぜ良いのか？について発表しました｜吉田 拓真 / スリーシェイク
Google Cloud Next'24 にて Google Cloudの生成 AI エコシステムはなぜ良いのか？について発表しました Google Cloud Next'24のJapan Sessionにて、生成AIがエンジニアリングだけでなく、エンジニアリングがコアになるビジネス（SIer, ISVベンダー,SaaSベンダー）自体をどう変えていくのかについて登壇してきましたので、その話をしたいと思います。 生成AIはエンジニア不足を解消し、新しいビジネスモデルを提供する生成AIは予想以上に我々の日々の業務を変えようとしています。 例えばGemini単体だけでなく、Gemini Code AssistやGemini in Databasesなどを併用していくことで少人数で複雑なプロジェクトを短期間で回してく体制を構築し、更に早期にエンジニアを育成していくスキームが構築することができますね
Google ドライブにある Excel ファイルをシュッと BigQuery にロードしたときの備忘録 - LayerX エンジニアブログ
こんにちは。機械学習・データ部の @irotoris です。 どこからかダウンロードしてきた Excel ファイルのデータを BigQuery に入れてほしいという話があり、Python と pandas で Excel を読み込んでシュッと BigQuery にロードしたときの作業備忘録です。 TL;DR Google Colaboratory に Google ドライブをシュッとマウントできて便利 pandas の ExcelFile() で Excel ファイルがシュッと読めて便利 備忘録 まずは人に聞いたりファイルをいくつか眺めてデータの仕様を把握します。どうやら以下のようなファイルのようです。 ファイル数は200以上、合計 5GiB 程度 Excel 内のシート数は 3つ Excel のシート名は「データの内容を表す文字列_ランダム文字列のサフィックス」※ 例: シート1: tr
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Looker Studioで組織内に魔境を作らないための裏技的Tips集 - Qiita
BQで天気基盤をつくって、役立つ情報を可視化してみた!