JP Contents Hub
AWS 日本語ハンズオン Amazon Web Services(AWS) の 日本語ハンズオンやワークショップを、カテゴリごとにまとめています。 右側の目次や、ヘッダー部分の検索ボックスから、各コンテンツにたどり着けます。 また、Ctrl + F や command + F を使ったページ内検索もご活用いただけます。 料金について ハンズオンで作成した AWS リソースは通常の料金が発生します。作成したリソースの削除を忘れずにお願いします。 もし忘れてしまうと、想定外の料金が発生する可能性があります。 画面の差異について ハンズオンで紹介されている手順と、実際の操作方法に差異がある場合があります。 AWS は随時アップデートされており、タイミングによってはハンズオンコンテンツが追いついていない事もあります。 差異がある場合、AWS Document などを活用しながら進めて頂けますと幸い
分散データシステム入門の決定版『データ指向アプリケーションデザイン』をたった30分で学んでみた #DataEngineeringStudy | DevelopersIO
基調講演「30分でわかるデータ指向アプリケーションデザイン」 ・ スピーカー 斉藤 太郎氏 Twitter：@taroleo / Github：@xerial Principal Software Engineer , Treasure Data 東京大学理学部情報科学科卒。情報理工学 Ph.D。データベース、大規模ゲノムデータ処理の研究に従事。その後、スタートアップであるTreasure Dataに加わり、アメリカ、シリコンバレーを拠点に活動中。日本データベース学会上林奨励賞受賞。OSSを中心にプログラミングやデータ処理を簡単にするためのプロダクトを作成している。 「30分でわかるデータ指向アプリケーションデザイン」最新の論文にも触れながら、分散データシステムの世界の魅力を伝えていきます。後半、@tagomoris https://t.co/TQ2TnsFIOT… — Taro L.
We are excited to announce the release of Wvlet version 2024.9, an open-source flow-style query language designed to help users to write efficient queries for SQL engines. You can try Wvlet, pronounced as weave-let, directly in your web browser at Wvlet Playground. The source code of Wvlet compiler is available at GitHub wvlet/wvlet. Why Wvlet? At Treasure Data, we process over 3 million SQL quer
dbt と Dataform を比較して Dataform を利用することにしました | MoT Lab (GO Inc. Engineering Blog)
タクシーアプリ「GO」、法人向けサービス「GO BUSINESS」、タクシーデリバリーアプリ「GO Dine」の分析基盤を開発運用している伊田です。今回、dbt と Dataform を比較して Dataform を利用することにしましたので、導入経緯および Dataform の初期構築を紹介します。 ※ 本記事の対象読者はELTツールを利用している方を対象にしています これは MoT Engineer Challenge Week 2022 Spring の記事です。 はじめに本記事では、まず、dbt および Dataform というツールについて簡単に説明させて頂き、次に現在データ分析チームが抱えている課題について取り上げます。その後、2つのツールについて検証した内容を紹介し、その結果、Dataform の導入に至った経緯を説明します。また、最後に Dataform の初期構築で工夫し
A year ago, I was preparing a presentation for an event and the title slide asked me to fill in my role. I had been hired as a “Data Analyst”, and when I started the role, I spent my time doing normal data analyst things. I pulled data for finance and marketing, analyzed trends and generated insights, and spent lots of time in Excel and Looker. However, my role had been changing dramatically. Fina
GitHub - Hiflylabs/awesome-dbt: A curated list of awesome dbt resources
Courses from where you can get started with Analytics Engineering. Accelerating and Scaling dbt for the Enterprise - Guide for large scale dbt projects. . The Ultimate Guide to dbt - A comprehensive canvas guide to dbt, from the basics to advanced topics. dbt in a real world scenario, A Beginner dbt tutorial - A beginner tutorial to understand dbt with a real world example. Mastering dbt: Beginner
dbt-bigquery-monitoring: Monitoring BigQuery compute and storage with dbt
dbt-bigquery-monitoring helps you to monitor your BigQuery compute and storage assetsIntroductionI’ve been using BigQuery for eight years, and it’s been an incredible platform for working with data at scale using SQL. Running queries and creating tables for analytics and data products is remarkably easy. The advent of dbt has further simplified creating complex workflows for many data practitioner
[2023年5月24日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO
さがらです。 Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。 そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。 ※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。 Modern Data Stack全般 Enterprise Tech 30(2023)が公開 Wing社によって取りまとめられ、ベンチャーキャピタリスト96名と各企業の開発責任者30名により評価されたテック企業の一覧として「Enterprise Tech 30」がありますが、この2023年版が公開されました。 Modern Data Stack界隈だと、
![[2023年5月24日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/4c302785bc6e825b53ff30c80e48fb8d6b9e4d25/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F05%2Feyecatch_moderndatastack_1200_630.jpg)
dbtの認定試験『dbt Analytics Engineering Certification Exam』が5月から新しくなるようです #dbt | DevelopersIO
アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。 dbtでは認定試験が展開されていますが、その中の1つ『dbt Analytics Engineering Certification Exam』が2024年05月から新しくなるようです。(公式ページを覗いてみたらそういう案内がされていました) 日付的には2024年05月01日から変わる模様。 当エントリでは、以前のものとどういう部分が変わっているのかについてその内容を確認してみたいと思います。 対象となるdbtのバージョンについて まずはじめに、一番分かりやすい変更点から。対象となるdbtのバージョンが従来の『1.1』からほぼ最新の『1.7』となります。(2024年04月時点で登場しているバージョンは1.8だがまだβ版なので) dbt Analytics Engineering Certificat
Introducing the dbt MCP Server – Bringing Structured Data to AI Workflows and Agents | dbt Developer Blog
dbt is the standard for creating governed, trustworthy datasets on top of your structured data. MCP is showing increasing promise as the standard for providing context to LLMs to allow them to function at a high level in real world, operational scenarios. Today, we are open sourcing an experimental version of the dbt MCP server. We expect that over the coming years, structured data is going to bec
Me after years using python.Before starting this post, I want to acknowledge that soft and hard skills are equally important. Data people exist to deliver business value, or more broadly read facts from a pool of ever-growing data. But, even with a bunch of posts talking about soft skills, at the end of the day, we're being paid for the technical skills we have, and the ability we have to deliver
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Wvlet: Redesigning 50-Year-Old SQL for Modern Data Analytics | Wvlet
What is analytics engineering? | dbt Labs
A non-beginner Data Engineering Roadmap — 2025 Edition