[レポート] Data Vault Modelling on Snowflake #SnowflakeDB | DevelopersIO
大阪オフィスの玉井です。 Snowflake社の下記のウェビナーを受講したので、レポートします。 ウェビナー情報 公式情報 概要 From insurance and banking to utilities, gaming to travel, Data Vault is gaining popularity across all industries as a methodology that claims to be the most agile and future-proof for connecting all of your data. Whether you work with complex data models or a plethora of data sources, achieving the potential of your data despite mak
![[レポート] Data Vault Modelling on Snowflake #SnowflakeDB | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/049e0cb3fd75c4238c328b0ab80dbacbbad7becb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F09%2Fsnowflake-logo-1200x630.png){kind=logo}
Data Development
Ad-hoc Data Development Ad-hoc delivers a report or dashboard for one-time or limited use and it can also deliver a prototype, first iteration of a data solution that is not mature enough for a long-term, Trusted Data Solution yet. Ad-hoc development is performed when no existing data solution answers the questions being asked. Code developed for ad-hoc analysis for one-time or limited use is not
[アップデート] API で非同期な SQL クエリが実行できる！Amazon Redshift で Data API が利用可能になりました | DevelopersIO
[アップデート] API で非同期な SQL クエリが実行できる！Amazon Redshift で Data API が利用可能になりました 先日のアップデートで Amazon Redshift で Data API が利用可能になりました。 Announcing Data API for Amazon Redshift Data API サポートによるメリット ドライバーが不要！ 従来、Redshift クラスターに接続するには JDBC/ODBC といったドライバーを介して SQL クライアントツールで接続していたかと思います。 Data API はその名のとおり API によって SQL ステートメントを実行することが出来ますので、クライアント環境にドライバーのインストールは必要ありません。Amazon EventBridge によるイベントまたはスケジュールをトリガーとして La
![[アップデート] API で非同期な SQL クエリが実行できる！Amazon Redshift で Data API が利用可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/81eb02784729f6c36fc95bc45da4619b1a0480cf/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-redshift.png)
GitHub - armink/FlashDB: An ultra-lightweight database that supports key-value and time series data | 一款支持 KV 数据和时序数据的超轻量级数据库
FlashDB is an ultra-lightweight embedded database that focuses on providing data storage solutions for embedded products. Different from traditional database based on file system, FlashDB combines the features of Flash and has strong performance and reliability. And under the premise of ensuring extremely low resource occupation, the service life of Flash should be extended as much as possible. Fl
GCPのProfessional Data Engineer試験にエンジニア実務未経験で合格した話 - Qiita
なぜ受験しようと思ったのか 4月からデータエンジニアとして働くことが決まりましたが、実務未経験だったため入社前に事前学習をしておくためです。 入社後に研修がある企業でしたが、必要な知識の全体像を把握した上で研修を受けた方が細部まで理解できると考えたので、データエンジニアリングの知識が網羅的に習得できそうな本資格の受験を決めました。 前提知識 ・エンジニアとしての実務経験は0の状態。 ・Pythonは完全に理解している() ・趣味でWebアプリ開発をしたことがある(Rails、Django、React、TS) ・趣味で機械学習の実装(KaggleやSIGNATEにチャレンジして多少の精度改善)ができるレベル ・AWSはWebアプリのデプロイで使ったことがある。(GCPの経験は0) ・仕事ではBIツールでSQLを扱っていた。(サブクエリや結合等の複雑なクエリは書けるが、クエリのパフォーマンス等
データ変換の強力な味方である dbt (data build tool)のmacroを書く際に関係してくる tips集です。 dbt macro tips advent calendar 2022 に掲載した内容を再編集したものです。 https://adventar.org/calendars/8127 内容はほぼほぼ変わりません。
データ分析基盤グループでデータエンジニアをしている平川です。 近年注目されてきているDataVaultに関して、全3回(予定)で記事を書かせていただく予定です。 第1回の記事では、DataVaultとは何なのか？どんな特徴があるのかを書いていきます。 参考までに、1~3回の内容を紹介しておきます。(内容は変わる可能性が大いにありますのでお許しください🙇♂️) 第1回: DataVaultってなに？どんな特徴があるの？ ← 今回はここ 第2回: dbtvaultを使って実際にDataVaultモデリングでテーブルを作ってみた 第3回: BusinessVaultの使い所や特徴的なSatelliteの利用におけるハマったところや良いところ これまでのデータモデリング手法 3NF ディメンショナルモデリング DataVaultとは何か? Hub Link Satellite モデリングにおけ
Obtain, Scrub, Explore, and Model Data with Unix Power Tools Welcome to the website of the second edition of Data Science at the Command Line by Jeroen Janssens, published by O’Reilly Media in October 2021. This website is free to use. The contents is licensed under the Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License. You can order a physical copy at Amazon. If y
DeNA では、ゲーム、スポーツ、ライブストリーミング、ヘルスケアなど多種多様な事業を展開しています。各事業では、サービスの良さを伝えるためのマーケティング施策を数多く実施しており、施策の PDCA に役立てるためのデータ分析を積極的に行っています。 本セッションでは、データ分析の多くの取り組みのうち、デジタル広告のリターゲティング配信において、BigQuery や AutoML Tables を活用した分析システムを構築して配信効率を改善した事例を紹介します。開発や運用の過程で生まれたマーケ/分析/エンジニアの各所からの要望や悩みに対して、どのように Google Cloud 各サービスを活用して解決したかをお伝えします。
Lightdash instantly turns your dbt project into a full-stack BI platform. Analysts write metrics and Lightdash enables self-serve for the entire business.
By Zachary Thomas (zthomas.nc@gmail.com, Twitter, LinkedIn)
モダンデータスタック（Modern Data Stack）とは？ データ統合の新しいトレンド：編集部コラム データ統合の分野でMDS（Modern Data Stack）というキーワードが注目を集めています。今までの技術とどんな違いがあるのでしょうか。
Google Analytics Data API (GA4)でリアルタイムデータを取得する - NRIネットコムBlog
本記事は GA4 Week 最終日の記事です。 📈 4日目 ▶▶ 本記事 こんにちは、廣岡です。 GA4 Weekも最終日となりました。 今回はこのブログではまだ登場していない「Google Analytics Data API (GA4)」について書いていきたいと思います。 Google Analytics Data API (GA4) とは メソッド「runRealtimeReport」について 利用できる代表的なディメンションと指標 取得データ例 API Explorerを使ってデータを確認してみる さいごに Google Analytics Data API (GA4) とは Google Analytics Data API (GA4)は、GA4プロパティにアクセスし、該当のプロパティで計測されたデータを取得することを可能とするAPIです。 GA4の計測データを活用する独自の分
Python で OAuth 2.0 認証を通して YouTube Data API を叩いてみた | DevelopersIO
はじめに テントの中から失礼します、CX事業本部のてんとタカハシです！ 以前、下記の記事で、私の YouTube チャンネルに関するデータの集計結果を記載しました。 データの集計には、YouTube Data API を使用しました。YouTube Data API を使用するためには、OAuth 2.0 か API キーで認証を通す必要があります。自分のチャンネルに関するデータの取得や操作を行う場合は、OAuth 2.0 による認証が必要です。 今回は、OAuth 2.0 による認証を通して YouTube Data API を叩くまでの手順を記載します。コード自体は Python で書いていきます。 YouTube Data API の概要や、どんな機能があるかについては、公式で日本語のドキュメントが用意されているので、そちらをご参照ください。 YouTube Data API - Y
(PDF) Decoding the evolution and transmissions of the novel pneumonia coronavirus (SARS-CoV-2) using the whole genomic data
Background. The outbreak of COVID-19 started in mid-December 2019 in Wuhan, Central China. Up to February 18, 2020, SARS-CoV-2 has infected more than 70,000 people in China, and another 25 countries across five continents. In this study, we used 93 complete genomes of SARS-CoV-2 from the GISAID EpiFluTM database to decode the evolution and human-to-human transmissions of SARS-CoV-2 in the recent t
FirebaseのバックエンドをGoogle Cloud SQLと接続「Firebase Data Connect」発表。AI用のベクトルサーチも可能に
FirebaseのバックエンドをGoogle Cloud SQLと接続「Firebase Data Connect」発表。AI用のベクトルサーチも可能に Googleは日本時間5月15日と16日に開催したイベント「Google I/O 2024」で、モバイルアプリケーション向けプラットフォーム「Firebase」の新機能として、バックエンドデータベースをGoogle Cloud SQLと接続する「Firebase Data Connect」を発表しました。 Firebaseが提供するバックエンドデータベースはNoSQLデータベースですが、Firebase Data Connectを利用することでFirebaseのバックエンドを通じて、Google Cloudが提供するCloud SQL Postgresデータベースサービスに接続できるようになります。 これによりクライアントアプリケーション
「DiskRefresher（ディスクリフレッシャー）3 SE」は、外付けHDD・SSDのデータを強固に消去するデータ抹消アプリです。プライバシー情報や機密情報の復元・漏えいをブロックします。 【ソフトウェア公開終了のお知らせ】 本ソフトウェアは下記日程をもちまして、公開とサポートを終了いたします。 ご利用中のお客様に関しましては、引き続きアプリケーションをご使用いただけますが、サポート対象外となりますことをあらかじめご了承ください。 後継品は、「DiskRefresher4 SE」です。 〈公開終了日程〉 2021年6月30日 ＜バージョンアップ情報＞ ・DiskRefresher3 SEがバージョンアップ！ 「DiskRefresher4 SE」が登場しました。詳細はこちらから。（2021年2月） ・USB接続SSDのデータ消去が可能になりました。（2020年4月） ※当社製USB接続
Huge SQL Loads? Check Out These Benchmarks: AWS Graviton2 with Presto and Treasure Data CDP
High Performance SQL: AWS Graviton2 Benchmarks with Presto and Treasure Data CDP High Performance SQL: AWS Graviton2 Benchmarks with Presto and Treasure Data CDP Last modified: March 4, 2022 High Performance SQL: AWS Graviton2 Benchmarks with Presto and Treasure Data CDP In December, AWS announced new Amazon EC2 M6g, C6g, and R6g instance types powered by Arm-based AWS Graviton2 processors. It is
State of data 2023
IntroductionIn the past 2 years, the data ecosystem has been evolving rapidly. New tools have been emerging every month in the modern data stack. In a hype cycle, it becomes hard to distinguish the signal from the noise. Which of those tools would eventually become simple features or actual products that we would be using in a few years? In addition to our growing number of tools, we've seen a few
お知らせ 2021年12月23日17時をもって、本チャレンジのデータ更新を停止いたしました（データセットの閲覧は可能です）。ご参加いただきました皆様には、多大なるご尽力をいただき誠にありがとうございました。 コンペティション自体は2020年12月31日を持って終了扱いとなりますが、COVID-19チャレンジのサイト（データ収集・分析）は今後も継続提供します。 趣意 現在、新型コロナウイルス感染症（COVID-19）が世界中で猛威を振るい、私たちの暮らしや経済活動に深刻な影響を及ぼしています。感染症対策には、罹患者に関するデータを迅速に収集し公開することが極めて重要です。 現時点における日本国内のCOVID-19に関する情報は、国や自治体などで配信方針がバラバラであり、テキスト形式やPDF形式、画像形式などの非構造データで配信されているものも多く、一元的・網羅的でマシンリーダブルかつデータ分
How the BBC Visual and Data Journalism team works with graphics in R
Over the past year, data journalists on the BBC Visual and Data Journalism team have fundamentally changed how they produce graphics for publication on the BBC News website. In this post, we explain how and why we have used R’s ggplot2 package to create production-ready charts, document our process and code and share what we learned along the way. Data journalists on the BBC News’ Visual and Data
NotionのデータベースビューテーブルにcURLからData APIで行を追加してみた | DevelopersIO
Notionのデータベースビューテーブルのレコードの追加は、親ページに子ページを追加して実現されています Notionのデータベースビューテーブルでは、レコードの追加は親ページ(データベース)に子ページ(レコード)を追加して実現されています。 呼び出すAPIは https://api.notion.com/v1/pages への POST リクエストであり、APIに利用するインテグレーションには「コンテンツを挿入」機能が必要です。 初手でインテグレーションの挿入権限不要、データベースの更新APIを検討して回り道してしまったので、知見を共有します。 RDBへのSQL操作でも、レコード追加はテーブルへの更新(ALTER)ではなく、テーブルへのレコード追加(INSERT)なので、このようなAPI操作は自然です。 なお、 Notionのテーブルはシンプルテーブルとデータベースビューテーブルの2種類
How Machine Learning Uses Linear Algebra to Solve Data Problems
Machines or computers only understand numbers. And these numbers need to be represented and processed in a way that lets machines solve problems by learning from the data instead of learning from predefined instructions (as in the case of programming). All types of programming use mathematics at some level. Machine learning involves programming data to learn the function that best describes the da
インターン生が作った旅行プランAIで実際に旅行に行ってみた - Platinum Data Blog by BrainPad
ブレインパッドでは毎年学生向けのインターンシップを開催しています。今年の「機械学習エンジニアコース」学生の皆さんに取り組んで頂いた「機械学習による旅行プランニング」で提案された旅行に、ブレインパッドの取締役が実際に行ってみた！体験をご紹介します。 ミッション達成できてよかったです。本当に楽しい休暇でした！ 概要 こんにちは。ブレインパッドで取締役をしております塩澤です。 今年も優秀なインターン生が「機械学習による旅行プランニング」をテーマに、夏に当社でインターンシップに取り組んでくれました。 その中で開発頂いた「観光スポットの周遊プランニングAI」からアウトプットされた周遊プランで草津温泉を楽しんできましたので、その体験を記事にしたいと思います。 「観光スポットの周遊プランニングAI」についてはこちらをご覧ください！ blog.brainpad.co.jp 概要 はじめに まずは予約から！
フォント「Data 70」を購入してみました。レトロなコンピューターの雰囲気を持つ字形で、マイコン BASIC マガジンの「BASIC」部分のフォントらしいです。Data 70 登場の前に Westminster がデザインされ、競合として Data 70 が登場したようです。 この形の由来は、以前 ベーマガ ロゴの“BASIC”の形の由来と無料フォント に投稿しています。磁気インク文字認識（MICR）の数字を元に英字をデザインしたようです。 この字形の無料フォント（？）は多数公開されていますが、ライセンスが不明なものが多く、個人で楽しむ以外には使えないので、公開する印刷物等にも使える Data 70 を購入しました。 Data 70 は、1970年にイギリスの Bob Newman 氏がデザインしたフォントです。長い年月でフォントを取り扱っているファウンドリ（企業）がいろいろ変遷している
Have you ever needed to read .csv or .dat files line by line for data analysis? In this article, we will walk you through the process of reading files line by line using Python. Steps to Read a File The steps to read a file are as follows: Prepare the file. Write code to read the file. Execute the program. While the basic process remains the same for different file types like dat or csv, the code
GitHub - ryo-a/TRTA-Numbers-Font: Open font data inspired by numbers used in Teito Rapid Transport Agency/Tokyo Metro
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
高次元データの可視化を目的とした次元削減手法を紹介 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 当社データサイエンティストが、高次元のデータをできる限り重要な情報を保持したまま低次元データに変換する「次元削減手法」について代表的な3つの手法をご紹介します。また、実際に画像データを用いて手法を試してみましたので、その結果もご紹介します！ こんにちは。アナリティクスサービス部の西條です。 今回は、高次元データを可視化する際に使用する手法の1つである次元削減についてご紹介します。 次元削減とは 次元削減の手法 PCA t-SNE UMAP 各手法の比較 おわりに 参考文献 次元削減とは 次元削減とは、高次元のデータをできる限り重要な情報を保持したまま低次元データに変換する手法のことです。我々が取り扱うデータの中には画像や音声といった高次元データが存在しますが、これらを直接可視化して特徴把握
sqllineage を使って digdag のログから Treasure Data のクエリのリネージを作ってみた | Democratizing Data
データリネージとは、DBなどでどのデータがどこから来てどこに行った、という「来歴」とも呼ばれる情報です。 自分がこの言葉を知ったのは、前職でCloudera Navigatorという製品を扱ったときにこの機能が実装されていることを知りました。 引き継いだ複雑なSQLなどのワークフローを渡されたときに、どういう流れになっているのかを可視化できるのがとても魅力でした。 Cloudera Navigatorのlineage。 https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cn_lineage_generation.html よりそんなlineageですが、Pythonの sqllineage というパッケージで分析・可視化できることを知りました。 sqllineage は Pythonで実装されているSQLのlin
ストラスブールにあるOVHcloudのSBG2データセンターは、SBG1にも損傷を与えた火災で焼損しました。火災による負傷者はいませんが、サイト内の4棟のデータセンターはすべて本日閉鎖されています。 火災は水曜日の深夜未明に発生し、100人以上の消防士が現場に駆け付け鎮火まで6時間かかりました。5階建ての500平方メートルのSBG2データセンターは破壊され、特にSBG1は深刻な被害を受けました。SBG3とSBG4は消防士によって保護されました。サイトは水曜日の朝現在立ち入り禁止となっており、サイト内のデータセンターはいずれも本日は再開されないと、OVHcloudの創設者Octave Klaba氏は述べています。 火災による負傷者はゼロローカルニュースサイトDNAのAntoine Bonin氏によるとPort du Rhin、Rue du Bassin de l’Industrieにあるデー
AWK commands equivalent to SQL query - Data manipulation | Page 4 of 4 | Subhadip Mukherjee
Here we are passing two files in awk. You need to understand important part of this command is NR==FNR. NR is the total row number and FNR is the current file row number. Order of file (DEPT.csv EMP.csv) is also important as it controls NR/FNR. So awk will process DEPT.csv first. For this file, NR is equal to FNR for all records. Next file EMP.csv, NR will increase but FNR will be reset to 1 at re
COVID-19 Data Hub
Visualizing a pandemic On January 20, 2020, the Centers for Disease Control (CDC) confirmed that an individual in Washington State had contracted a case of COVID-19—a disease that was first observed in Wuhan, China in December. By the end of the month, the World Health Organization (WHO) declared that COVID-19 was a Public Health Emergency of International Concern. By March 11, the CDC announced t
30+ capabilities, 750+ integrations, the power of AI, all together.
何よりもまず周冠宇を気遣い事故現場に駆けつけたラッセル…昔からそういう奴、と旧知のドライバー | Formula1-Data / F1情報・ニュース速報解説
背筋がゾッとする1周目の多重クラッシュに巻き込まれたジョージ・ラッセル（メルセデス）がまずした事は、キャッチフェンスとタイヤバリアとの間に挟まれた周冠宇（アルファロメオ）の元へと向かう事だった。 赤旗が振られ、自走可能なドライバーがみな、ピットレーンへと戻る中、ラッセルは事故現場に文字通り”駆け付け”、タイヤバリアの上に立ち、周の容態を確認し、マーシャルを手助けするかような姿が見られた。 ラッセルは「赤旗が振られたからクルマを降りて大丈夫だと思ってね」「周が無事かどうか、何か手伝える事がないか、確認したかったんだ」と振り返った。 一人のドライバーというよりも一人の人間としてのラッセルの人格を表すエピソードだが、ジュニア時代から知る旧知のドライバー仲間に言わせれば、ラッセルは昔から他人を放っておけない人物だったという。 今季よりインディカー・シリーズを新天地としたカラム・アイロットは、SNS
条件 現職で管理している現行のデータパイプラインである Treasure Workflow（managed digdag on TD）+ Presto に適用できること ウェブでメタデータのドキュメントが公開でき、社内に共有できること Data Lineage 的なデータの依存関係がわかること dbt dbt は構築したプロジェクトとその内部のクエリを元にドキュメントを自動で生成してくれる。データの依存関係のDAGを可視化してくれるようで、良さそう。dbt docs serve というドキュメントサイトをホストする機能も提供しているが、現時点では本番稼働を想定していないものらしい。その代わりに dbt Cloud を使う、生成したドキュメントを S3 でホストするなどの方法を推奨している。 The dbt docs serve command is only intended for lo
GitHub - datastacktv/data-engineer-roadmap: Roadmap to becoming a data engineer in 2021
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Reading Bulk Data from a dat File Preparing the dat File We have prepared a data file named “average_temperature_kyoto_2018.dat” containing average monthly temperatures in Kyoto city for the year 2018. # averaged temperature in 2018 @ Kyoto city # 01: month 02: averaged temperature in the daytime 1 3.9 2 4.4 3 10.9 4 16.4 5 20.0 6 23.4 7 29.8 8 29.5 9 23.6 10 18.7 11 13.5 12 8.2 Save this file in
初めまして。YOUTRUSTでデータアナリストをしている宮﨑(@ikki_mz)です。 普段は、施策の効果見積もりや検証、ダッシュボード作成、KPI管理、分析基盤整備など、データにまつわる諸々の業務に携わっています。 今回は、YOUTRUSTでこの半年ぐらい取り組んでいた、dbt導入とDWH（Data Ware House）整備について、だいぶ整備が進んできて知見も溜まってきたので、これまでやってきたことや、得られたメリットについて書いていきます。 この記事は主に、次のような方に向けて書いています。 （既にdbtを導入している方には当たり前の内容になっているかもしれません） ・dbtを導入しようか迷っている人 ・DWHをどういう構造にすればいいのか迷っている人 ・YOUTRUSTのデータ分析環境に興味がある人 何か少しでも参考になることがあれば幸いです！ YOUTRUSTの分析環境 はじめ
Data is useless without the ability to visualize and act on it. The success of future industries will combine advanced data collection with better user experience, and the data table comprises much of this user experience. Good data tables allow users to scan, analyze, compare, filter, sort, and manipulate information to derive insights and commit actions. This article presents a list of design st
Surgisphere: governments and WHO changed Covid-19 policy based on suspect data from tiny US company
A tiny US company, Surgisphere, is behind flawed data which led to governments and the world health organisation changing health policy Photograph: Anthony Brown/Alamy Stock Photo A tiny US company, Surgisphere, is behind flawed data which led to governments and the world health organisation changing health policy Photograph: Anthony Brown/Alamy Stock Photo
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
dbt (data build tool) macro tips
Data Vault モデリングのご紹介 - Safie Engineers' Blog!
Welcome | Data Science at the Command Line, 2e
DeNA のマーケティングを支えるデータ分析/gc_saas_Data analysis
Lightdash | Self-serve BI to 10x your data team
The Best Medium-Hard Data Analyst SQL Interview Questions
モダンデータスタック（Modern Data Stack）とは？ データ統合の新しいトレンド
データ抹消アプリ DiskRefresher3 SE | アイ・オー・データ機器 I-O DATA
COVID-19チャレンジ（フェーズ1） | SIGNATE - Data Science Competition
フォント Data 70 を購入。ベーマガロゴのあれ。 – プログラミング生放送
How to Read Data Files Line by Line in Python - LabCode
仏ストラスブールのOVHcloud SBG2データセンターが火災事故で全焼 | Data Center Café
The State of Java: Trends And Data
Data Lineage したい - satoshihirose.log
How to Read a Data File in Bulk Using Python - LabCode
YOUTRUSTでdbtを導入した話｜ikki / Data Analyst / YOUTRUST
Design better data tables