はじめまして。Kyashでデータエンジニアリングを担当しているKyashデータマンです。この記事では、Kyash社内のデータ分析の基礎に関するドキュメントを紹介します。 Kyashでは、データエンジニアリング・ガバナンス・セキュリティなど様々な角度から、公正なデータの取扱いと活用を推進しています。従来は、一部の訓練された技術者がデータ分析を一手に担っていましたが、社内でもデータ活用のニーズも多く、その担当者に分析や集計の業務が集中するという課題がありました。 この課題に対して、データへの適切なアクセス管理を行い、そして適切なBIツールを導入することで、データを取り扱う人が自分でデータ分析・そして活用できるようになることを目指しています。アクセス管理には、個人情報やそれに準ずる機密データに対して、ポリシータグによるアクセス権のコントロール、そしてアクセス権のリネージなどのソリューションの導入
こんにちは、Exploratoryの白戸です。 Appleは新型コロナウイルスの対策支援として、Appleマップでの経路検索をもとにした移動傾向のデータを公開しています。ところが、残念ながらこのデータはそのままでは簡単に可視化できるようなフォーマットになっておらず、ちょっとした加工を行う必要があります。 しかし逆に、加工の仕方さえわかってしまえばそれぞれの都市や地域の移動データを可視化することで、恐怖を煽るばかりのマスコミからは見えてこない現状を理解することができるようになります。 今回はこのAppleの移動傾向データを簡単に可視化できるようにするための基本的な加工方法を、みなさんと共有させていただければと思います。 データはこちらからダウンロードすることができます。 以下は「モダンでシンプルなUIを使ってデータサイエンスができる」Exploratoryを使って、「日本で最も自粛している都
株式会社商船三井様の社内セミナーで用いた資料です。 関係者の許諾を得て公開しています。 関連記事「DXに関する私的な殴り書き」 https://yuzutas0.hatenablog.com/entry/2020/06/02/110000 関連スライド「民間企業におけるDXの事例と課題」 https://speakerdeck.com/yuzutas0/20210623 合同会社風音屋 https://kazaneya.com/
はじめに 最近、ビジネスダッシュボードの設計・実装ガイドブックという書籍が出版された。今まであまりなかった視点から書かれたデータに関する本で面白く読んだ。 ビジネスダッシュボード 設計・実装ガイドブック 成果を生み出すデータと分析のデザイン 作者:トレジャーデータ,池田 俊介,藤井 温子,櫻井 将允,花岡 明翔泳社Amazon 作ったダッシュボードの利用が進まず、虚しさを覚えた経験がある人は多いと思う。どうしてそうなってしまうのか、自分の経験を元にまとめたいなと思ったのでまとめる。 なぜ使われないダッシュボードが作られるか なぜ作られたダッシュボードが使われないかと言うと、基本的にはそのダッシュボードがそんなに必要なものではないからだ（社内周知がうまくない、ツールの使い方がわからない人が多いなどの理由もあったりするがここでは無視する）。 必要のないダッシュボードが作られてしまう状況に関して
「Data Cross Conference」の登壇資料です。 https://dcc2022.datafluct.com/ データ活用によって億単位の利益を創出してきた登壇者が、データ基盤をこれから構築する方に向けて、費用対効果を最大化するための初期構築プロセスを紹介します。 ----------------------------------------------------------- 【PR】一緒に働きましょう！ https://kazaneya.com/kdec -----------------------------------------------------------
データ基盤チーム0人で運用は回るのか？！ 前人未踏チャレンジ・クックパッドデータ基盤のすべて2020 - クックパッド開発者ブログ
技術部データ基盤グループの青木です。 ここ1、2年はなぜか成り行きでBFFをでっちあげたり、 成り行きでiOSアプリリニューアルのPMをしたりしていたので あまりデータ基盤の仕事をしていなかったのですが、 今年は久しぶりに本業に戻れたのでその話をします。 突然の1人チーム、そして0人へ…… 今年のデータ基盤チームは消滅の危機から始まりました。 間違いなく去年末は5人のチームだったと思うのですが、 メンバーがイギリスへグローバルのデータ基盤チームを作りに行ったり、 山へ検索システムを直しに行ったり、川へレシピ事業の分析業務をやりに行ったり、 海へ広告のエンジニアリングをしに行ったりするのをホイホイと気前よく全部聞いていたら、 なんと4月から1人だけのチームになってしまいました。 事はそれで終わりません。 恐ろしいことに10月にはわたし自身も育休に入ることになったので、 10月はデータ基盤が0
この記事は datatech-jp Advent Calendar 2023 3日目の記事です。 背景・趣旨 筆者（@yuzutas0）は風音屋（@Kazaneya_PR）という会社を経営しており、データ職種の採用・育成に関心を持っています。 複数企業で少ない専門家を奪い合って疲弊するような採用活動ではなく、マーケット全体がより豊かになるような動き方はできないだろうかと模索しています。 1つの実験として、MENTAで「第2新卒が3ヶ月でデータ職種への転職を目指す講座」というトレーニングを提供し、ありがたいことに30名以上の方々に受講いただきました。 ちなみにこの講座は今では風音屋の社内研修になっています。 MENTAの受講者が30名を突破しました🎉 卒業生が風音屋に入社したり、スキルアップして「社内で提案が通るようになった」「現職で活躍できるようになった」という感想もいただいています。
データマネジメントなき経営は、破綻する。 〜2つのデータ分析プロジェクトに学ぶ「残酷な真実」〜 第1回 DLG Cross (データマネジメントとデータパイプライン) の発表資料です。 https://data-learning-guild.connpass.com/event/170177/ データマネジメントの Why（なぜ必要か） What（どんな活動なのか） How（どうやるのか）について、 データ分析プロジェクトの成功例と失敗例を比べながら紹介します。 参考文献『データマネジメントが30分でわかる本』 https://amazon.co.jp/dp/B085W4YSZJ/ [2020-04-21] 一部表現を修正しました。
BigQueryのセキュリティ対策手順
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋アドバイザーの山田雄（@nii_yan）です。 データ活用においてセキュリティ対策が最重要トピックであることは言うまでもありません。 風音屋でBigQueryの導入支援を行うにあたって、どのようなセキュリティ対策を行っているのかをご紹介します。 この記事の全体像 この記事は2つのパートに分かれています。 最初に、BigQuery導入プロジェクトを始めるにあたって、セキュリティ観点でどのようなコミュニケーションが必要になるかを説明します。 次に、一般的な情報セキュリティ対策である「抑止」「予防」「検知」「回復」の4つの観点にもと
こんにちは佐々木です。 誰に望まれた訳でもないですが、データ分析基盤の設計シリーズの第三弾です。今回のテーマは、データ分析基盤における個人情報＆パーソナルデータの扱いについてです。ここを最初に考えておかないと、データ分析基盤は毒入りとなって、扱いづらいものになります。 データ分析基盤構築の肝は、データレイクとDWHの分離 - NRIネットコムBlog データレイクはRAWデータレイク・中間データレイク・構造化データレイクの３層構造にすると良い - NRIネットコムBlog 個人情報＆パーソナルデータと匿名加工について まず最初に個人情報＆パーソナルデータの定義と匿名加工について、サラッと確認しておきましょう。 個人情報＆パーソナルデータ 個人情報とは、任意の一個人に関する情報であり、かつその情報をもとに個人を特定できるものを指します。代表的な個人情報としては、名前・住所・電話番号・E-ma
Data Management Guide - 事業成長を支えるデータ基盤のDev&Ops #TechMar / 20211210
---------------------------------------------------------------------------------------- 【PR】一緒に働きましょう！ https://kazaneya.com/kdec ---------------------------------------------------------------------------------------- 「Tech × Marketing Conference 2021 #データマネジメント」基調講演の登壇資料です。 https://techxmarketing.connpass.com/event/229173/ データ活用やDXが注目されている一方で、実際にプロジェクトを進めようとすると「必要なデータが入力されていない」「用途を実現できるほどデータ品質が高
2021年3月18日に実施したデータ活用ウェビナーの登壇資料 データ分析基盤を作る上での設計のポイントと、AWSのサービス選定について
データ共通BITA部の玉井 孝平です。 2021年2月のtechtektのインタビュー記事、法人顧客に向き合うすべての社員をサポート！―BIツールの導入・普及のウラガワにて、パーソルキャリアにおけるPower BI活用事例についてご紹介いただきました。 我々データ共通BITAでは、分析、可視化業務担当者に合ったツールを提供すべくTableau、Power BIを中心とした環境を提供しています。今年度、Power BIの実行環境のリニューアルを行ってきました。呼び難いため以降、BI（ビーアイ）システムとします。今回はそのアーキテクチャに着目して紹介します。 BIシステムとは BIシステムをリリースしたのは2017年下期に遡ります。現在のBIシステムと区別するため、旧世代BIシステムとでもしておきます。 世の中に目を向けると、当時のBI界隈はセルフサービスBIって話題がどこに行っても飽きるくら
Data Platform Meetup の登壇資料です。 https://data-platform-meetup.connpass.com/event/142822/
『データマネジメントが30分でわかる本』を出版しました - 下町柚子黄昏記 by @yuzutas0
『データマネジメントが30分でわかる本』をKindleで販売開始しました！データ活用に関わる方々はぜひお買い求めいただければと思います！https://t.co/aRRYIsJeqR— ゆずたそ (@yuzutas0) March 13, 2020 （自称）企画屋・コンセプトデザイナーの @yuzutas0 です。 共著者・寄稿者を初めとして、スポンサーやレビュアーの皆様、各所で書籍を紹介してくださった皆様、 その他何らかの形でご協力いただいた皆様、本当にありがとうございました。 発売から間が空きましたが、スポンサー報告が完了したので、このブログに制作秘話をまとめます。 自費出版に関心がある人のヒントになれば幸いです。 もくじ もくじ 1. 書籍について 1-1. 書籍概要 1-2. 購入方法 1-3. 本書への反響 1-4. 関係者の皆様 2. 裏話 2-1. きっかけ 2-2. 企画
第16回日本統計学会春季集会での発表資料です。 https://confit.atlas.jp/guide/event/tjss2022spring/top https://ies.keio.ac.jp/events/17173/ 講義や共同研究のご相談はブログのお問い合わせ欄にご連絡ください。 https://yuzutas0.hatenablog.com/
Overview of The Modern Data Stack / モダンデータスタック概論
顧客に価値を届け続けられる プロダクトであるために ~B2B SaaSにおいてプロダクトビジョン・戦略を改めて 策定するまでの道のり~
累計参加者8,500名！ #DataEngineeringStudy の43スライドから学ぶ、データエンジニアリングの羅針盤 / 20220224
primeNumber主催イベント「01(zeroONE)」兼「DataEngineeringStudy番外編」の登壇資料です。掲載内容は収録時点の情報にもとづきます。 https://01.primenumber.co.jp/ https://forkwell.connpass.com/event/237704/
というのをチームで議論する機会があったので、書いてみます。「うちではこうしている」とか「ここはこっちのほうがいいんじゃない?」とかあったらコメントで教えてください。 背景 / 前提 データウェアハウスのテーブルを社内に広く提供したい 初期の提供時期が過ぎてしばらくすると、要望を元にスキーマの変更や集計ロジックの変更が入る (事前にレビューはもちろんするが)SQLのミスなどで以前のバージョンに戻したいといったことがありえる 他の部門では新しいバージョンをすでに使っていて、気軽に戻せないこともある データウェアハウスのバージョンを場面に応じて複数提供できると都合がよい 一方で、大多数のデータウェアハウスのユーザーは最新バージョンの利用だけでよいはず SSOT(Single Source of Truth)になっていて欲しいわけなので... 複数バージョン見えていると「どのバージョンを使えばいい
BigQueryでSaaSのjsonデータを処理するSQLサンプル集 - 下町柚子黄昏記 by @yuzutas0
この記事の概要 SaaSのデータをBigQueryに統合することで業務改善を促進できる。 しかし、SaaSのデータの中身を見ると、BigQueryの関数では対応しにくい形式になっていることがある。 そこで、本稿では「こういうデータ形式だったらこういうSQLを書く」というサンプル集を掲載する。 目次 この記事の概要 目次 宣伝 実現したいこと SaaSデータの処理方法 SQLサンプル1: 純粋な配列だけのケース SQLサンプル2: 配列内にハッシュマップがあるケース SQLサンプル3: 配列宣言ナシでカンマ区切りのハッシュマップが突如始まるケース SQLサンプル4: 配列とハッシュが入り乱れるケース SQLサンプル5: JSONの中に親子構造があるケース SQLサンプル6: Objectを定義したくなるケース 最強のJSONパースの関数は作れるか jsonデータの処理をどこで行うか 最後に
All slide content and descriptions are owned by their creators.
GMOペパボ株式会社では主にGoogle Cloud Platformのサービスを利用してデータ分析基盤を構築し運用しています。その中心となるのがデータウェアハウスのBigQueryとワークフローエンジンのCloud Composerです。また、社内向けのデータ可視化(ダッシュボード)システムではCloud Runを利用しています。 データ分析基盤から得られる情報を重要な意思決定に用いるためには、ユーザーに提供しているインフラと同様に、可用性を明らかにし、継続的に可用性を高める Realiability エンジニアリングが必要となります。本講演ではGCPで構築されているデータ分析基盤を題材として、データ分析基盤に求められる可用性や、小規模なチームにおけるオブザーバビリティへの取り組みについてご紹介します。
風音屋TechTalk #1 メタデータ入門 の発表資料です。 https://kazaneya.connpass.com/event/265752/ 会社や製品に関する問い合わせは、以下にご連絡ください。 株式会社Quollio Technologies お問い合わせフォーム https://quollio.com/contact
じゆうちょう Advent Calendar 2019 18日目の記事です。 概要 データエンジニアリングという業務を扱うにあたって、どのように人事評価を実施するか。 本稿では実践可能なレベルで「評価基準」の例を提示します。 もくじ 概要 もくじ 背景 注意点 本題: 人事評価の設定例 1. マイルストーン（計画） 2. QCDS（構築） 3. サービスレベル（運用） 4. 利益目標（企画） まとめ Appendix 前提1: 本稿のスコープ ＝ 査定でボーナスが上下するような状況 前提2: 被評価者がコントロールできない事象に対してはフォローする 応用編1: 「データ基盤」という固有トピックにおける技術や案件の評価について 応用編2: 「データの民主化」の目標設定をどうするか おわりに 背景 データエンジニアリング業務に伴う「人事」（採用・アサイン・育成・評価）について質問を受けることが
Data Platform Meetup #1（https://data-platform-meetup.connpass.com/event/142822/）の発表資料です。 エウレカのData Platformとそれを支える組織構成の概要の紹介と 実際にData Platform構築プロジェクトの立ち上げ〜推進をどのように計画実行し、しくじりカバーしてきたかを実例と共に載せています。
『Software Design 2020年7月号』特集「一から学ぶログ分析」に寄稿しました - 下町柚子黄昏記 by @yuzutas0
『Software Design 2020年7月号』の第1特集「一から学ぶログ分析 - 事業を成長させる分析基盤を作るには」 第2章「ログ分析基盤の構築で考えるべきこと - 多様なログを安心して使えるようにするために」を寄稿しました。 本日発売の『Software Design (ソフトウェアデザイン) 2020年7月号』【第1特集】「一から学ぶログ分析 - 事業を成長させる分析基盤を作るには」に寄稿しました。初学者向けにまとまった内容ですので、ぜひ手に取っていただけると幸いです。https://t.co/IXp40MoPJc pic.twitter.com/XydqlWDjth— ゆずたそ (@yuzutas0) 2020年6月17日 執筆内容 初学者向けに、以下の内容を10ページでまとめました。 なぜログ分析基盤を作るのか 「使われるログ分析基盤」には何が必要か 分析者が手軽にログを参
逆ジオコーディングな地図ダッシュボードを10分で作る - 下町柚子黄昏記 by @yuzutas0
この記事はデータ活用 Advent Calendar 2018 - 16日目の記事です。 ダッシュボードに関する登壇をしたところ「自社でも地図データを活用したい」と相談いただいたのでTipsを共有します。 もくじ もくじ はじめに この記事のゴール 解決したい課題 実行方針 完成イメージ 注意点 作業手順 1: リーガルチェック 2: データの準備（独自データ：アクセスログ） 3: データの準備（公開データ：ジオコーディング用の変換テーブル） 4: データの準備（公開データ：都道府県マスタ） 5: SQLを書く 6: DataStudioでデータを読み込む 7: DataStudioで地図を描く おわりに はじめに この記事のゴール WEBメディア訪問者のIPアドレスを元に、エリア別のPV数を可視化します。 （データが整備されていたら＆リーガルチェックがOKなら＆情シス部門に権限を縛られて
こんにちは。ソウゾウのSoftware Engineerの @naopr です。 連載：「メルカリShops」プレオープンまでの開発の裏側 の5日目を担当します。 はじめに このエントリでは、メルカリShopsを構成するシステムの中でもお客さまの目に直接触れることのないCS(Customer Service/Success)オペレーション用のシステムについてご紹介します。 CSオペレーション用のシステムをメルカリグループでは CSツール と呼んでいるため、このエントリでもその呼称を使うこととします。 はじめにメルカリShopsのCSオペレーションの概要についてご説明したあと、システムのアーキテクチャと技術スタックについてご紹介します。そして、CSツールの基盤機能と各オペレーション用の機能について、実際の画面をご覧いただきながらご説明します。 ※画面は開発環境のものでありテストデータを表示し
ペパボのログ活用基盤「Bigfoot」を Google Cloud Platform に移設しました - ペパボ研究所ブログ
研究員の @zaimy です。ペパボ研究所では、自社が運営するウェブサービスのユーザーの行動ログや属性情報を収集・分析・活用するための全社基盤「Bigfoot」を技術基盤チームと協力して開発・運用しています。 Treasure Data をバックエンドとして2016年に運用を開始したこのシステムを、今年 Google Cloud Platform（以下 GCP）を中心とした構成に移設しました。この記事では移設に至った理由、移設時の工夫、移設後の構成などについてお話します。 目次 Bigfoot とは 移設前の構成と移設に至った経緯 GCP の選定理由 BigQuery の存在 AI Platform の存在 コスト 移設時の工夫 データウェアハウスの並行運用 ワークフローの二段階移行 行動ログのスキーマ設計 移設後の構成 bigfoot/platform bigfoot/cloud-com
Data Meshとは何か？
Aboutこの記事は、「Data Mesh」について書かれたものです。参考文献に記載された内容をベースとして、個人的な感想や意見を加えたものです。 事例ではありません。 TL;DRData Mesh はデータ基盤の新しいアーキテクチャ原則であり、現在主流である中央集中型のデータ基盤と、そこから起こる問題への解決策です。Data Mesh はマイクロサービスと DDD から着想を得ており、データの生成・管理・提供を中央ではなくドメインごとに管理します。管理が分散することでスケーラビリティ・自律性を確保しつつ、統一的なガバナンスを保持できるアイデアです。主な想定読者Data Mesh が気になる方データ基盤を開発・保守するデータエンジニアデータマネジメントをより洗練させたいと感じている方Data Mesh の登場した背景 (WHY)詳細に入る前に、Data Mesh が前提に置く現代のデータ基
#nakanoshima_dev 9/22 18:30~ https://nakanoshima-dev.connpass.com/event/221243/ nakanoshima.dev #21 LED!! (Let's enjoy データ分析!!)の発表資料です。
新しいアンケートシステムをつくった（Digdag・Embulk・BigQueryデータ同期編） - エムスリーテックブログ
「作れないものがない」アンケート作成システムを作成した、エムスリーエンジニアリンググループの岩本です。 今回は「新しいアンケートシステムをつくった（Goとシステム概要編）」のバッチ部分について説明します。 概要 アンケートシステムのIbisの内部表現として設問があります。例えば下記のように設問が定義されているとき 設問ID設問タイトルカラム名 1年齢age 2好きな食べ物favorite_food 分析時にTableauから参照するBigQueryでは、回答テーブルとして以下のように見えると処理しやすくなります。 回答番号agefavorite_food 137カレー 232スパゲッティ つまり、前回、滝安(@juntaki)が説明したとおりIbisで「設問の作成」を行うと、分析する際のカラムが1つ増えることになります。 縦持ちとなっている「設問」の情報を横持ちに変換し、BigQueryの
Our focus in this post is to leverage Google Cloud Platform’s Big Data Services to build an end to end Data Engineering pipeline for streaming processes. So what is Data Engineering? Data Engineering is associated with data specifically around data delivery, storage and processing. The main goal is to provide a reliable infrastructure for data which includes operations such as collect, move, store
以前 DLG Cross というイベントで「データマネジメントなき経営は、破綻する」という講演を行ったところ、とある企業様から「法人営業部のDX（デジタルトランスフォーメーション）を手伝ってほしい」と相談を受け、業務フローの見直しやデータ整備を支援しています。 営業データはこれまで十分に使えていなかったため、新規のデータ連携になります。同社のソフトウェアエンジニア（A氏）に社内調整を進めていただきました。本番データにいきなりアクセスするのは怖いので、トライアル的に行いましょうという会話になりました。 なお、今回の作業を進めるに当たって、primeNumberのCPOである小林さん（@hiro_koba_jp）とembulk-input-kintone開発者である@giwaさんにサポートいただきました。 kintoneの準備 TROCCOの画面を開く前に、kintoneでダミーAppを作成し
「DWH・BIツールのこれまでとこれから」Data Engineering Study #1イベントレポート | trocco®(トロッコ)
データ基盤人材への需要が年々増えていることからも、企業のデータ活用はより注目を集めています。しかしゆずたそ氏によると、そこには「そもそもどのような基盤を作ればいいのか分からない」「基盤を作ったのに全然使われない」という2つの落とし穴があるそうです。そこで、実際に使われるデータ基盤の構築について、「使われるデータ基盤」構築の勘所を学ぶことをゴールに「なぜ作るのか（Why）」「どんな要素が必要なのか（What）」「どのように実現するのか（How）」の3つに分けて語られました。 ゆずたそ氏：「まずなぜ作るのか、この答えの1つは『お客様』のためです。特にレコメンドやAI活用が増えていく中でデータを活用すること自体が顧客の価値提供になっていきます。もう1つは『現場で働く人』のためです。しっかりとデータを見ながら現場の改善活動によって、業務が磨かれていきます。そして『経営』のためです。しっかり会社全体
Airflowをソースコードから起動する
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋アドバイザーの渡部徹太郎(@fetarodc) です。 このブログではAirflowをソースコードから起動する方法を説明します。 ソースコードから起動できると、デバッガを刺してデバッグしたり、一部書き換えて動作を検証したりと、色々便利です。 環境 macOS BigSur(11.6.4) Python 3.9.7 virtualenv 20.7.2 Airflow 2.1.3 Docker 20.10.12 Airflowのインストール 作業ディレクトリの準備 作業するディレクトリを作成し、環境変数 WORK_DIR に登録し
合同会社風音屋（本社：東京都中央区、代表社員：横山翔）は、データ活用やDX推進に関わる方々を対象に、データマネジメントやデータエンジニアリングに特化した「技術顧問」サービスの一般提供を開始します。 ■背景と目的 データ活用やDXが注目されている一方で、実際にプロジェクトを進めようとすると「必要なデータが入力されていない」「用途を実現できるほどデータ品質が高くない」「具体的にどのようにデータを連携するのか分からない」といった課題が次々と浮上します。 さらに、データ整備に投資をしても「コンサルティング会社や開発ベンダーに任せたがデータ更新が遅延してばかりで改善の兆しがない」「フリーランスのデータエンジニアにシステム構築をお願いしたが、作り逃げされてしまって、残されたシステムの運用に困っている」「内製エンジニア部隊を立ち上げたが、社内にスキルを評価できる管理職がいない」といった組織課題が次々と浮
【レポート】最新の DWH およびデータレイク動向について(AWS-36) #AWSSummit | DevelopersIO
みなさんこんにちは、杉金です。 今回は 2022 年 5 月 25 - 26 日の 2 日間開催された AWS Summit Onlineのセッションレポートをしていきます。セッションのサマリーを理解し、興味があるセッションをチェックすることにご活用ください。また、セッションのアーカイブも公開されておりますので、詳細が気になった方は是非そちらをチェックして下さい。 セッション概要 生成されるデータ量は増え続け、データ分析のニーズも多様化が進んでいます。従来の方法でこれらの要件を全て満たそうとすると、システムやその管理は複雑化しがちですが、AWS の分析サービスではモダンデータ戦略というアプローチでこの課題に対する様々な解決策を提供しています。本セッションでは、Amazon Redshift を中心に、データレイクと連携した様々な目的別分析サービスを簡単に組み合わせて、それぞれの分析ニーズに
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 兼業データアナリストの星野（@mochigenmai）です。 今回 dbt を利用したデータパイプラインの開発時に、SQLFluff(Linter) を動作させる GitHub Actions を構築しました。 GitHub Actions で SQLFluff を動作させる手順は kazaneya/sqlfluff-dbt-starterkit に公開しているので、よかったら活用してみてください。 この記事では GitHub Actions の環境構築時に発覚した情報漏洩リスクの原因と対策を dbt compile の仕様と合わせ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ゼロから始める、データ分析と可視化 - Kyash Product Blog
Appleの移動データを加工したらわかった東京の厳しい現実 - Qiita
DXを妨げる要因と実現へのアプローチ by @yuzutas0 / 20211022
なぜ使われないダッシュボードが作られるかという話 - satoshihirose.log
データ基盤による利益最大化と初期構築プロセス / 20220209
データ職種の課題図書リストを作りたい - 下町柚子黄昏記 by @yuzutas0
データマネジメントなき経営は、破綻する。by @yuzutas0 / 20200419
データ分析基盤における個人情報の扱いについて - NRIネットコムBlog
AWSで作るデータ分析基盤サービスの選定と設計のポイント
セルフサービスBIを支えるBIシステムについて - techtekt
データレイク構築後の四方山話 #DPM / 20190905
民間企業におけるデータ整備の課題と工夫 / 20220305
データウェアハウスのバージョン管理をどうやるか - yasuhisa's blog
カルチャーとエンジニアリングをつなぐ データプラットフォーム - Speaker Deck
データ分析基盤におけるオブザーバビリティの取り組み
【Quollio】メタデータ・マネジメント入門
データエンジニアリングにおける人事評価基準 - 下町柚子黄昏記 by @yuzutas0
Data Platform構築プロジェクト推進の事例と学び
0から作るメルカリShopsのCSオペレーション基盤 | メルカリエンジニアリング
Tonamelのデータ基盤 ~データモデリング編~
Real Time Data Engineering Pipeline for Machine Learning -
Amazon.co.jp: データマネジメントが30分でわかる本: ゆずたそ (著), はせりょ (著), 株式会社風音屋 (著), ゆずたそ (編集): Digital Ebook Purchas
【TROCCO®︎体験記 第1回】TROCCO®︎を使ってみた by yuzutas0（ゆずたそ）
データマネジメント・データエンジニアリング特化の「技術顧問」サービスを提供開始
dbt × SQLFluff を GitHub Actions で動かす時の情報漏洩リスクとその対策
www.chugoku-np.co.jp
5va.co.jp
jp.investing.com
b.hatena.ne.jp
topic.kita-hachi.com
pc.watch.impress.co.jp