最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
初めて使ったBIツールはLooker Studioのid:syou6162です。これまでTableau / Looker(≠ Looker Studio) / Metabase / Redash / Connected Sheetsなど色々なBIツールを触ってきましたが、不満は色々ありつつも個人的に一番しっくりきて愛着があるのはLooker Studioです。このエントリでは、その魅力と便利な使い方や注意点について書きます。例によって、社内勉強会向けの内容を外向けに公開しているため、内容の網羅性などは特に担保していないことにご注意ください。 Looker Studioの魅力 利用のハードルが限りなく低い & Google Workspaceとの連携が便利 複雑過ぎることができないので、諦めが付けやすい ちゃんとBIツールになっている Looker Studioの便利な使い方 多様なデータソ
データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋を用意してみました. - Lean Baseball
ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow（もしくはWhere）の相談. 「Googleのビッグクエリーってやつがいいと聞いたけど何ができるの?」的な個別のサービスに対するご相談. 「ぶっちゃけおいくらかかりますか💸」というHow much?な話. 有り難くもこのようなお話をよくお受けしています. が, （仕事以外の営みにおける）個人としては毎度同じ話をするのはまあまあ疲れるので, データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋 というテーマで, クラウド上でデータ基盤を構築する際のサービスの選び方 （データ基盤に限らず）クラウド料金の基本的な考え方 をGoogle
情報の見つけやすさを追求する - 社内ドキュメンテーションの階層整理術 - KAKEHASHI Tech Blog
カケハシのプラットフォームチームでソフトウェアエンジニアをしているすてにゃん (id:stefafafan) です。今回はチームに配属されて数ヶ月の私が、いかにして社内ドキュメンテーションの階層構造を整理し、情報の検索性を向上させたかについてお話します。 はじめに この記事の想定読者 課題意識 メンバーへの共有と相談 社外事例の調査 esa の階層整理 第 1・第 2 階層の整理 ストック情報とフロー情報を意識した階層の整理 esa の機能をフル活用する 効果や今後について はじめに カケハシでは全社的にドキュメンテーションツールとして esa - 自律的なチームのための情報共有サービス を利用しています。それぞれのチームやプロダクトごとに階層を切ってドキュメントを書いています。 プラットフォームチームでは認証基盤などの社内プラットフォームシステムを開発しているため、自チームが運用する各種
この記事は datatech-jp Advent Calendar 2023 3日目の記事です。 背景・趣旨 筆者（@yuzutas0）は風音屋（@Kazaneya_PR）という会社を経営しており、データ職種の採用・育成に関心を持っています。 複数企業で少ない専門家を奪い合って疲弊するような採用活動ではなく、マーケット全体がより豊かになるような動き方はできないだろうかと模索しています。 1つの実験として、MENTAで「第2新卒が3ヶ月でデータ職種への転職を目指す講座」というトレーニングを提供し、ありがたいことに30名以上の方々に受講いただきました。 ちなみにこの講座は今では風音屋の社内研修になっています。 MENTAの受講者が30名を突破しました🎉 卒業生が風音屋に入社したり、スキルアップして「社内で提案が通るようになった」「現職で活躍できるようになった」という感想もいただいています。
データ基盤を支える技術
主にクラウドの話してます - 広島 での登壇資料です。 https://omoni-cloud.connpass.com/event/315682/
この記事について 共感している そもそもDXとは何か デジタル中心のビジネスにどうシフトするか デジタル中心のオペレーションにどうシフトするか 顧客や従業員がラクになる体験（UX） 最近やっている案件 みんなすごい この記事について 下書きの状態で公開することにした。 主観と経験で書いているので、細かい話は要事実確認。 反響があったら後でブラッシュアップするかも。 特定の名前が分かる形での非公開情報は載せていない。 共感している DXという言葉は使わなかったけど、過去に似た内容で登壇したので、一連のツイートに共感しますhttps://t.co/bh8dWDxjpWhttps://t.co/gJjrvLf6tu https://t.co/cTW35ELvIE pic.twitter.com/ImjPYWPP5R— ゆずたそ (@yuzutas0) May 26, 2020 そもそもDXとは何
使われないものを作るな！出口から作るデータ分析基盤 / Data Platform Development Starting from the User Needs
本資料は Tech Play イベント『データ基盤運用の工数削減に効いた俺的ベストプラクティス データマネジメントの勘所』での登壇資料です。 https://techplay.jp/event/940296 データ基盤を構築する際、多くの人が最初にdbt、BigQuery、troccoといったツール名を思い浮かべるかもしれません。しかし、ビジネス価値を生み出すデータ基盤を開発するためには良いツールを選定するだけでなく、「どの技術をいつのタイミングで導入するか」「関係者をどのように巻き込むか」といった観点も重要です。この発表では、製造業のDXを進めるCADDiが直面したデータの課題と、利用状況に合わせて段階的にデータ基盤を拡充していった過程についてご紹介します。
ビジネスとエンジニアリングをつなぐ「アナリティクスエンジニア」とは。リクルートが“価値あるデータ整備”のための新たな職種に着目した理由 - はてなニュース
世間でデータの利活用やDX（デジタルトランスフォーメーション）の手法が盛んに議論される一方、データの利活用環境やそれを整備するデータ組織・人材について「理想と現実のギャップ」に苦しむ企業は少なくないでしょう。 そうした企業にとって、事業で得られたデータをスピーディーな意思決定につなげたり、そのプロセスを牽引する人材を育成したりすることは、喫緊の課題であるように思います。 データを活用してカスタマー・クライアント双方の「不の解消」を目指すリクルートも例外ではなく、これまでさまざまな課題に直面してきました。そんな中、同社のデータ推進室では2022年、「データに基づく意思決定の実現」を目標に、D3M（Data Driven Decision Making）部を設立。高精度な意思決定を実現すべく、高品質なデータを提供するアナリティクスエンジニアという職種を導入しました。 一般的に、アナリティクスエ
データマネジメントなき経営は、破綻する。 〜2つのデータ分析プロジェクトに学ぶ「残酷な真実」〜 第1回 DLG Cross (データマネジメントとデータパイプライン) の発表資料です。 https://data-learning-guild.connpass.com/event/170177/ データマネジメントの Why（なぜ必要か） What（どんな活動なのか） How（どうやるのか）について、 データ分析プロジェクトの成功例と失敗例を比べながら紹介します。 参考文献『データマネジメントが30分でわかる本』 https://amazon.co.jp/dp/B085W4YSZJ/ [2020-04-21] 一部表現を修正しました。
Data Management Guide - 事業成長を支えるデータ基盤のDev&Ops #TechMar / 20211210
---------------------------------------------------------------------------------------- 【PR】一緒に働きましょう！ https://kazaneya.com/kdec ---------------------------------------------------------------------------------------- 「Tech × Marketing Conference 2021 #データマネジメント」基調講演の登壇資料です。 https://techxmarketing.connpass.com/event/229173/ データ活用やDXが注目されている一方で、実際にプロジェクトを進めようとすると「必要なデータが入力されていない」「用途を実現できるほどデータ品質が高
データ基盤のためのリーダブルSQL
これは何？ 私tenajimaがデータ基盤のパイプラインを作るとき、レビューするときに意識している点を言語化したものです データ基盤を作る上での考え方の一つに役立てていただければ幸いです この記事の前提 dbtを使ったデータ基盤構築を念頭に置いて書いています、dbtの記法が出てきます CTEsが使える環境を想定しています 記事内でデータエンジニアもアナリティクスエンジニアも総称してデータエンジニアと呼んでいます データ基盤を「使う側」のクエリと「作る側」のクエリの違い 最近ではファーストキャリアからデータエンジニアの方も出てきているかもしれませんが、データサイエンティスト、アナリスト、ソフトウェアエンジニアを経験してデータエンジニアを行っている人が一般的と考えています。 特にデータサイエンティスト、アナリストからデータエンジニアへの転向は私の周りでは多いように感じており、その方達は(過去の
『データマネジメントが30分でわかる本』を出版しました - 下町柚子黄昏記 by @yuzutas0
『データマネジメントが30分でわかる本』をKindleで販売開始しました！データ活用に関わる方々はぜひお買い求めいただければと思います！https://t.co/aRRYIsJeqR— ゆずたそ (@yuzutas0) March 13, 2020 （自称）企画屋・コンセプトデザイナーの @yuzutas0 です。 共著者・寄稿者を初めとして、スポンサーやレビュアーの皆様、各所で書籍を紹介してくださった皆様、 その他何らかの形でご協力いただいた皆様、本当にありがとうございました。 発売から間が空きましたが、スポンサー報告が完了したので、このブログに制作秘話をまとめます。 自費出版に関心がある人のヒントになれば幸いです。 もくじ もくじ 1. 書籍について 1-1. 書籍概要 1-2. 購入方法 1-3. 本書への反響 1-4. 関係者の皆様 2. 裏話 2-1. きっかけ 2-2. 企画
毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management
毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management
第16回日本統計学会春季集会での発表資料です。 https://confit.atlas.jp/guide/event/tjss2022spring/top https://ies.keio.ac.jp/events/17173/ 講義や共同研究のご相談はブログのお問い合わせ欄にご連絡ください。 https://yuzutas0.hatenablog.com/
Machine Learning Casual Talkは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話せる会です。実際に運用していく上での工夫や、知見を共有します。第12回目のテーマは「機械学習プロジェクトに関する「ベストプラクティスとアンチパターン」。機械学習ではデータを扱いますが、そのデータマネジメントがしっかりしていないと破綻してしまうという点について、ゆずたそ氏がお話します。前半は使えないデータとは何かについて。 自己紹介 ゆずたそ氏（以下、ゆずたそ）：では、発表を始めたいと思います。「データマネジメントなきMLは、破綻する。〜こんなデータじゃ機械学習できねぇよ問題の処方箋〜」という話をしたいと思います。 はじめに、まず自己紹介です。「yuzutas0」というアカウントをやっています。機械学習の専門家ではないのですが、機械学習を使った施策に
Overview of The Modern Data Stack / モダンデータスタック概論
顧客に価値を届け続けられる プロダクトであるために ~B2B SaaSにおいてプロダクトビジョン・戦略を改めて 策定するまでの道のり~
累計参加者8,500名！ #DataEngineeringStudy の43スライドから学ぶ、データエンジニアリングの羅針盤 / 20220224
primeNumber主催イベント「01(zeroONE)」兼「DataEngineeringStudy番外編」の登壇資料です。掲載内容は収録時点の情報にもとづきます。 https://01.primenumber.co.jp/ https://forkwell.connpass.com/event/237704/
最終更新日： 2020年8月6日 データを活用する多くの企業の価値が向上しています。世界的な企業は、ユーザのデータを巻き込み広告などのビジネスを展開し、現在、多くのビジネスはデータを資本に展開されているといっても過言ではないでしょう。 一方、データの活用の環境が整っている会社ばかりではありません。電子化されていないデータ、管理者がバラバラなデータ、企業によってデータに関する多くの課題があることでしょう。データの課題は、そのままAIの活用を大きく遅らせる足かせにもなってしまいます。 この記事では、重要性が高まる「データマネジメント」について解説します。 バズワード化するAIとデータマネジメントの必要性の高まり 2010年代に入り、今までのシステム以上の精度で画像認識することが可能になり、ディープラーニングなど機械学習への注目が高まりました。 AIの導入に少しでも興味を持った方は、AIの中でも
データマネジメントを実施したい人には必読の本「データマネジメント知識体系ガイド DAMA DMBOK」の要約・解説記事を書いてます。まとめて読めるようにマガジンとしてまとめました… もっと読む
こんにちは。プラットフォーム開発部兼財務データ企画部のshigeniiと申します。 普段はデータ基盤の運用保守、および、全社的なデータ活用やデータ駆動推進を担当しています。 今回は、財務に関する情報の収集からその可視化までの過程をシステム化することで、事業計画や予算策定のプロセス改善に結び付けた我々の取り組みについて、システム化に焦点を当てながら書き綴りたいと思います。 この記事がバックオフィス業務において、同じような課題を抱えている方に少しでもご参考になれば幸いです。 経緯 財務レポート可視化プロジェクト システム化にあたっての具体的な取り組み Before After システム化にあたっての課題 今回の対応 全体的なシステム構成 財務レポートを作るまでのながれ 説明1．各業務システムのデータを取得 説明2．マスタ情報の取得・作成 説明3．データの加工・突合機能 説明4．データに対するセ
「実践的データ基盤への処方箋」から読み解く「データを扱うビジネスパーソン」のキャリアパス - Lean Baseball
なんやかんやで, ITコンサルタント（復帰）生活から半年経ったマンです. マネジメントからアーキテクチャ, はたまた技術的なLTまでやらせてもらえて楽しく過ごしております*1. 昨年の話になりますが, コミュニティーやその他の活動で色々とお世話になってる @yuzutas0さん達が執筆しました, 「実践的データ基盤への処方箋」を頂戴いたしました. 実践的データ基盤への処方箋〜 ビジネス価値創出のためのデータ・システム・ヒトのノウハウ 作者:ゆずたそ,渡部 徹太郎,伊藤 徹郎技術評論社Amazon ひと言で言うと, データ活用のためにこういう本が欲しかったんや！！！ というくらい良著で, データ活用に必要な「人・組織・アーキテクチャ」をいい感じに網羅的に扱っていて良きでした（と, 読み終えた時の感想ツイートがそう言ってました）. データを扱う人すべてにおすすめしたい一冊です 読み終えた後も,
データから正しい意思決定を行うために全社横断プロジェクトにおける取り組み 〜マーケティング・テクノロジーフェア 大阪 2023 登壇レポート〜 - MonotaRO Tech Blog
データ基盤グループの吉本です。 6月22日(木)にインフォーマ マーケッツ ジャパン株式会社主催で行われたマーケティング・テクノロジーフェア 大阪 2023にてデータ活用やデータ管理に関する取り組みの紹介を行いましたのでイベントレポートとして報告します。 イベント概要 www.tfm-japan.com マーケティング・テクノロジーフェアは主にマーケティング活動におけるイベントで各種のセミナーや出展ブースがあります。 その中で、先日弊社が全社におけるデータ活用に取り組んでいることを受けて、データ活用の観点で話してほしいと主催者からご依頼いただき、今回登壇する形となりました。 私が登壇したセミナーは事前登録が満席となり、別会場でのサテライト配信や翌日のイベント内で録画配信も行われました。 最終的にサテライトならびに録画配信合わせて157人の方にご参加いただきました。 発表の様子 サテライト会
風音屋TechTalk #1 メタデータ入門 の発表資料です。 https://kazaneya.connpass.com/event/265752/ 会社や製品に関する問い合わせは、以下にご連絡ください。 株式会社Quollio Technologies お問い合わせフォーム https://quollio.com/contact
マーケター自身がデータを管理するために、広告運用にdbtを導入した経緯と効果 - MonotaRO Tech Blog
こんにちは、マーケティング部門広告グループの小林です。この記事ではオンライン広告運用に使っているデータ変換処理をdbtに移行した過程と得られた効果についてご紹介します。 モノタロウでは、全社的なデータ活用研修などにより、マーケティングのようなビジネス系の部署でも、SQLを自身で書いてデータ抽出を行い、数字に基づいた意思決定を行っています。その一方で、集計後の数値のズレやドメイン固有のデータの品質管理など、活用が進んだ企業ならではの課題というのも表面化してくるようになってきました。 オンライン広告運用においては、投下した費用など配信実績のレポーティング、広告媒体へのデータ送信などのいわゆるELTを安定的に回す仕組みが必要になりますが、処理の自動化やデータの品質まで求められるようになると、「データが抽出できる」だけでは限界が見えてきていました。そこで今回、マーケター自身がデータを管理する立場に
BigQueryの承認済みビューを利用した社内データ公開設計 - enechain Tech Blog
はじめに 旧BigQuery構成と課題点 新GCP Project/BigQuery構成 承認済みビューの設定 結果 終わりに はじめに enechainのデータプラットフォームデスクで2年目エンジニアをしている菱沼です。 本記事では、社内ユーザに対する閲覧権限をBigQueryの承認済みビューを用いて改善した例をご紹介します。 事業規模の拡大に伴い、各種データへのアクセス権限整備の重要性が増し、BigQuery上のデータも厳密な権限管理が求められるようになりました。 今回は、我々が抱えていたBigQueryアーキテクチャの権限管理上の課題と、その課題に対する取り組みについて具体的にご紹介します。 ぜひ最後までお付き合いください！ 旧BigQuery構成と課題点 データプラットフォームデスクで構築しているデータ基盤の1つに、 外部データソースから取得したデータを収集・蓄積するためのETLパ
Timee × Commune データチーム勉強会より
訳者まえがき 原著者の Chris Riccomini の許可を得て以下の記事を翻訳・公開しました。 riccomini.name 下記より記事翻訳本文です。 データエンジニアリングの未来 私は最近、近頃のデータエンジニアリングがこれまで来た道について、また、この分野の仕事の将来について考えてきました。考えのほとんどは、私たちのチームが WePay で実践していることを背景にしています。その一方、以下に述べる考えは普遍的で、共有する価値があるものと思っています。 データエンジニアリングの仕事は、組織におけるデータの移動と処理を支援することです。これには、一般的に、データパイプラインとデータウェアハウスという2つの異なるシステムが必要です。データパイプラインはデータの移動を担当し、データウェアハウスはデータの処理を担当します。これは、やや過度に単純化しています。バッチ処理とストリーム処理では
新型コロナウイルスの感染拡大を食い止めようと、今、急速に活用が進んでいるのが、私たちの個人データです。LINEから突然届いた健康に関するアンケートに驚いた人たちも多いのではないでしょうか。ウイルスという強敵にビッグデータで挑むためですが、私たちはこの問題とどう向き合うべきなのでしょうか。憲法学の立場から研究している慶應義塾大学の山本龍彦教授に伺いました。（2020年5月4日） 大手IT企業の協力なくして「公衆衛生」なし 新型コロナウイルスの感染拡大で何が明らかになってきたのか？ 山本龍彦教授 国家は『プラットフォーム事業者』と呼ばれるLINEやヤフー、グーグルなど大手IT企業の協力を得なければ「公衆衛生」という重要な国家機能を実効的に果たせないことがわかった。国民の生活の実態や健康情報に関する詳細なデータを持っているのは、国家ではなくプラットフォームで、協力を得なければ有効な対策を打てない
こんにちは。 2024/05よりファインディ株式会社にデータエンジニアとして入社した田頭(tagasyksk)です。本記事では、データ変換サービスであるDataformについてその活用方法や導入後の効果についてご紹介します。 弊社では、現在次のような構成でデータ基盤を構成しており、BigQuery内でのデータ変換にDataformを利用しています。 この構成を踏まえてご覧いただければ幸いです。それでは見ていきましょう！ Dataformについて 導入の背景 データ基盤に必要な機能が揃っており、簡単に運用を始められること クエリ作成のハードルが非常に低いこと 導入後の効果 FindyでのDataform運用 導入しての課題 改善点 今後の展望 データの品質向上 データモデリング 終わりに Dataformについて サービスの説明については、公式ドキュメントを引用します。 Dataform は
アナリティクスエンジニアのキャリアとデータモデリング 〜資料「30分でわかるデータモデリング」を読む前に知ってほしいこと〜 / 20240116
株式会社リクルート様の社内勉強会で用いた資料となります。 関係者の許諾を得て公開しています。 ＜採用・カジュアル面談＞ https://kazaneya.com/recruit ＜サービス提供＞ https://kazaneya.com/service
今回は、データが中心で人間を不幸にするデータドリブンな文化と、人間中心でデータを道具としてデータインフォームドな文化の違いの話をします。今回の記事を書くにあたって、「Becoming Data Driven, From First Principles」（リンク）を大きく参考にさせてもらっています。 データドリブンという言葉は日本でもだいぶ浸透していますね。 私はふだんアメリカに住んでいるのですが、仕事の関係でたまに日本に行きます。そのタイミングでExploratoryのお客様の方たちとお話をさせていただくのですが、そのさい「データドリブン」になりたいが、うまくいかないという話をよく耳にします。 ここで質問ですが、みなさんはなぜ「データドリブン」になりたいんでしょうか？ こんな質問をすると、今さら当たり前のことを聞くのはやめてよ、 と言われるかもしれません。 今となってはどんなビジネスでも
ママ向けQ&Aアプリ「ママリ」は、サービス内に機械学習を用いて熱量の高いユーザー同士のコミュニティを健全な状態に保ったり、ユーザー体験をよりよくしたりするなど、技術の力でママの一歩を支えています。インフラ・機械学習チームの永井、野澤にインタビューをし、「ママリ」が秘めている可能性について語っていただきました！ まず、はじめにインフラ・機械学習チーム永井、野澤のご紹介です。永井：ウェブオペレーション領域を専門にし、インフラエンジニアを担当しています。現在は、Docker・AWSをベースとした「ママリ」のサービス基盤作りに取り組む傍ら、ここ一年は機械学習を学んでおり、MLOps的取り組みや一部モデル作成も担当しています。 野澤：趣味で勉強し始めた機械学習にハマり、SIerから機械学習エンジニアとして、コネヒトに入社をしました。「ママリ」のコミュニティ健全化やレコメンドシステムへの機械学習実装に
DataScience系プロジェクトの育て方 | CyberAgent Developers Blog
AI事業本部 Dynalystの事業責任者の木村です。 Dynalystは広告配信プロダクトとしてもうすぐ6周年を迎えるサービスなのですが、ある程度理想とする組織の姿に近づきつつあるので、プロダクトを支えるデータサイエンスチームについてどういう風にプロジェクトが育っていったか少し紹介しようと思います。 前提とする状況は以下。 広告配信に関わるログは基本的に全てS3に蓄積されている 分析基盤としてRedshiftが稼働しており、だいたいのログはSQLでアクセス可能 配信のアプリケーションはScalaでできている (分析で利用する言語はPython, Rが主) 当然最初からチームがあった訳ではなく、徐々にプロジェクトらしくなっていったというのが正直なところです。 人数論で語るべきものではありませんが、実際やれることの幅は変わってるなということで、規模に応じてどう変わっているかをみてみます。 【
はじめに エニグモでデータサイエンティストを名乗っている庄子です。こちらは Enigmo Advent Calendar 2019 の25日目の記事です。 今年の振り返りも兼ねてのポエムとなります。 さて、データサイエンティストが活躍するためのスキル要件として、いくらでも切りようがあると思いますが、特に自分自身に感じている課題について、4つの力という観点で書きたいと思います。 その1 提案力 PoCとして小規模のデモを行う そのデータサイエンスのアウトプットが使えそうか、事業に詳しい人に想像してもらう 実際にデータサイエンスを使って問題解決できそうな場合も、実際にやってみないと分からないですし、得られたアウトプットが事業に有効かどうかを、事業に詳しい人に意見をいただいた方が良いでしょう。筋が悪そうな分析は早めに判断してもらうためにも、なるべく小規模でPoCを行います。 本年度の振り返りとし
風音屋の選考課題「K-DEC：Kazaneya Data Engineering Criterion」に関する紹介資料です。 https://kazaneya.com/kdec/
はじめに こんにちは。dely開発部でデータエンジニアしてる伊ヶ崎（@_ikki02）です。 本記事はdely Advent Calendar 2020の5日目の記事です。 adventar.org adventar.org （delyでは今年から2レーンでアドベントカレンダーやってます。） 昨日は当社デザイナーの@ysk_enが「マジで助かった、新卒1年目デザイナーの教科書的noteや便利なサービス8選」という記事を書きました。 タイトルの付け方がうまいですね。僕も見習いたいです。 ぜひこちらも一読いただけると嬉しいです！ さて、本日僕が書こうと思う内容はズバリこれです。 あまり最近のデータ基盤について外部発信できていなかったのと、 ちょうど社内でデータマネジメントの機運を高めようと動いていることもあり、 この機会に情報発信しちゃおうと思います。 （ちなみに過去の記事はこちら） tech
はじめに データ分析業に転職してから、機械学習や統計学の手法を中心に学んで来たのですが、それってデータありきの話なんですよね。 データ分析をビジネスに活用するためには、まずデータそのものの準備や適切な管理が必要になります。Garbage in Garbage outという言葉もありますもんね。 在宅勤務で時間に余裕ができた今、データマネジメントについて学んでみることにしました。 勉強材料 データマネジメントを学ぶ書籍としては、 「データマネジメント知識体系ガイド（DMBOK）」というバイブルがありますが、600P超えで如何せん初心者にはハードルが高いです💦。 と思っていたところ、この本を実務者の経験を踏まえて要約した書籍がありました。 その名も「データマネジメントが30分でわかる本」。この本の優れている点はタイトルに書かれているとおり30分でデータマネジメントの概要が分かる点です。 章ご
合同会社風音屋（本社：東京都中央区、代表社員：横山翔）は、データ活用やDX推進に関わる方々を対象に、データマネジメントやデータエンジニアリングに特化した「技術顧問」サービスの一般提供を開始します。 ■背景と目的 データ活用やDXが注目されている一方で、実際にプロジェクトを進めようとすると「必要なデータが入力されていない」「用途を実現できるほどデータ品質が高くない」「具体的にどのようにデータを連携するのか分からない」といった課題が次々と浮上します。 さらに、データ整備に投資をしても「コンサルティング会社や開発ベンダーに任せたがデータ更新が遅延してばかりで改善の兆しがない」「フリーランスのデータエンジニアにシステム構築をお願いしたが、作り逃げされてしまって、残されたシステムの運用に困っている」「内製エンジニア部隊を立ち上げたが、社内にスキルを評価できる管理職がいない」といった組織課題が次々と浮
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
Looker Studioの魅力と便利な使い方を紹介します - yasuhisa's blog
![[大喜利]AIが言わなそうなこと](https://cdn-ak-scissors.b.st-hatena.com/image/square/b1638cdb5807a4788e4ba3c1109a984166e095fc/height=288;version=1;width=512/https%3A%2F%2Fanond.hatelabo.jp%2Fimages%2Fog-image-1500.gif)
データ職種の課題図書リストを作りたい - 下町柚子黄昏記 by @yuzutas0
DXに関する私的な殴り書き - 下町柚子黄昏記 by @yuzutas0
データマネジメントなき経営は、破綻する。by @yuzutas0 / 20200419
民間企業におけるデータ整備の課題と工夫 / 20220305
こんなデータじゃ機械学習できねぇよ MLにおけるデータマネジメントの重要性
「今機械学習に必要なのはデータマネジメント」5つの秘訣を実例つきで紹介 | AI専門ニュースメディア AINOW
データマネジメント知識体系ガイドDMBOK要約・解説｜よしむら＠データマネジメント担当｜note
事業計画を立てる上で必要なプロセスをシステム化し改善した話 - pixiv inside
【Quollio】メタデータ・マネジメント入門
ダッシュボードを使ってもらうには、 現場へのヒアリングが重要だと 改めて気づいた話
(翻訳) データエンジニアリングの未来 - satoshihirose.log
「公衆衛生」と「個人データ」 慶應義塾大学 山本龍彦教授 NHK特設サイト
FindyにおけるDataformの活用とその効果 - Findy Tech Blog
改善のための知識をデータから得るために必要なデータインフォームド文化 - Qiita
MLチームが語る「ママリ」の可能性 | Connehito Tech Magazine
データサイエンティストとしてアウトプットを改善するために必要な4つの力 - エニグモ開発者ブログ
Amazon.co.jp: データマネジメントが30分でわかる本: ゆずたそ (著), はせりょ (著), 株式会社風音屋 (著), ゆずたそ (編集): Digital Ebook Purchas
データエンジニアリングの実践課題「K-DEC」説明資料 / 20211006
delyクラシル、最近のデータ基盤の話 - dely Tech Blog
製造現場におけるデータマネジメントを考える - だーくまさんのブログ
データマネジメント・データエンジニアリング特化の「技術顧問」サービスを提供開始
dl.ndl.go.jp
news.yahoo.co.jp
olympics.com
olympics.com
news.yahoo.co.jp
news.yahoo.co.jp