最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
マーケター自身がデータを管理するために、広告運用にdbtを導入した経緯と効果 - MonotaRO Tech Blog
こんにちは、マーケティング部門広告グループの小林です。この記事ではオンライン広告運用に使っているデータ変換処理をdbtに移行した過程と得られた効果についてご紹介します。 モノタロウでは、全社的なデータ活用研修などにより、マーケティングのようなビジネス系の部署でも、SQLを自身で書いてデータ抽出を行い、数字に基づいた意思決定を行っています。その一方で、集計後の数値のズレやドメイン固有のデータの品質管理など、活用が進んだ企業ならではの課題というのも表面化してくるようになってきました。 オンライン広告運用においては、投下した費用など配信実績のレポーティング、広告媒体へのデータ送信などのいわゆるELTを安定的に回す仕組みが必要になりますが、処理の自動化やデータの品質まで求められるようになると、「データが抽出できる」だけでは限界が見えてきていました。そこで今回、マーケター自身がデータを管理する立場に
データ品質の5つの分類と品質管理プロセス
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋（@kazaneya_PR）アドバイザーの笹川です。 本稿は datatech-jp Advent Calendar 2023 14日目の記事です。 本稿では、データ活用において重要な概念である「データ品質」の分類と管理プロセスについて紹介します。 関係者がデータ品質の全体像を把握できる分類方法（「データ品質の5つの分類」） 5つの分類に沿ってデータ品質担保に向けた活動（テスト / 監視など）を整理するためのテンプレート データ品質の現状を把握し、継続的に改善するためのプロセス 一方、改善方法の具体例については、個別の事例やツ
滋賀大学データサイエンス学部（2017） 横浜市立大学データサイエンス学部（2018） 武蔵野大学データサイエンス学部（2019） 長崎大学情報データ科学部（2020） 立正大学データサイエンス学部（2021） ※（）内は設立年度 ただ、個々の大学で公開されているシラバスやカリキュラムを調べてみても、「データエンジニアリング」で独立したような講義はほぼ見つかりません。全体の講義内容を詳しく見ても、データエンジニアリングとして取り扱われるものは先ほどと同様にコンピュータの仕組みとプログラミングの基礎が中心であることが多く、一部でデータベースについて取り上げられているくらいです。 なぜデータエンジニアリング教育が難しいのか このような現状になっている背景を考えてみましょう。それは、データエンジニアリング教育が難しいことにあり、具体的には3つの要因があると考えます。 時間的余裕がない まず、そ
秘伝のredash v1.0.3 から redash v8.0.0 on ECSになるまで - KAYAC Engineers' Blog
この記事はTech KAYAC Advent Calendar 2019 Update/MigrationTrack 3日目の記事です。 昨年のAdvent Calendarで闇のredash の記事を書いていたゲームコミュニティ(Lobi)事業部の自称データエンジニアの池田です。今回も、redashについて記事を書いていきたいと思います。 redashは様々な種類のデータソースにアクセスできる、OSSの素晴らしいダッシュボードツールです。 2017-01-31にv1.0.0-rc.1のリリースされて以来開発が続けられており、この前の2019-10-27にv8.0.0 がリリースされました。 今後もビジネスインテリジェンスの現場でのダッシュボードツールの選択肢として利用され続けることでしょう。 ゲームコミュニティ事業部でのRedashの課題 私の所属するゲームコミュニティ事業部でも、以前本
プロダクトの機能・データについて理解を深める「輪テーブル会」の紹介 - Techtouch Developers Blog
はじめまして、テックタッチで DataEnabling チームのエンジニアマネージャーをしているtaker です。 DataEnabling チームでは、社内の様々な組織のデータ活用をより推進し、プロダクト開発やカスタマサクセスを強化するためデータ基盤の改善や社内からの様々な依頼について日々取り組んでいます。 この記事ではそんな私達のチームが、チーム内でデータに関する知識を共有するプラクティスについて共有させていただくため、一筆したためました。 はじめに 取組内容について 進める上で気をつけている点 実施した結果良かったこと 終わりに はじめに データ活用を進める上では、プロダクトのデータ構造や機能とデータの対応関係について精通している必要があります。 例えば、カスタマーサクセス（CS）から「 xx の機能を有効にしている顧客数を知りたい」という問い合わせがあった際「 xx の機能」が「ど
データエンジニアリングの背景を踏まえてdbt（Data Build Tool）を少し深く理解してみる - Qiita
概要 dbt（Data Build tool）を、前提知識となるデータエンジニアリングにおける現状を踏まえて、どういったツールであるかを説明します。dbtがデータエンジニアリングのあるべき姿としてデザインされており、共有されることが少ないデータエンジニアリングのナレッジを含むため、dbtを利用しない場合でも本記事の内容は有益な情報となっております。 dbtの概要については、下記の記事で整理しています。 データエンジニアリングの技術背景 ストレージコンピューティングの分離が可能なデータ処理エンジン（Spark、Presto等）がデータ分析基盤のデータストアとして用いられるようになってきています。従来であればデータレイクではデータの管理が困難であったが、レイクハウスフォーマット（Delta Lake、Hudi、Iceberg等）の開発によりデータレイクにACID特性を持たせられるようになり、デ
データエンジニアリングとは、組織内外で日々生成されるデータを蓄積し分析するためのデータシステムを構築し維持管理することであり、急速に注目を集めている分野です。近年ではデータエンジニアリングを支えるツールやクラウドサービスが成熟し、組織へのデータ利活用の導入は容易になりましたが、明確な指針のないままデータシステムの構築を進めると費用と時間を無駄に費やすことになります。本書は「データエンジニアリングライフサイクル」を軸にデータシステムの要件を整理することで、組織の「データ成熟度」に応じたデータシステム構築の指針を与えます。またデータエンジニアの立ち位置を明確にし、組織内でデータエンジニアが果たすべき役割を示します。
「Redash v10.1.0」で気になった新機能と機能改善 - kakakakakku blog
2021年10月に Redash の最新バージョン「Redash v10.0.0」がリリースされた．そして現在は「Redash v10.1.0」まで出ている．また Redash 界隈ではよく知られた「正式リリースまで到達しなかった v9.0.0」という話もあり，実に2年振りの正式リリースとなる．Redash を使っている会社だとでは「v8 → v10」にアップデートする機会が多いと思う． バージョン リリース日 v9.0.0-beta 2020-06-11 リリース v10.0.0-beta 2021-06-16 リリース v10.0.0 2021-10-01 リリース v10.1.0 2021-11-23 リリース 今回は Change Log を確認しつつ，「個人的に気になった Redash v10.1.0 新機能と機能改善」を「計5点」紹介する．全ての変更点は以下に載っている． gi
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
データ活用の基盤を築くデータエンジニアの育成に向けて：大学におけるデータエンジニアリング教育の観点から | gihyo.jp
データエンジニアリングの基礎 データプロジェクトで失敗しないために | Ohmsha