全社員からデータ基盤への問い合わせが殺到して2人では捌けなくなったので仕組みで解決する話〜datatech-jp Casual Talks #2 登壇後記〜 - MonotaRO Tech Blog
データ基盤グループの吉本です。 今回は先日開催されたdatatech-jp Casual Talksで登壇した内容について補足も含め紹介します。 datatech-jp.connpass.com 発表資料はこちらです。 データ基盤に関わる問い合わせ対応を仕組みで解決する from 株式会社MonotaRO Tech Team www.slideshare.net 発表内容の背景（問い合わせ対応における課題） 発表したこと 発表の反響 最後に datatech-jpは主にデータエンジニアリングやデータ活用に関わる方が参加するコミュニティで、DWHやデータマネジメント、データエンジニアリングに関わる技術、ツールなどについて知見を共有したり、輪読会やLT会のようなイベントを実施しています。 オーガナイザーとして同社同僚の吉田(id:syou6162)が参加しています。 その中でCasual
みなさん、データのメタデータ管理ってどうやってますか？ #datatech-jp レポート｜よしむら＠データマネジメント担当
メタデータの価値と意義データ基盤作ってもメタデータがないと必要なデータを発見するのは難しい。 テーブルの物理名とデータの中身だけでは想像はできるけど、意外とわからない。 また、データ自体の意味以外にも制約条件とか利用者情報などがあり、そういうメタデータを整備することでデータ活用ができる。 メタデータの種類システム基礎系：DDLとか ビジネス系：活用方法 関連性：リネージやER図 統制系：品質情報 セキュリティ情報：アクセス権限情報 システム運用系：ジョブ実行ログ ソーシャル系：利用者のレビューやアクセス頻度 メタデータの管理とデータカタログメタデータを管理するためのツールとしてはデータカタログがある。 データカタログは銀の弾丸だと思われがちで、いいデータカタログがあればだれもが使ってデータ利活用が進むと思われがちだが… 実際データカタログを入れたところで、メタデータは入力されずカタログ・ゴ
2021/12/03 DMBOKを横断組織で活用した話 #datatech-jp #AdventCalendar2021 #day3 - /home/by-natures/dev*
datatech-jp Advent Calendar 2021 3日目への投稿です。 今年は datatech-jp のコミュニティの方達と話をしたり、輪読会に参加させていただくことができました。datatech-jp 自体の説明は1日目の投稿からご覧いただけます。Slack チャネルもあり、気軽にいろんなことが相談できたり、輪読会を開いたりと徐々に活発になってきていますので、ぜひご覧ください： www.yasuhisay.info 私からは、技術的横断組織にいる私が ここ2年くらいの DMBOK を中心とした社内の活動で得た知見を共有できる範囲でお話します。 所属組織について 私はサイバーエージェント社の Media Data Tech Studio という横断組織にいます。秋葉原ラボという組織は聞いたことがある方もいるかもしれませんが、2021年秋から組織名が変更されています。以下公
データエンジニアリングやデータ活用の知見を共有するコミュニティdatatech-jpをやってますという話 - yasuhisa's blog
この記事は、datatech-jp Advent Calendar 2021の1日目の記事です。 datatech-jpというコミュニティについて 何をやっているコミュニティなの? The Self-Service Data Roadmap読み会 Airflow困り事相談会 waiwai会 どういうコミュニティにしていきたいか datatech-jpというコミュニティについて こんにちは。モノタロウでデータエンジニアをやっているid:syou6162です。 今年の夏頃からdatatech-jpというコミュニティの運営に関わっています。元々はThe Self-Service Data Roadmapという本の読み会のためにSlackを立てたのがきっかけでした。 評判の良い The Self-Service Data Roadmapの輪読会を８月くらいからゆるっと始めようと思ってます。 興味あ
datatech-jp Casual Talks #3 レポート#2は自分も発表してちょっと疲れたので、#3は気軽に聞いてレポートを書いてみたいな感じ。 今日のコンセプトはハイパー速報レポートを出そうと思って書いている。 概要データエンジニアの人員足りてますか？ モノタロウの採用に関する活動を振り返り、グループ独自に採用活動を始めた背景を紹介します。 GCPとかLookerとかを雑多に管理下板が、DMBOKをベースに管理することを決めた。 DMBOKの領域広すぎて、全然人足りないじゃんみたいな話になって採用活動を頑張ることに。 データ管理の人材獲得が難しい理由 データ管理人材は無くてもサービス存続に困らないため、あまり存在しない エンジニアのキャリアプラン上にデータ管理がなかなか入ってこない 地味なので魅力が伝わりづらい 採用活動をやって良かったこと４つ 口を開けて待っていただけでは余裕が
datatech-jp コミュニティについて
Skip to the content. datatech-jp コミュニティについて 概要 データエンジニアリング、データ活用についての知見を共有したり、交流するためのコミュニティです。 参加条件 年齢・所属問わず、データを使ってなにかしたい、データエンジニアリングやデータ活用に興味がある方ならだれでも。 投稿ガイドライン Slackの主なチャンネル #general : 主にオーガナイザからの連絡に利用します。 #random : ユーザによるイベントや記事などの紹介にご利用ください。（別途「ベンダーや業界団体の方へのお願い事項」もご参照ください） #casual-talks : 雑談などにご利用ください。 #self-introduction : 自己紹介チャンネルです。よろしければぜひ一言お願いします。 #job-offer: 各社の採用促進にご利用ください。 ガイドライン このコ
スタートアップにおけるデータマネジメントの始め方の事例紹介(datatech-jp Casual Talks #5)
datatech-jp Casual Talks #5での発表資料です。 - https://datatech-jp.connpass.com/event/270476/
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
最先端のアルゴリズムがgithubなどから手軽に入手できるようになったことで、ビジネスの現場では、アルゴリズムやモデルの改善より、 アノテーションデータの質や量を改善する方が実用化を目指す上でよりコストメリットのいいアプローチとなりつつあります。 本発表では、従来のモデル改善を中心としたMLOpsの考え方と異なり、データ（アノテーションデータ）改善を中心としたMLOpsの考え方をご紹介します。
新機能 connpass API をメジャーバージョンアップし、「connpass API v2」を公開しました。APIの詳細な仕様や利用方法につきましては、 APIリファレンス をご確認ください。なお、旧バージョンの connpass API v1 は2025年末に廃止される予定です。 新機能 イベント参加者限定の懇親会やミニイベント開催に対応した「サブイベント機能」をリリースしました。 イベント運営を簡素化し、参加者の登録漏れや確認漏れを防ぐのにご活用ください。 主催の方はサブイベントを作成するから、参加者の方はサブイベントが設定されているイベントに参加するから詳細をご確認いただけます。
データリネージの組織導入事例と今後の戦略発表者tosh2230（GMOペパボ） 発表資料＜後であれば更新する＞ 概要データリネージをはじめた背景データリネージとはデータの系譜を明らかにすること。データの可観測性の向上が目的。 Bigfootと名付けられたデータ基盤を運用している。 データ駆動のためのエコシステムの提供 サービスの動的な改善と意思決定の自動化をサポート GMOペパボはいろんな運営サービスがあります。複数サービスを活用していることによる困りごとが２点あります。 データ障害の原因や影響範囲を把握しにくい 業務データの活用状況を把握しにくい 業務データ全体に対するデータリネージがしたい。 データリネージ具体的な手段OSSでStairlightというものを開発しました。 特徴 SQLからデータのつながりを見つける コードベースにあるSQLを探す。 独立性が高い 詳しくはこちらへ GM
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
datatech-jp Casual Talks #3 レポート｜よしむら＠データマネジメント担当
datatech-jp - Qiita Advent Calendar 2024 - Qiita
datatech-jp Casual Talks #1 (2022/02/07 19:00〜)
datatech-jp Casual Talks #4 レポート｜よしむら＠データマネジメント担当