データ基盤のメタデータを継続的に管理できる仕組みを作る - Hatena Developer Blog
こんにちは。MackerelチームでCRE(Customer Reliability Engineer)をしているid:syou6162です。 CREチームではカスタマーサクセスを進めるため、最近データ分析により力を入れています(参考1, 参考2)。データ分析を正確に行なうためには、データに関する正確な知識が必要です。今回はより正確なデータ分析を支えるためのメタデータを継続的に管理する仕組みについて書いてみます。 データに対する知識: メタデータ データ分析を正確に行なうためには、データ自身に関する知識(=メタデータ)が必要です。例えば、Mackerelのデータ分析タスクでは以下のような知識が必要とされることが多いです。 このテーブル / カラムは何のためのテーブルなのか 似たようなカラムとの違い 集計条件の違い、など データがどのような値を取り得るか SELECT column, COU
データ基盤構築をする際におさえておくべき7つのポイント - Qiita
今年の10月からグロービスのデータサイエンスチームに配属され、2ヶ月間データ基盤構築をしてきました。実際やってきたことを踏まえて、データ基盤の構築時に気をつけるべきポイント7つを紹介していきたいと思います。 最強だと思う分析用データベースを選ぶ ワークフローエンジンでジョブを管理する ステークホルダーとの調整を優先度高くする 権限(IAM)の運用ルールを決める 監視設定を忘れずに メタデータ管理ツールを用意する SQL中心アーキテクチャを意識する 1. 最強だと思う分析用データベースを選ぶ ここが一番大事です。自分が最強だと思う分析用のデータベースを選んでください。ちなみに、私はBigQuery信者なので、BigQueryを強くおすすめしますが、いろんなデータベースがあるので今の環境に一番あった分析用データベースを選んでください。 分析用データベースの全体像を掴むには渡部徹太郎さんの資料「
Uber’s Data Platform in 2019: Transforming Information to Intelligence
You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more Uber’s busy 2019 included our billionth delivery of an Uber Eats order, 24 million miles covered by bike and scooter riders on our platform, and trips to top destinations such as the Empire State Building, the Eiffel Tower, and the Golden Gate Bridge. Behind the scenes
Uber's Data Platform with Zhenxiao Luo Holiday Repeat - Software Engineering Daily
Originally published May 24, 2018 When a user takes a ride on Uber, the app on the user’s phone is communicating with Uber’s backend infrastructure, which is writing to a database that maintains the state of that user’s activity. This database is known as a transactional database or “OLTP” (online transaction processing). Every active user and driver and UberEATS restaurant is writing data to the
Retty データ分析チーム - 立ち上げ2年目の振り返り 〜データプラットフォーム/データ民主化/統計モデル〜 - Retty Tech Blog
この記事はRettyアドベントカレンダー19日目の記事です。 昨日はretty-y-takaseによるプロポーザル提出は個人のモチベーションに左右されずコントロールすることが可能なのかでした。 1. はじめに こんにちは、Rettyのデータ分析チームでマネージャーをやっている平野(twitter / fb)です。 データ分析チームを去年の4月に立ち上げてから1年と9ヶ月が立ちました。1年目ではチームの意義や組織における位置づけ・分析するための環境つくりなど手広くやってきました。 1年目を振り返ると、データ分析チームとして各データアナリストがPJに貢献する体制が構築できたのと、分析するためのデータレイク層やデータマート・ダッシュボード開発など進み、組織としては最低限のデータ活用を行える土壌が整えることができたと思っています。 そのときの取り組んだ内容は去年のアドベントカレンダーで紹介してます
データ基盤開発ひとりのカレンダー | Advent Calendar 2019 - Qiita
The Qiita Advent Calendar 2019 is supported by the following companies, organizations, and services.
LINE社内でのサービス横断データ活用の取り組み「Feature as a Service」の全体像
LINE社内でのサービス横断データ活用の取り組み「Feature as a Service」の全体像 Feature as a Service at Data Labs #1/2 2019年11月20、21日、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2019」が開催されました。20日は「Engineering」をテーマに技術的な内容のセッション、21日は「Production」をテーマに実践的な内容のセッションを多数取り揃え、LINEのエンジニアリングにおける知見を各プロダクトのキーマンがシェアします。「Feature as a Service at Data Labs」に登壇したのはLINE Machine LearningチームのChaerim Yeo氏。データ専門研究開発組織「LINE Data Labs」での機械学習の特徴量
Big Data, Big Decisions: Finding the Right Technology for Interactive Analytics at Salesforce - Salesforce Engineering Blog
Big Data, Big Decisions: Finding the Right Technology for Interactive Analytics at Salesforce written Ram Sangireddy and Kartik Chandrayana, Product Management, Big Data Platform @ Salesforce, with contributions from our colleagues at Salesforce: Andrew Torson, William Earl, Vincent Poon, and Lars Hofhansl The world has come a long way from the business needs around data and supporting technologie
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データウェアハウスモデリング入門（ダイジェスト版）（事前公開版）
http://www.vldb.org/pvldb/vol12/p2094-zhu.pdf
自由と統制のバランス 分析基盤のアプローチ