データ基盤構築をする際におさえておくべき7つのポイント - Qiita
今年の10月からグロービスのデータサイエンスチームに配属され、2ヶ月間データ基盤構築をしてきました。実際やってきたことを踏まえて、データ基盤の構築時に気をつけるべきポイント7つを紹介していきたいと思います。 最強だと思う分析用データベースを選ぶ ワークフローエンジンでジョブを管理する ステークホルダーとの調整を優先度高くする 権限(IAM)の運用ルールを決める 監視設定を忘れずに メタデータ管理ツールを用意する SQL中心アーキテクチャを意識する 1. 最強だと思う分析用データベースを選ぶ ここが一番大事です。自分が最強だと思う分析用のデータベースを選んでください。ちなみに、私はBigQuery信者なので、BigQueryを強くおすすめしますが、いろんなデータベースがあるので今の環境に一番あった分析用データベースを選んでください。 分析用データベースの全体像を掴むには渡部徹太郎さんの資料「
Uber's Data Platform with Zhenxiao Luo Holiday Repeat - Software Engineering Daily
Originally published May 24, 2018 When a user takes a ride on Uber, the app on the user’s phone is communicating with Uber’s backend infrastructure, which is writing to a database that maintains the state of that user’s activity. This database is known as a transactional database or “OLTP” (online transaction processing). Every active user and driver and UberEATS restaurant is writing data to the
Retty データ分析チーム - 立ち上げ2年目の振り返り 〜データプラットフォーム/データ民主化/統計モデル〜 - Retty Tech Blog
この記事はRettyアドベントカレンダー19日目の記事です。 昨日はretty-y-takaseによるプロポーザル提出は個人のモチベーションに左右されずコントロールすることが可能なのかでした。 1. はじめに こんにちは、Rettyのデータ分析チームでマネージャーをやっている平野(twitter / fb)です。 データ分析チームを去年の4月に立ち上げてから1年と9ヶ月が立ちました。1年目ではチームの意義や組織における位置づけ・分析するための環境つくりなど手広くやってきました。 1年目を振り返ると、データ分析チームとして各データアナリストがPJに貢献する体制が構築できたのと、分析するためのデータレイク層やデータマート・ダッシュボード開発など進み、組織としては最低限のデータ活用を行える土壌が整えることができたと思っています。 そのときの取り組んだ内容は去年のアドベントカレンダーで紹介してます
データ基盤開発ひとり - Qiita Advent Calendar 2019 - Qiita
The Qiita Advent Calendar 2019 is supported by the following companies, organizations, and services.
LINE社内でのサービス横断データ活用の取り組み「Feature as a Service」の全体像
LINE社内でのサービス横断データ活用の取り組み「Feature as a Service」の全体像 Feature as a Service at Data Labs #1/2 2019年11月20、21日、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2019」が開催されました。20日は「Engineering」をテーマに技術的な内容のセッション、21日は「Production」をテーマに実践的な内容のセッションを多数取り揃え、LINEのエンジニアリングにおける知見を各プロダクトのキーマンがシェアします。「Feature as a Service at Data Labs」に登壇したのはLINE Machine LearningチームのChaerim Yeo氏。データ専門研究開発組織「LINE Data Labs」での機械学習の特徴量
Big Data, Big Decisions: Finding the Right Technology for Interactive Analytics at Salesforce - Salesforce Engineering Blog
Big Data, Big Decisions: Finding the Right Technology for Interactive Analytics at Salesforce written Ram Sangireddy and Kartik Chandrayana, Product Management, Big Data Platform @ Salesforce, with contributions from our colleagues at Salesforce: Andrew Torson, William Earl, Vincent Poon, and Lars Hofhansl The world has come a long way from the business needs around data and supporting technologie
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
自由と統制のバランス 分析基盤のアプローチ