はてなブックマーク

今年の10月からグロービスのデータサイエンスチームに配属され、2ヶ月間データ基盤構築をしてきました。実際やってきたことを踏まえて、データ基盤の構築時に気をつけるべきポイント7つを紹介していきたいと思います。 最強だと思う分析用データベースを選ぶ ワークフローエンジンでジョブを管理する ステークホルダーとの調整を優先度高くする 権限(IAM)の運用ルールを決める 監視設定を忘れずに メタデータ管理ツールを用意する SQL中心アーキテクチャを意識する 1. 最強だと思う分析用データベースを選ぶ ここが一番大事です。自分が最強だと思う分析用のデータベースを選んでください。ちなみに、私はBigQuery信者なので、BigQueryを強くおすすめしますが、いろんなデータベースがあるので今の環境に一番あった分析用データベースを選んでください。 分析用データベースの全体像を掴むには渡部徹太郎さんの資料「

Cloud PubSubのAcknoledgeがよくわからなかったのでまとめ。基本pullのsubscriptionであることを前提としています。すべて公式docに載っている内容です。 Cloud PubSubとは? イケてるマネージドキューサービス https://cloud.google.com/pubsub/docs/overview Pubsubのack(Acknowlede)とは? サブスクライバーがpubsubに送る確認応答のこと pubsubはacknowledeを受け取ると、message storageからメッセージを削除する Pub/Sub の概念とメッセージ フロー データプレーン - メッセージの一生 at-least-once配信 ackDeadliceSecondsで設定された期限前にackされない場合は、subscriberに再送信される(デフォルト10秒/最

Started DELETE "/api/v1/users/sign_out" for 127.0.0.1 at 2018-11-29 11:26:51 +0900 Processing by Users::SessionsController#destroy as JSON Parameters: {"session"=>{}} User Load (2.2ms) SELECT `users`.* FROM `users` WHERE `users`.`id` = 1 ORDER BY `users`.`id` ASC LIMIT 1 ↳ /Users/xxx/.rbenv/versions/2.5.3/lib/ruby/gems/2.5.0/gems/activerecord-5.2.1/lib/active_record/log_subscriber.rb:98 HTTP Origi

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?