データレイクハウス + 機械学習基盤 on Azure - Qiita

はじめに こんにちは、イトーです。 「データ基盤が未整備だけどデータを CSV で貰って機械学習して、良い感じのモデルができた。本番投入どうしよう」というような状況の案件に支援に入ることが今年何度かありました。このような場合には運用を支える基盤が必要になるのですが、今のところデータレイクハウスと機械学習基盤の組み合わせから始めるとなかなか良いのではないかと思っており、今日はこの組み合わせで Azure 上にデータ処理基盤＆機械学習基盤を実装してみようと思います。実装をしている時間がなくなってしまったので概念の説明だけしようと思いますすいません。 アーキテクチャ データレイクハウス概要 データレイクハウスは、データ処理エンジンから直接アクセス可能な低コストなストレージを中心に据えたデータ管理アーキテクチャです。 「データ処理エンジンから直接アクセス可能な低コストなストレージ」は、技術的にはデ