エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Azure DatabricksのAuto Loaderのファイル通知モードを使用する - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Azure DatabricksのAuto Loaderのファイル通知モードを使用する - Qiita
はじめに DatabricksのAuto Loaderは、データがクラウドストレージに到着すると、それらをストリーミン... はじめに DatabricksのAuto Loaderは、データがクラウドストレージに到着すると、それらをストリーミングソースとして自動的に処理する。Auto Loaderにはファイルの検出モードとしてディレクトリ一覧とファイル通知の2つのモードがサポートされている。ファイル通知モードはクラウドの中で提供されている他のサービスの上に構築されている。今回はこのファイル通知モードをAzure上で動作させる方法をここに記録する。 Azure上でのAuto Loaderのファイル通知モードの構成 Azure上でAuto Loaderのファイル通知モードを構成すると、ファイルが到着したことを検知して配信するサブスクリプションサービスとしてAzure Event Gridが作成される。また、配信先のキューサービスとしてAzure Queue Storageが作成される (これは自分で作成してマニュアル