エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Databricks on AWSで数百Gのファイルからテーブルを作成しようとすると発生することのあるエラーとその対策 - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Databricks on AWSで数百Gのファイルからテーブルを作成しようとすると発生することのあるエラーとその対策 - Qiita
ローカルファイルシステムからDBFSへの大容量ファイルのアップロードや大容量ファイルからテーブルを作... ローカルファイルシステムからDBFSへの大容量ファイルのアップロードや大容量ファイルからテーブルを作成する際に、以下のようなエラーが発生することがあります。 Part number must be an integer between 1 and 10000, inclusive パートの数は1から10000でなくてはなりません。と、これだけですと切り分けが難しいですよね。 以下のナレッジベースに詳細な説明と対策方法の記載があります。 原因 これはS3におけるセグメント数の制限です。分割されたファイルは1から10000の個数でなくてはなりません。 対策 この例外の発生を防ぐには、それぞれのパートファイルのサイズを増やしてください。 クラスターのSpark設定の以下のプロパティを設定してください。 クラスターを再起動します。 つまり、S3へのマルチパートアップロードのパートの数の上限に引っか