
エントリーの編集

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Glueの使い方的な㊱(RDBからの読み取りを並列化する) - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Glueの使い方的な㊱(RDBからの読み取りを並列化する) - Qiita
GlueでRDSから読み取りはデフォでは1つのExecutorで実行され、もしメモリ超過する場合は並列化しよう 今... GlueでRDSから読み取りはデフォでは1つのExecutorで実行され、もしメモリ超過する場合は並列化しよう 今回実施する構成図は以下のような感じになります。RedshiftをRDSに置き換えて見てください。 GlueからRDSのデータを読み込みparquetにしてS3に出力します。 全体の流れ 前準備 Glueジョブ作成(デフォルト) ログ確認 Glueジョブ作成(並列化) ログ確認 出力確認 前準備 自己参照セキュリティグループなどの作り方や意味合いはこちらを参照ください。 GlueのConnectionの作成もこちらをご参照ください https://qiita.com/pioho07/items/05c912333e88788a1391 https://qiita.com/pioho07/items/3a07cf6dccb8dfe046ff RDSを作成し、テーブル、スキーマ、デー