気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
1user
がブックマーク
0
0
create_dynamic_frame_from_optionsでデータベーステーブルの特定列のみを取得したい - Qiita
1 user
qiita.com/K2Da
qiita.com/K2Da
記事へのコメント0件
- 注目コメント
- 新着コメント
新着コメントはまだありません。
このエントリーにコメントしてみましょう。
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
create_dynamic_frame_from_optionsでデータベーステーブルの特定列のみを取得したい - Qiita
AWS Glueで、create_dynamic_frame_from_optionsを使ってAurora(MySQL互換)の各テーブルのDynamicFrame... AWS Glueで、create_dynamic_frame_from_optionsを使ってAurora(MySQL互換)の各テーブルのDynamicFrameを作成し、write_dynamic_frame_from_optionsでパーティション分割したParquetフォーマットのファイルとしてS3に吐き出すだけの簡単なJobを動かしていたんですが、ある大きめなテーブル(数百万行、かつ、TEXT型フィールドが複数含まれる)だけで2時間以上かかったり、メモリ不足で処理が完了しなくなってました。 おそらく、不要なTEXT型フィールドを取り除いてしまえば必要とするメモリも少なくてすみ、処理も早くなるだろうと思ったんですが、オプションを眺めても取得するカラムを指定できそうなものがない。そこで、必要なカラムのみを指定したVIEWをAuroraのDBに作成し、GlueのJobはテーブルの代わりに
qiita.com/K2Da
qiita.com/K2Da
qiita.com/K2Da
qiita.com/K2Da
www.nikkei.com
www.ipa.go.jp
anond.hatelabo.jp
anond.hatelabo.jp
zenn.dev/smartshopping
gihyo.jp
devblogs.microsoft.com
prtimes.jp
iselegant.hatenablog.com
tech.nri-net.com
agilejourney.uzabase.com
tech.nri-net.com
foneslife.com
