
エントリーの編集

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
AWS StepFunctionsで大きめのデータを並列処理する話 - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
AWS StepFunctionsで大きめのデータを並列処理する話 - Qiita
TL;DR AWS StepFunctionsを使うと、外部連携が安心してできていい感じ。 AWS StepFunctionsは動的並列処... TL;DR AWS StepFunctionsを使うと、外部連携が安心してできていい感じ。 AWS StepFunctionsは動的並列処理というものができ、入力された配列を並列で処理できる。 ただし、入力が32KBを超えると落ちるので大きいデータはS3を経由して処理することが推奨されている そうすると並列処理したいはずの配列が入力に渡されなくなるので、やりたかった並列処理ができない。 なので、32KBごとにS3にJSONを突っ込んで、JSONファイルのARNの配列を並列処理に渡し、さらにそのARNからデータの配列を作り、ネストした並列処理で1行ずつ実行すればOK! ユースケース Google Calendar連携のInitial full syncを例にする。 やりたいことは、予定の全取得と、次回以降に利用するsync_token(Etagみたいなもの)を取得・永続化すること。 手順 [