ブックマーク / medium.com/@ayemos (1)

  • AWS Data Wranglerを触ってみた

    的な使い方はリポジトリの利用例に十分に紹介されているので、S3とDataFrameをやり取りする際の細かい挙動について気になる点を1つだけ紹介します。 基のpandas => S3 => Athena => pandaspandasとS3のやり取りとして、実験の途中や、バッチの実行結果として生じたDataFrameをS3に保存する(したい)というケースは多いかと思います。AWS Data Wranglerはこれをサポートしています。 この結果は少々直感とは異なり、以下のようになります。 $ aws s3 ls s3://BUCKET/PREFIX/ 2019-10-03 22:07:32 3436 29db73219ba048648b9ae0286c3b6747.parquet.snappy 2019-10-03 22:07:32 3457 2ada1fe72e1044a4a01d3

    AWS Data Wranglerを触ってみた
    yag_ays
    yag_ays 2019/10/03
  • 1