AWS Data Wranglerを触ってみた

基本的な使い方はリポジトリの利用例に十分に紹介されているので、S3とDataFrameをやり取りする際の細かい挙動について気になる点を1つだけ紹介します。 基本のpandas => S3 => Athena => pandaspandasとS3のやり取りとして、実験の途中や、バッチの実行結果として生じたDataFrameをS3に保存する（したい）というケースは多いかと思います。AWS Data Wranglerはこれをサポートしています。 この結果は少々直感とは異なり、以下のようになります。 $ aws s3 ls s3://BUCKET/PREFIX/ 2019-10-03 22:07:32 3436 29db73219ba048648b9ae0286c3b6747.parquet.snappy 2019-10-03 22:07:32 3457 2ada1fe72e1044a4a01d3

[somemo]

“実験の再現性などの質を高めることに つながるでしょう。(一方で依然データの名前の管理、データのドキュメンテーションなど、データの管理に必要な作業はまだまだ残っていますが”