タグ

2018年12月2日のブックマーク (1件)

  • PythonでCSVファイルをS3 SELECTする - Qiita

    概要 AWSのS3バケットに保存したCSVファイルをクエリします 実際に使う場面の方法を少し確認した感じです リンク S3 Selectの概要 APIリファレンス SDK(boto3)のselect_object_contentメソッド サンプルデータを準備 なんでもいいんですが、ちょっとした大きさのテストファイルを作成します import hashlib with open('testfile.csv', 'w') as f: for i in range(10000): f.write('{},{}\n'.format(i, hashlib.sha512(str(i).encode()).hexdigest())) 0,31bca02094eb78126a517b206a88c73cfa9ec6f704c7030d18212cace820f025f00bf0ea68dbf3f3a543

    PythonでCSVファイルをS3 SELECTする - Qiita
    syossan
    syossan 2018/12/02
    これ気付かなかった・・・感謝 “返される結果は65000バイトに分割されるようです ”