S3へのファイル転送を高速化する手順 - skymatix Developers Blog
システムエンジニアの椎葉です。 ファイル数が多くなるとファイルの転送に時間がかかってしまいます。 ファイル転送の改善で処理時間やEC2のコストを削減することができます。 今回の例でも30%ほど転送時間＆コストを削減することができているので是非参考にしてみてください。 設定項目 今回改善するために変更する設定は下記の２つです。 項目名 説明 max_concurrent_requests 同時に実行できるリクエストの最大数を制御。この設定により、バケットへの同時アクセスを制御することができる。デフォルト:10 max_queue_size タスクキュー内の最大タスク数を制御。タスクが多くなると速度も速くなるが、比例して多くのメモリが必要になる。デフォルト:1000 設定変更のコマンド 設定を変更する際は下記のコマンドを実行します。 aws configure set default.s3.m
LeoFS - A Storage System for a DataLake and the Web
LeoFS v1.4 Released LeoFS v1.4.3 on February 20, 2019 Status: Stable New features: Improve AWS S3-API Compatibility AWS Signature v4 support Custom metadata support Improve NFS v3 support Improving the performance and stability Integration Improving Spark integration Data Lake LeoFS moved a step closer to Data Lake with v1.4. We're aiming to achieve a highly beneficial effect to Big Data analytics
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS SDK for Ruby v2のwaitersの解説 - Qiita
