[CVAT]大量の画像(数千〜数万枚)をアタッチする - Qiita
概要 クラウドストレージ(Amazon S3)からアタッチするのが良い manifest.jsonlの生成までの速度は、おそらくディスクI/Oに依存している CVATとは？ CVATとは、intel謹製の画像・動画アノテーションツールです。CVATの説明についてはこの記事では割愛します。 たくさんの画像をアノテーションしたい 数万枚（~5MBを5万枚とか）の画像をアノテーションしたい、という課題がありました。 Web上に上がっている記事を見る限り、これとかこれとかCVATそのものの紹介記事はあるのですが、GitHubの公式のissueを見ても、「えと、当方は数万枚とか一気に上げないといけないんですけど・・・」と良い記事が見当たらず、試行錯誤することになりました。ということで、この記事を書いて情報を共有する次第です。 環境 CVATサーバ: CVATはEC2のインスタンスタイプr6i.2xl
![[CVAT]大量の画像(数千〜数万枚)をアタッチする - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/206c18b2a12e18948f3c36da117e06a7aa533142/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCQ1ZBVCU1RCVFNSVBNCVBNyVFOSU4NyU4RiVFMyU4MSVBRSVFNyU5NCVCQiVFNSU4MyU4RiUyOCVFNiU5NSVCMCVFNSU4RCU4MyVFMyU4MCU5QyVFNiU5NSVCMCVFNCVCOCU4NyVFNiU5RSU5QSUyOSVFMyU4MiU5MiVFMyU4MiVBMiVFMyU4MiVCRiVFMyU4MyU4MyVFMyU4MyU4MSVFMyU4MSU5OSVFMyU4MiU4QiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MDM5MzIwMGExMjg2ODIwOTBjNjU0ZjYzNzIwNTRmZjE%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwcy1zYWl0b2gmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zMiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTQ2OWViYWMxM2E3OTYzYmQwOTE5ODdhMDBjZDdkNjg2%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D0b8e8f88777272f5573b19d4b49b974e)
AWS CLIでAmazon S3のバケットにあるファイルから最新のファイル名を1つ取得する - Qiita
便利だったのでメモ。 やりたいこと 以下のように特定のバケットにあるファイルから最新のファイル名を1つ取得したい。 > aws s3 ls s3://<バケット名>/ 2019-11-26 09:01:32 0 hoge1.txt 2019-11-26 09:01:54 0 hoge2.txt 2019-11-26 09:01:25 0 hoge3.txt 2019-11-26 09:01:46 0 hoge4.txt 2019-11-26 09:01:39 0 hoge5.txt # 「hoge2.txt」がほしい > <いい感じのコマンド> hoge2.txt
CloudFrontでmulti originをするときにハマったところ - Qiita
概要 年末で暇だったので、個人サービスの画像配信部分をCloudFront経由で早くしてやろうと思い、見事にハマった出来事についての備忘録です。 ちゃんと調べずに自分でトライアンドエラーをしているので、かなりグダグダした内容になっています。ご了承ください TL;DR 内容がグダグダなので、何にハマったか知りたい人はこれだけ見て退散することをオススメします - BehaviorのPath PatternがOriginに渡るときにIgnoreされると思っていた - Path Patternは正規表現なのでIgnoreされずにOriginに届く - 例: - Path Pattern(`image/*`)を持つmulti-origin(`image-bucket`)なCloudFrontに対してリクエストを送る - `https://www.app.com/image/full/sample1.
【Python】boto3でS3ファイル操作まとめ - Qiita
同バケット内でファイルをフォルダ間でコピー line/diagonal/hoge.csvを新たにlineフォルダ下にstraightフォルダを作成しそこにコピー import os import boto3 BUCKET_NAME = 'your_bucket' # バケット名 COPY_FROM = 'line/diagonal' # コピー元ディレクトリパス COPY_TO = 'line/straight' # コピー先ディレクトリパス] FILE_NAME = 'hoge.csv' # ファイル名 s3 = boto3.client('s3') copy_from_path = os.path.join(COPY_FROM, FILE_NAME) copy_to_path = os.path.join(COPY_TO, FILE_NAME) s3.copy_object(Bucke
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
