Amazon S3における「フォルダ」という幻想をぶち壊し、その実体を明らかにする | DevelopersIO
よく訓練されたアップル信者、都元です。Amazon S3について細かい説明は不要かと思いますが、要するにファイルストレージです。HTTPベースでファイルをアップロードでき、そしてダウンロードできるサービスですね。 古くから、データはシリアライズされた形式でファイルという単位に格納し、管理されてきました。ローカルマシン内でファイルを管理する仕組みがファイルシステムで、その多くにはフォルダという階層構造を扱う仕組みが備わっています。 Amazon S3も、Management Consoleによってフォルダを作成し、その中にさらにフォルダを作成したり、ファイルを格納できたりします。しかし。 Amazon S3には実はフォルダという概念は無い のです。Amazon S3の基礎技術は、単純なKVS（Key-Value型データストア）でしかありません。例えば下記のようなフォルダ（と我々が認識している
特定のS3のフォルダにのみアクセス権のあるIAMユーザーを使ってCyberduckから参照する | DevelopersIO
特定のS3のフォルダにしかアクセス権を与えたくない場合、 ポリシーを作成してIAMユーザーに付与し、そのユーザーからフォルダを参照しますが、 マネジメントコンソールから入るとトップページを表示する権限がないので以下のメッセージが表示され目的のフォルダにアクセスできません。 そのため今回は、S3のフォルダおよびそこにしかアクセス出来ないポリシーを作成し、そのポリシーを付与したIAMユーザーのクレンデンシャル情報を使ってCyberduckからアクセスする方法を紹介します。 手順 手順は以下になります。 フォルダの作成 ポリシーの作成 IAMユーザの作成 Cyberduckの設定 １．フォルダの作成 S3のコンソールから「バケットを作成」ボタンをクリックし、バケット名とリージョンを選択してバケットを作成します。 この時にバケット名の命名ルールに準じていないとバケットが作成出来ないので注意しましょ
CloudFormation で Basic認証で利用できる CloudFront + S3 の静的コンテンツ配信インフラを作ってみた。 | DevelopersIO
はじめに AWSチームのすずきです。 Basic認証で実現するLamda@Edge、静的コンテンツの配信インフラとなるS3 + CloudFront、 S3コンテンツのアップロード操作用のIAMユーザを、CloudFormationを利用して設置する機会がありましたので、 紹介させていただきます。 構成図 参考 Amazon CloudFrontとAWS Lambda@EdgeでSPAのBasic認証をやってみる CloudFormation で OAI を使った CloudFront + S3 の静的コンテンツ配信インフラを作る 特定のS3のフォルダにのみアクセス権のあるIAMユーザーを使ってCyberduckから参照する 作業手順 テンプレート basic-auth-s3-cloudfront-lambda-allinone.yaml CreateStack バージニアリージョンでCl
AWS CLI S3 Configurationを試したら想定以上にaws s3 syncが速くなった話 | DevelopersIO
設定方法は、公式ドキュメントの通りですが、~/.aws/configに直接記載するか、aws configure setコマンドを利用して設定します。 $ cat ~/.aws/config [profile default] s3 = max_concurrent_requests = 20 max_queue_size = 10000 $ aws configure set default.s3.max_concurrent_requests 20 $ aws configure get default.s3.max_concurrent_requests 20 $ aws configure set default.s3.max_queue_size 10000 $ aws configure get default.s3.max_queue_size 10000 AWS CLI S
AWS CLIを使ってS3上にあるファイル数とファイルサイズの合計を取得する | DevelopersIO
Amazon Athenaの料金はスキャンしたデータ量で決まるので、特定のフォルダ以下のファイルサイズの合計をAWS CLIで取得する方法を調べたのですが忘れそうなのでメモしておきます。以下のコマンドでファイル一覧の後にファイル数とサイズの合計が出力されます。 aws s3 ls s3://[バケット名]/[フォルダ名]/ --recursive --human --sum オプションの説明になります。 --human-readable(--humanだけでも可)：ファイルサイズに単位をつけて見やすくしてくれるオプション --summarize (--sumだけでも可)：合計サイズとオブジェクトの数を表示してくれるオプション --recursive：指定したフォルダの中にフォルダがあった場合にその中のファイルも対象にするオプション バケットごとの使用量やファイル数はCloudWatchで見
Amazon S3とGoogleドライブ間も同期できる! rcloneが超便利｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
Amazon S3とGoogleドライブ間も同期できる! rcloneが超便利 こんにちは、mizuno_asです。 みなさん、バックアップ取ってますか？ ファイルを消してしまった、あるいは間違ったデータで上書きしてしまったというオペレーションミスは誰でも経験があることだと思います。またハードウェアのトラブルによって、ディスクが読めなくなってしまうことも珍しくありませんよね。 バックアップにおいて大切なのは、「何を」「どのように」「どのくらいの頻度で」「どのくらいの期間」保存するのか、きちんと戦略を立てることです。一番お手軽なバックアップといえばUSBメモリなどへのコピーですが、USBメモリが壊れてしまう可能性もあります ((USBメモリは様々なストレージの中でも、記録と紛失のお手軽さは一番だと筆者は思っています。)) 。では複数のコピーを作れば安全でしょうか？ いいえ、もしも地震や火災が
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
