タグ

2016年8月31日のブックマーク (7件)

  • AWS Blackbelt 2015シリーズ Amazon Storage Service (S3)

    2016/6/7 資料を2016年版にアップデートしました --------------- 2015年4月22日のAWS Blackbelt 2015シリーズ Amazon Storage Service (S3)の資料です。S3の基礎から、応用、注意点などを解説しています。 AWSに関する各種イベントスケジュールは以下のURLでご確認いただけます。 http://aws.amazon.com/jp/about-aws/events/Read less

    AWS Blackbelt 2015シリーズ Amazon Storage Service (S3)
  • Amazon S3: Multipart Upload | Amazon Web Services

    AWS News Blog Amazon S3: Multipart Upload Can I ask you some questions? Have you ever been forced to repeatedly try to upload a file across an unreliable network connection? In most cases there’s no easy way to pick up from where you left off and you need to restart the upload from the beginning. Are you frustrated because your company has a great connection that you can’t manage to fully exploit

    Amazon S3: Multipart Upload | Amazon Web Services
  • Amazon S3における「フォルダ」という幻想をぶち壊し、その実体を明らかにする | DevelopersIO

    よく訓練されたアップル信者、都元です。Amazon S3について細かい説明は不要かと思いますが、要するにファイルストレージです。HTTPベースでファイルをアップロードでき、そしてダウンロードできるサービスですね。 古くから、データはシリアライズされた形式でファイルという単位に格納し、管理されてきました。ローカルマシン内でファイルを管理する仕組みがファイルシステムで、その多くにはフォルダという階層構造を扱う仕組みが備わっています。 Amazon S3も、Management Consoleによってフォルダを作成し、その中にさらにフォルダを作成したり、ファイルを格納できたりします。しかし。 Amazon S3には実はフォルダという概念は無い のです。Amazon S3の基礎技術は、単純なKVS(Key-Value型データストア)でしかありません。例えば下記のようなフォルダ(と我々が認識している

    Amazon S3における「フォルダ」という幻想をぶち壊し、その実体を明らかにする | DevelopersIO
    rsakamot
    rsakamot 2016/08/31
    それでAWSのドキュメントにはkeyとあるのか..
  • 設計パターンのベストプラクティス: Amazon S3 のパフォーマンスの最適化 - Amazon Simple Storage Service

    Amazon S3 のストレージに対してアップロードおよび取得を行う際に、アプリケーションはリクエストのパフォーマンスとして 1 秒あたり数千のトランザクションを容易に達成できます。Amazon S3 は、高いリクエストレートに自動的にスケールされます。例えば、アプリケーションは、パーティショニングされた Amazon S3 プレフィックスごとに毎秒 3,500 回以上の PUT/COPY/POST/DELETE リクエストまたは 5,500 回以上の GET/HEAD リクエストを達成できます。バケット内のプレフィックスの数に制限はありません。並列化を使用することによって、読み取りまたは書き込みのパフォーマンスを向上させることができます。例えば、Amazon S3 バケットに 10 個のプレフィックスを作成して読み取りを並列化すると、読み取りパフォーマンスを 1 秒あたり 55,000

  • Best practices design patterns: optimizing Amazon S3 performance - Amazon Simple Storage Service

    Best practices design patterns: optimizing Amazon S3 performance Your applications can easily achieve thousands of transactions per second in request performance when uploading and retrieving storage from Amazon S3. Amazon S3 automatically scales to high request rates. For example, your application can achieve at least 3,500 PUT/COPY/POST/DELETE or 5,500 GET/HEAD requests per second per partitione

  • 【AWS】S3まとめ - Qiita

    どうも、iron千葉です。 S3について、ユーザガイドを見てポイントをまとめました。 ポイントだけ確認したい人、ざっと全体を見たい人におすすめです S3は奥が深い。 S3とは? インターネットストレージ(平たく言うとgoogleドライブevernoteのようなwebブラウザから利用できるストレージ) S3はAPIまたはAWS CLIにてプログラムから操作(ファイルのアップロード、ダウンロード、削除)ができる 容量制限なし データはいつでもダウンロード可能 柔軟なアクセス制御ができる(IAM、アクセスコントロール、バケットポリシー) S3の概念 バケット バッケットを作成し、その配下にデータを格納する バケットはS3の中で一番大きな バケットは複数作成できる バケットでアクセス制御が可能 バケット作成時は、配置するリージョンを指定する オブジェクト オブジェクトは、データ(アップロードファ

    【AWS】S3まとめ - Qiita
  • シェルスクリプトを書くときはset -euしておく - Qiita

    エラーがあったらシェルスクリプトをそこで打ち止めにしてくれる(exit 0以外が返るものがあったら止まるようになる)。「あっあれここでうまくいってないからデータ準備できてないのにあれあれっもうやめて!」ってなるのを防げる。 set -u 未定義の変数を使おうとしたときに打ち止めにしてくれる。Perlでいうuse strict 'vars';的なもの。 って気軽な気持ちで書いてしまって、「ん、やたら時間かかると思ったらスペルミスうわなにをするやめ」ってなるのを防げる。 一部だけ例外にしたい はてなブックマークのコメントより -e は command1 || command2 みたいなことが出来なくなるの使うことないな。-uは付けといて良いが。 確かにおっしゃるとおりですね。コマンドの失敗を考慮して書いている部分については(もしくはやたらexit 0以外するコマンドを呼ばないといけないときなど

    シェルスクリプトを書くときはset -euしておく - Qiita