[B! S3] roogh5eeSha6のブックマーク

GitLab(Omnibus)のバックアップをAWSのS3に行う - Qiita

Omnibus版のGitLabをVPS上で運用しているけどバックアップ取っていないな…と思い立ったのでAWSのS3にバックアップを取るように設定。 GitLabのマニュアルを見ると作業できるけど、整理も兼ねて。基本的には、ここ Upload backups to remote (cloud) storage や Backup restore に書かれている設定を /etc/gitlab/gitlab.rb に記述してでGitLabの設定は完了する。やること一通り設定完了になるまでの流れは [AWS] AWSにバックアップデータを保存するS3バケットを作る [AWS] IAMでバックアップ用のS3バケットにアクセスするユーザーを作る [GitLab] /etc/gitlab/gitlab.rb にバックアップの設定を書く [GitLab] バックアップを実行する [GitLab] c

roogh5eeSha6 2021/11/26

リンク

Ansibleのs3_syncモジュールのfile_change_strategy: date_sizeのバグと対処法

対処法については一番最後に書いてありますので、面倒な方は読み飛ばして下さい: 対処法このバグは当エントリ執筆時点の2019年3月22日現在確認ができています。また、現段階でAnsible本体にIssueとPull Requestを開いていますが、この時点では音沙汰が無いので、しばらくは修正されないかもしれません。また、バグについてのReproducerも用意したので興味がある方はどうぞ: https://github.com/issei-m/ansible-s3-sync-bug-reproducer Ansibleについて当エントリの読者には説明は不要かと思いますのでざっくりとしか説明しませんが、サーバー等の構成管理ツールです。Yamlファイルで求めるサーバーの状態を宣言（例：秘密鍵AでSSHログイン可能なユーザー foo が存在する事、など）すると、その状態を保ってくれます。最近

roogh5eeSha6 2021/10/04

リンク

Amazon S3における「フォルダ」という幻想をぶち壊し、その実体を明らかにする | DevelopersIO

よく訓練されたアップル信者、都元です。Amazon S3について細かい説明は不要かと思いますが、要するにファイルストレージです。HTTPベースでファイルをアップロードでき、そしてダウンロードできるサービスですね。古くから、データはシリアライズされた形式でファイルという単位に格納し、管理されてきました。ローカルマシン内でファイルを管理する仕組みがファイルシステムで、その多くにはフォルダという階層構造を扱う仕組みが備わっています。 Amazon S3も、Management Consoleによってフォルダを作成し、その中にさらにフォルダを作成したり、ファイルを格納できたりします。しかし。 Amazon S3には実はフォルダという概念は無いのです。Amazon S3の基礎技術は、単純なKVS（Key-Value型データストア）でしかありません。例えば下記のようなフォルダ（と我々が認識している

roogh5eeSha6 2021/10/04

リンク

AWS S3 の料金をざっくり10GB単位で見る

保管料金 S3 にデータを保管した場合の料金です。データバックアップなど、あまりアクセスせず容量の大きいデータの場合は、この料金が大きくなってきます。ストレージクラスによって料金が変わってきますので、ストレージクラス毎に料金を紹介します。 ※以下の２つのストレージクラスは対象外にしています「S3 Intelligent - Tiering」２つの階層を自動で行き来するもので、計算しにくいため。（運用では有効な場面はありますが、料金は出しにくい）「S3 1 ゾーン - 低頻度アクセス」１アベイラビリティーゾーンのみに保管され、耐久性の観点であまり使うことがなさそうなため。 S3 標準一番標準的なストレージクラス。あらゆる用途に使えるが、最も料金が高い。東京: 25円(10GBあたり) バージニア: 23円(10GBあたり) S3 標準 - 低頻度アクセスアクセス頻度は低いが、

roogh5eeSha6 2021/10/03

リンク

ニコニコ動画、ストレージをオンプレから変更　運用コストを9割削減

KADOKAWAグループが、ニコニコ動画で使うストレージをオンプレミスのストレージから米RSTOR社の「RSTOR」に変更することが12月10日、分かった。現行の体制から運用コストを9割削減できる見込みという。ニコニコ動画では既存のストレージにJavaScriptやCSSで制作したコンテンツ、ユーザーのアイコン画像、ログデータなどのサイズの小さいデータを億単位で保存しているという。 RSTOR社の販売代理店を務めるTwoFive（東京都中央区）によると、多くのクラウドストレージサービスでは、データの保存容量に加え、データの転送容量に対しても利用料が発生。ニコニコ動画のように、転送量が多い場合はコストがかさむという。データ転送では利用料が発生しないRSTORを採用することで、現行ストレージに比べ運用コストを10分の1に押さえられるとしている。従来のシステムでは、大量のデータを一度に処理す

roogh5eeSha6 2020/12/10

リンク

amazon.aws.aws_s3 module — Ansible Community Documentation

roogh5eeSha6 2020/11/26

リンク

【AWS】S3まとめ - Qiita

どうも、iron千葉です。 S3について、ユーザガイドを見てポイントをまとめました。ポイントだけ確認したい人、ざっと全体を見たい人におすすめです S3は奥が深い。 S3とは？インターネットストレージ（平たく言うとgoogleドライブ、evernoteのようなwebブラウザから利用できるストレージ） S3はAPIまたはAWS CLIにてプログラムから操作（ファイルのアップロード、ダウンロード、削除）ができる容量制限なしデータはいつでもダウンロード可能柔軟なアクセス制御ができる（IAM、アクセスコントロール、バケットポリシー） S3の概念バケットバッケットを作成し、その配下にデータを格納するバケットはS3の中で一番大きなバケットは複数作成できるバケットでアクセス制御が可能バケット作成時は、配置するリージョンを指定するオブジェクトオブジェクトは、データ（アップロードファ