S3 互換オブジェクトストレージまとめ
概要 S3 互換オブジェクトストレージの サービス を自分のためにまとめている。サービスとして提供されているのが前提で、 自前運用は範囲外 。 目的 以下の内容に絞って調べている。 日本リージョンの有無 egress の費用 容量の費用 追加調査予定 PutObject 対応 PresignedGetObject 対応 S3 互換 S3 互換の条件は s3cmd や aws sdk s3 がそのまま利用できる事。細かい互換性は気にしない。 比較用の AWS S3 https://aws.amazon.com/jp/s3/pricing/ 最小プラン Tokyo / Osaka リージョンあり 1 GiB 追加の egress 転送量は 0.114 ドル 1 GiB の追加容量は 0.025 ドル TODO SLA 書いてるのと書いてないのがあって拾いにくい 対象外 Azure は S3 互
Amazon S3互換の低価格ストレージを手がけるWasabiが日本進出
オブジェクトストレージサービスのWasabi Technologiesは、アジアパシフィック（APAC）での事業拡大に向けて、日本国内にAPAC本社を設置。APAC地域では初となるパブリッククラウドサービスの拠点を、東京都内にあるNTTコミュニケーションズのデータセンターに展開。年内には、国内2つ目のデータセンターを開設する予定であるほか、APAC地域でのデータセンターの設置も検討しているという。 Amazon S3の1/5のコスト S3互換のAPIを提供 Wasabi Technologiesは、米マサチューセッツ州ボストンに本社を置き、2015年に創業。2017年からクラウドストレージサービスを開始している。米国、欧州にデータセンターを設置。社員数は150人以上に達する。また、顧客数は2万5000社以上となっており、メディア＆エンターテイメント、研究開発、ヘルスケア、教育、公共、エネル
HTTP Live Streaming(HLS)形式の動画をAWS(Amazon Elastic Transcoder、S3、CloudFront)で配信 - 迎 昭宏のブログ
Apple仕様のHTTP Live Streaming（HLS）をアダプティブ配信する環境をAWS（Amazon Elastic Transcoder→S3→CloudFront）で構築して、配信最適化できるか試してみた。 ※Akamaiでの配信方法は以下 動画配信技術 その1 - HTTP Live Streaming(HLS) - Akamai Japan Blog 動画配信技術 その3 - Universal Streaming(HDS/HLS) - Akamai Japan Blog HTTP Live Streamingとは、容量の大きい動画ファイルを10秒ごとに分割して、読み込みながらでも再生できる。特別なストリーミングサーバを必要とせず、通常のWEBサーバで配信ができるのも利点。iOS、Androidともに対応端末が幅広い。 Apple公式の資料 「特別なサーバソフトを使用し
現代ITインフラの王道をゆくLinuxパッケージ管理の基本構成 | 外道父の匠
RedHat系におけるRPMパッケージを扱うYUM、Debian系におけるDEBパッケージを扱うAPT、これらはサーバー管理において重要なわけですが、絶妙な度合いで、おざなりに扱ってもわりとなんとか運用出来てしまう感があります。そのため今一度、こんな感じが今風のスタンダードじゃないっすかね（ｷﾘｯ という構成を説明してみます。 ぶっちゃけ、たいしたことないネタの集合体なので、タイトルに下駄を履かせました。 そもそもパッケージは必要なのか 言うまでもなく必須です。理由は、インストール物のファイル管理が容易になるのと、インストール時間を短縮できるからです。既存のパッケージでconfigureオプションが物足りない時や、RPMパッケージが存在しない場合は作成することになります。 最近はプロビジョニング・ツールによって全て自動化できるので、超簡素なコンパイルのものはレシピに落とし込んで終わりにした
AWS上で動作するアプリケーションをいかにローカルで開発するか？ - たけぞう瀕死ブログ
AWSでは様々な便利なサービスが提供されています。中にはRDSやElasticCacheのように既存のミドルウェアに対するマネージドサービスを提供するものもあり、これらについては既存のミドルウェアを使って開発することができますが、AWS固有のサービスについてはアプリケーションを動作させるには実際にサービスに接続する必要があり、開発環境が制限されてしまいます。 もちろんソフトウェア側で抽象化しておき、DIなどの手法を用いてモックに差し替えるという方法も考えられますが、特にストレージとして利用するサービスなどの場合はインタラクションが必要になるのでモックでは再現しづらいですし、やはり実際に動作するサービスに接続して開発やテストを行うほうが効率的です。 そこで、AWSのサービスを擬似的にローカルで再現することのできるプロダクトを集めてみました。 S3 node.jsで動作するs3-proxyが使
2015/09 最近の録画サーバー事情 (ZFS, 安鯖, Cloud Backupなど) - 方向
自分はネットラジオなんかを録画するシステムを開発してるわけなんですが、 インターネットラジオを全録音するソフトつくった - 方向 これをどういうサーバーで運用しているかというのをメモしておこうと思います。 前提 サーバー（ハードウェア） ストレージ代 いわゆる安鯖について OS, FileSystem Backupについて CrashPlanについて ニコ生について Google Photosについて Virtual Box + Windows 監視・アラート 課題・今後の方向性 前提 ストリーミングのインターネットラジオ(radikoを2チャンネルほどやA&G+など)をリアルタイムで録音・録画している その他毎週更新だったりするやつもとっている ニコ生も1日15本ほど保存している（net-radio-archiveの新機能として開発中) テレビ放送のTSはキャプチャしてない サーバー（ハ
Amazon S3に大量のファイルを超高速にアップロードする方法（Perlで並列アップロード) · DQNEO日記
このケースでは15並列が最も速かったです。 環境（画像の大きさや数、マシンのスペック、ネットワーク速度）によって、最適な並列数は変わってくると思います。 いろいろ試してみてください。 ソースコード モダンPerlじゃなくてすいません。 upload.pl #!/usr/bin/perl package Amazon::S3::Uploader::File; use strict; use warnings; use base qw( Class::Accessor ); __PACKAGE__->mk_accessors( qw(local_path remote_dir bucket ) ); sub new { my $class = shift; my $path = shift; my $remote_dir = shift; my $bucket = shift; bless {
S3を使う時のベストプラクティス（を訳してみた） - サーバーワークスエンジニアブログ
最近子どもの水いぼを取る際に、麻酔テープが健康保険適応内である事を知った小室＠福岡です。 AWSのドキュメントの一つに、Articles & Tutorialsという物が有ります。これはAWSの中の人、また使っているユーザーがこのように使うといいよ、とAWSをよりよく使える方法を教えてくれる場所です。 サーバーワークスでは、日々のAWSのドキュメントの確認だけではなく、このようなArticles & Tutorialsを読みより深くAWSのサービスについて理解を深めようと個々に担当し、社内発表会を行っています（始めたばかりだけどね！）。 今回私が訳してみたのはこちらです。 Best Practices for Using Amazon S3 この記事は2008年に投稿(更新2009年)されており、現在とは少し違うかもしれませんが、とても参考になりましたので、ご紹介したいと思います。 ※これ
S3のダウンロード速度を1.5〜4.5倍高速化する怪しげな方法 - 昼メシ物語
バケットのIPアドレスを適切なものに固定することで、期待値でいうと1.5倍、最大で4.5倍程度高速にダウンロードできます。 この方法は非常に効果が高いですが、非公式なものであり、ある日突然破綻する可能性もありますので自己責任でお願いします。 S3のバケットとエンドポイント まずは前提知識として、S3の名前解決について説明します。 S3のバケット "mybucket" というバケットを東京リージョンに持っているとします。するとそのバケットのドメイン名は mybucket.s3.amazonaws.comになります。これをエンドポイントと呼びます。このバケットの中にあるファイル "hello.txt" にアクセスする場合には、 http(s)://mybucket.s3.amazonaws.com/hello.txtというようなURLを用います。*1 エンドポイントのIPアドレス この myb
s3fs を使って EC2 に S3 の Bucket をマウントする - Qiita
お仕事の絡みで、タイトルの要件が必要になりそうだったので備忘録も兼ねて。 前提 EC2 の Distribution は Amazon Linux インスタンスは AutoScale によって増えたり減ったりする やること S3 Bucket の準備 IAM の準備 IAM User で対応する場合 IAM Role で対応する場合 s3fs のインストール s3fs の設定・起動 やりかた S3 Bucket の準備 まぁ、普通に Management Console から追加するだけ。 ログとかはご随意に。 IAM の準備 二通りのやり方があるので、お好みで。 IAM User で対応する場合 このケースは、EC2 起動時のオプションとして IAM Role を 割り当てたくない(られない) 場合に使うと良いか？ IAM Management Console で Create a Ne
s3fsを使ってEC2からS3をマウントしたときにうまくいかなくて調べた事まとめ | DevelopersIO
こんにちは植木和樹です。今回はタイトル通りs3fsという仕組みを使ってEC2からS3をマウントしてみました。 解決したい問題 たとえば複数のWebサーバがあった時に、サーバ間でファイルを共有したいってことがあります。Webアプリの処理でファイルを作る場合、あるEC2インスタンス障害が発生してダウンしても別のインスタンスからアクセスできるようにしておきたい、といったケースです。 解決策として以下の案が思いつきます。 NFSで領域を共有する RDSにファイルを格納する S3にファイルをアップロードする 既存のアプリをなるべく変更せずに対応するとなるとNFSサーバを用意するのが手っ取り早いのですが、そうなるとNFSサーバが単一障害点(SPOF)になります。冗長かのためにEC2インスタンスの数が増えて構成が複雑になるのはなるべく避けたいですよね。 ということで信頼性の高いS3ストレージをなんとかお
MySQLを毎日バックアップして、S3に同期するシェルスクリプト - Qiita
MySQLのバックアップがローカルマシンだけでは不安でしたので、S3にバックアップと取る事にしました。 もしかしてS3自体でできたかもしれませんが、なんちゃって世代管理も一緒にしています。 前提条件 AWSコマンドラインインターフェイスが導入されている( http://aws.amazon.com/jp/cli/ ) #!/bin/bash BACKUP_PATH="/your/backup/path/" S3_PATH="s3://your-s3-bucket/" FILE_NAME="mysql_dump_`date +%Y%m%d`.sql.gz" AWS_CONFIG_FILE="/home/user/.aws/config" cd $BACKUP_PATH mysqldump -u mysql_user -p mysql_password --all-databases | gz
S3 の事前署名付き（期限付き）URL を生成する
S3 見習い兼 PHP と Ruby 初心者のかっぱ(@inokara)です。 はじめに 既にご存知の方もいらっしゃると思いますが、Amazon S3 の各バケットに保存されているコンテンツ（オブジェクト）に期限をつけてアクセスさせることが出来る機能（以下、「期限付き URL 生成機能」）があります。これは一時的に一部の方にだけファイルをダウンロードさせたい時等に非常に便利な機能だと思います。 Uploading Objects Using Pre-Signed URLs この期限付きの URL 生成方法について AWS SDK for PHP と AWS SDK for Ruby の二種類を利用した手順を簡単にまとめてみたいと思います。 尚、上記のドキュメントでは Pre-Signed URL（事前署名付き URL）とありますが、本記事はタイトルを除いて、全編を通して期限付き URL と
Amazon S3における「フォルダ」という幻想をぶち壊し、その実体を明らかにする | DevelopersIO
よく訓練されたアップル信者、都元です。Amazon S3について細かい説明は不要かと思いますが、要するにファイルストレージです。HTTPベースでファイルをアップロードでき、そしてダウンロードできるサービスですね。 古くから、データはシリアライズされた形式でファイルという単位に格納し、管理されてきました。ローカルマシン内でファイルを管理する仕組みがファイルシステムで、その多くにはフォルダという階層構造を扱う仕組みが備わっています。 Amazon S3も、Management Consoleによってフォルダを作成し、その中にさらにフォルダを作成したり、ファイルを格納できたりします。しかし。 Amazon S3には実はフォルダという概念は無い のです。Amazon S3の基礎技術は、単純なKVS（Key-Value型データストア）でしかありません。例えば下記のようなフォルダ（と我々が認識している
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Lambdaを紐解く
クラウドホスティング - kousoku AWS