タグ

s3に関するsyuu256のブックマーク (37)

  • Adding Cache-Control and Expires header using s3cmd | My Life .... efiL yM

    Found a great command line tool for uploading content to s3 its called s3cmd. Was not able to find a resource anywhere so here is the command I used to set expires of an year s3cmd put --add-header="Expires:`date -u +"%a, %d %b %Y %H:%M:%S GMT" --date "next Year"`" --add-header='Cache-Control:max-age=31536000, public' Change the seconds and the –date value to your requirement of expiry time

    syuu256
    syuu256 2014/02/21
  • AWSのS3で各フォルダごとに404ページを設定する方法 | チャットワーククリエーターズブログ

    ChatWork デザイン部の赤堀巴絵です! S3でサイトを管理するときにフォルダごとに違うデザインで404ページを設定したいことってありませんか? 例えば「http://test.chatwork.com」というドメインを「http://test.chatwork.com/site01/」や「http://test.chatwork.com/site02/」のようにフォルダごとにデザインを別にして管理している場合などに。 今から紹介する方法で、フォルダ以下のファイルを「http://test.chatwork.com/404.html」だけでなく、「http://test.chatwork.com/site01/404.html」「http://test.chatwork.com/site02/404.html」と違うデザインの404.htmlに振り分けすることができます。 今回はその方

    AWSのS3で各フォルダごとに404ページを設定する方法 | チャットワーククリエーターズブログ
    syuu256
    syuu256 2014/02/21
  • S3ってなんじゃ?(s3cmd syncではなくinotify+s3cmd sync (or put))

    S3ってなんじゃ?(s3cmd syncではなくinotify+s3cmd sync (or put)) 追記 2012/02/06:1ファイルずつなので普通にアップするだけならinotify + s3cmd putでいいかもと思い、題名変更しました。 以前に s3cmdの記事 を書きましたが、先日s3cmdで困った場面に遭遇したので、そのことを書きたいと思います。 問題 WEBサーバーからS3へのファイル同期にs3cmdを使ったプロジェクトがありました。 linuxのサーバーからS3へファイルを同期するのにs3cmdのsyncコマンドを使用しており、その同期がとても遅いというのです。ローカルで1ファイルを追加したとしても同期の度に数時間かかっているようでした。 状況を確認すると、同期対象のS3バケットの中には数百万ファイル存在していて、どうやらそれが問題のようです。 今回はそれを調べてみ

    S3ってなんじゃ?(s3cmd syncではなくinotify+s3cmd sync (or put))
  • IaaS型クラウド「さくらのクラウド」 | さくらインターネット

    アプリケーションとサービス さくらのクラウドと併せて利用できる様々なアプリケーションやサービスです。

    IaaS型クラウド「さくらのクラウド」 | さくらインターネット
    syuu256
    syuu256 2014/02/03
    Swiftかな?
  • [nginx]S3をバックエンドにngx_small_lightで画像を動的にリサイズ

    S3 で公開しているバケットをバックエンドに nginx モジュール ngx_small_light を利用して画像をリサイズする方法をメモ http://d.hatena.ne.jp/akishin999/20130619/ にローカルの画像を対象にした画像変換手順が書かれているので、そこに S3 バックエンドを追記しただけとも言える。 ngx_small_light について github で公開 https://github.com/cubicdaiya/ngx_small_light pixiv の中の人が開発した nginx モジュール Apache 向け mod_small_light の nginx 移植 https://code.google.com/p/smalllight/ 画像変換エンジンは ImageMagick/Imlib2/GD から選択可能 構成 client

    [nginx]S3をバックエンドにngx_small_lightで画像を動的にリサイズ
  • S3のアクセスコントロールが多すぎて訳が解らないので整理してみる | DevelopersIO

    おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="example@example.com" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO

    S3のアクセスコントロールが多すぎて訳が解らないので整理してみる | DevelopersIO
    syuu256
    syuu256 2013/12/13
  • Amazon S3互換、Yahoo! Japanも採用した分散オブジェクトストレージのRiak CSがオープンソースで公開

    Amazon S3互換、Yahoo! Japanも採用した分散オブジェクトストレージのRiak CSがオープンソースで公開 クラウド向け分散オブジェクトストレージのプラットフォームを実現するRiak CSを開発、販売するBashoは、Riak CSをオープンソースとして公開したことを明らかにしました。 ソースコードはすでにGithubにてApache2ライセンスで公開されています。 開発言語にはErlangを採用 Riak CSは、すでにオープンソースとして公開されているNoSQLデータベースのRiakを基盤にした分散オブジェクトストレージで、Amazon S3互換のAPIを備えています。開発には関数型プログラミング言語のErlangも使われており、日法人のBasho Japanには先月、Erlangに造詣の深い力武健次氏が参加したことも話題になりました。 Bashoによると、Riak

    Amazon S3互換、Yahoo! Japanも採用した分散オブジェクトストレージのRiak CSがオープンソースで公開
  • ゆーすけべー日記

    今週末の金曜日、3月15日に「JAWS DAYS 2013」のパネルディスカッションのパネラーとして呼ばれておりましてー。 風呂グラマーのmasuidriveさんとTreasure Dataの太田さんとお話をするらしく多少ビビってる僕です。 プログラム・スピーカー紹介 | JAWS DAYS 2013 | 2013/3/15(金)~16日(土)東京ビッグサイトで開催! 実はこのAmazon Web Serviceユーザーにおける祭典「JAWS DAYS」のイベントに呼ばれた前日。 ちょうどボケてを某さくらVPSからEC2含むAWSへせっせと移行していましてー。 ま、つまりは「AWSでこれからバリバリ運用始めるぜ!」ってタイミングでのお呼ばれでしたw イベント自体はおもろい事話せればいいなーとは思いつつ、AWSへ移行して、もしくはAWSへの準備の段階で得たTipsを箇条書きでまとめてみます。

    ゆーすけべー日記
  • サイトを Amazon S3 に移行しました - WebOS Goodies

    WebOS Goodies へようこそ! WebOS はインターネットの未来形。あらゆる Web サイトが繋がり、共有し、協力して創り上げる、ひとつの巨大な情報システムです。そこでは、あらゆる情報がネットワーク上に蓄積され、我々はいつでも、どこからでも、多彩なデバイスを使ってそれらにアクセスできます。 WebOS Goodies は、さまざまな情報提供やツール開発を通して、そんな世界の実現に少しでも貢献するべく活動していきます。 遅ればせながら、新年明けましておめでとうございます。今年もよろしくお願いいたします。 2008 年に移行してからずっと XREA で動いていたこのブログですが、さすがにこのご時世にレンタルサーバーはないだろということで、年末年始の休みを利用して Amazon S3 に移行してみました。 DNS は以前から Route 53 に移行済みなので、サイトのほぼ全体で 9

    syuu256
    syuu256 2013/01/11
  • AWS SDK for Node.js を使い始める | DevelopersIO

    AWS SDK for Node.js(Developer Preview)出ました つい先日、AWSから公式node.js向けSDKが出ましたよー。早速使ってみよう!日で最初のコーディング記事かな? node.jsの基セットアップ Amazon Linux上にnode.jsの環境を作りましょう。まずは必要なライブラリのインストールから $ sudo su - $ yum install openssl-devel git make gcc gcc-c++ wget $ git clone git://github.com/ry/node.git $ cd node $ ./configure $ make $ make install パッケージマネージャとバージョンマネージャをインストール $ curl https://npmjs.org/install.sh | sudo sh

    AWS SDK for Node.js を使い始める | DevelopersIO
  • Amazon S3でオブジェクトの有効期限を設定できるようになりました | DevelopersIO

    Amazon S3のファイルに有効期限を付ける Amazon S3に関して2011年末のアップデートで待望の機能が付きました!生成(アップロード)されたファイル(オブジェクト)の有効期限を設定できるようになったのです。有効期限の設定方法については特徴がありまして、Bucketにルールを設定して判定を行います。ですから、オブジェクトひとつひとつに設定する必要はなくとても使いやすいです。 Bucketに有効期限を設定する この有効期限は、Bucketに対する「ライフサイクル設定」と呼ばれています。このライフサイクル設定のルールはBucket毎に100個まで設定することが可能です。どのルールにも、接頭辞を指定して該当するオブジェクトを探します。有効期限は、オブジェクトが生成されてからルールで指定された日数のカウントまでとなっています。日数は0より大きい値を指定する必要があります。基準時間は、GM

  • Perl で Amazon S3 をあつかう Net::Amazon::S3 - Articles Advent Calendar 2010 Casual

    もつ鍋で有名な福岡から来ました @dragon3 です。 Amazon S3 はみなさんご存知かと思いますが、流行りのクラウドなストレージサービスですね。 最近1ファイルで5TBまでOKになったのですが、5TBってどんなファイルや?...と悩む日々です。 その Amazon S3 を Perl からあつかうためのモジュール Net::Amazon::S3 を紹介します。 クライアントを準備する ファイルをアップロードやダウンロードするために、 まずは接続するためのクライアントオブジェクトを準備します。 use Net::Amazon::S3; my $aws_access_key_id = 'XXXXXXXXXXXXXXXXXXXX'; my $aws_secret_access_key = 'WwWwWwWwWwWwWwWwWwWw'; my $s3 = Net::Amazon::S3-

    Perl で Amazon S3 をあつかう Net::Amazon::S3 - Articles Advent Calendar 2010 Casual
  • 月額10円~でレンタルサーバーをはじめる方法 | アマゾン ウェブ サービス(AWS)

    たとえばこんな使い方 画像と HTML ファイルを中心としたウェブサイトなら、Amazon S3 で充分に活用できるから、使い道も広がります。 急ぎのウェブサイト公開が必要となる場合も多いキャンペーンサイトも、Amazon S3 なら数分でアカウント作成、コンテンツの公開も 10 分程度で完了します。しかも契約期間の縛りもないため、すぐはじめられて、キャンペーン終了後、必要がなくなったその時点で終了することも可能です。 詳しくはこちら » 法人ウェブサイトのデータ損失は絶対に避けたいものです。米国の政府機関をはじめエンタープライズ企業様も利用する Amazon S3 は、複数のデータセンターでお客様のウェブサイトデータを保管。99.99 % の可用性と、99.999999999 % の堅牢性でお客様のウェブサイトを運営することができます。 もちろん万全を期すために、別のリージョン(国)の

  • s3fs(1.40)をEC2上のLinuxにインストールする:お題目うぉっち

    2011年04月20日 s3fs(1.40)をEC2上のLinuxにインストールする 以前ならファイルサーバーをNFSマウントして溜まったログをどんどん退避するような仕組みをEC2上で実現する場合、退避先の選択肢としてはEBSとS3があるが、そのままではどちらも一長一短な感がある。 EBSはOSのコマンドからも普通にファイルとして扱えるのでNFSから乗り換える際のアプリ対応が楽な一方で、複数のインスタンスからは同時にマウントができないし、あらかじめサイズを割り当てたときからサイズに応じた課金をされるので「使っただけ払う」クラウドならではのおトク感が薄い。S3は置いたファイルのサイズに応じた課金な上、サイズ上限をあらかじめ決めなくてよいので運用がラク。一方で、APIを通じてしかファイル操作ができないので、乗り換えの際のアプリ改修コストが重い。 そんな中、s3fsのことを知って俄然興味がわいて

  • s3fs を使って Amazon S3 を Linux にマウントする - Vive Memor Mortis

    Vive Memor Mortis If today were the last day of my life, would I want to do what I am about to do today? 最近,My365 という iPhone アプリのサーバサイドを担当することになり,全然使ったことのなかった Amazon Web Service をほげほげしてるので,その辺のネタの一部を紹介. さくら VPS から Amazon EC2 への移行話もそのうちまとめたいと思います. >> My365 – 1 day, 1 photo “My365″ s3fs とは? FUSE-based file system backed by Amazon S3. Mount a bucket as a local file system read/write. Store files/fold

  • Cerevo TechBlog - (株)Cerevoの中の人が書く、様々な技術情報を発信するBlog.

    Cerevo営業の栗林です。 取引先である機材屋様のYouTubeチャンネルでCerevoのライブ配信機器「LiveShell W」を、ご紹介いただきました! AZDEN様のマイクアダプター MC-1PHと接続することに […]

    Cerevo TechBlog - (株)Cerevoの中の人が書く、様々な技術情報を発信するBlog.
  • 2年前の障害報告書から学んだAmazon S3の凄さ

    Amazon EC2」は、誤解されている。筆者は最近、そう強く思っている。あなたがもし「Amazon EC2は単なる仮想マシンサービス」と思っているなら、考え直してほしい。Amazon EC2の当の価値とは、実はストレージサービスの「Amazon S3」にある。 最近日でも、Amazon EC2対抗をうたう仮想マシンサービスが増えている。Webサイトからの申し込みだけで利用でき、課金は1時間単位。Webベースの管理ツールから簡単に仮想マシンを起動できて、ロードバランサーなども手軽に設定できる。日のサービスも、仮想マシンに関する機能面ではAmazon EC2に追いつき始めている。 しかし、全く敵わないのが、ストレージサービスであるAmazon S3だ。 Amazon EC2の最大の特徴は、利用者が様々な種類の仮想マシンを、管理ツール上でのクリック操作一つで、素早く展開できることだ。「

    2年前の障害報告書から学んだAmazon S3の凄さ