概要 Amazon S3(Simple Storage service)のWebホスティング機能を使って静的サイトを構築する S3の操作については以前に触れたことがあるのでこちらも参照 負荷の大きなものをS3で提供する「Web Storage」 - うさがにっき 詳細 S3のBucketを作成する、Bucketが静的サイトのホストとなる バケット名でエラー、バケット名は全ユーザで異なる必要があるらしい 修正し再作成したら作成できた 作成した「practicestaticsite-aws」バケットのプロパティから（名前の横の虫眼鏡から表示できる）静的ウェブサイトホスティングを選択 ウェブサイトのホスティングを有効にするを選択しインデックスドキュメントに「index.html」、エラードキュメントに「error.html」を設定する 次にバケットポリシーを変更して、ファイルへのアクセス権を修正

JAWS-UG 仙台勉強会 [6/23夜] https://jaws-tohoku.doorkeeper.jp/events/61034 にて発表しました。 Microsoft Azureを普段しようしていて、AWSの良さそうなところを個人的に書いてみました。 自分の知識が至らず、間違っている点や誤解を与えてしまう点もあるかと思いますが、ご参考になれば幸いです。

ちょうどタイミングが合いそうだったので、JAWSUG関西で発表してきました。担当したセッションは、サービス紹介です。S3+CloudSearchとSWFの２セッションを担当しました。 Amazon S3 & Amazon CloudSearch JAWSUG Osaka S3 CloudSearch from Takuro Sasaki JAWSUG Osaka S3 CloudSearch 一つ目は、S3 + CloudSearchです。S3の概要の他に、お気に入りの機能であるS3 Webホスティング機能のデモをしています。また、新機能の紹介としてS3イベント通知を取り上げています。 つづいてのCloudSearchについては、CloudSearchの機能というより、そもそも全文検索エンジンとはなんぞやという話がメインになっています。全文検索エンジン周りの技術は、いろいろ追いかけてて時代

日本のAWS関係者がre:Inventの発表で盛り上がっているなか、風邪ひいて寝込んでました。季節の変わり目には、気をつけましょう。 さて、そんな感じで全然追いつけていませんが、特に面白いなぁと思ったのが、S3 Event NotificationsとAWS Lambdaです。Lambdaについてはまだ触っていないので何ともいえない部分がありますが、発表内容を見る限りインフラの在り方を変えるような存在かもしれません。そして、S3のEvent Notifications。これ、めちゃくちゃ便利です。S3のイベント（現在は、putとpushとcopy）が発生したら、SNSやSQSに通知を送れるという機能です。何が便利かというと、ファイルのアップロードをトリガーに処理を書けるということです。頭に浮かんだユースケースを1つ書いてみます。 S3 Event Notificationsを使ったクローラ

静的サイトの運用であれば、現状ではS3 Web Hosting機能が最適と考えています。OSやミドルウェアのアップデートも不要で、かつ仮想サーバを起動するより圧倒的に安価です。一方で、ほぼ無敵のS3といえども、一定時間で過剰なアクセスがあった場合はスロットリング（throttling）といって、規制されてアクセス制限が掛かる可能性があります。しかし、その閾値がどれくらいなのか、謎です。（全体のリソース状況によるので、一定ではないとのこと） ちょっと試してみたかったので、負荷テストをおこなってみました。S3に対する負荷テストの場合、そんじょそこらの負荷では太刀打ち出来ません。そこで、複数のサーバから負荷を掛けてみることにしてみました。と言っても、複数のサーバをコントロールするのは面倒臭いので、Bees with machine gunsを使ってみました。 Bees with machine

一家に一台のNASは常識だと思いますが、NASのバックアップは未だ難しい問題です。別エントリーに詳しく書いていますが、個人的にはAmazon S3+（Glaicer）が今のところ最善だと思います。そうなるとNAS自体にS3へのバックアップ機能があればベストです。現状の選択肢の中では、QNAPが中々良い製品ではと考えています。そんな中でQNAPが2年ぶりに新モデルの発表をしています。これは、夏のボーナスで買わないとダメですね。 QNAPとは？ QNAPは、NASです。しかし、NASの割には保存用のディスクがついていないという珍しいNASです。少し触ってみて解ったのですが、QNAPの実体はUbuntuベースのサーバです。普通にsshでログインすることも出来ます。UbuntuのサーバにWebのユーザインターフェースをつけて、筐体にディスクを追加出来るようにしているのがQNAP TurboNASで

awsでシステムを組んでいると、一度は使ってみたくなるのがs3fsです。まずs3ですが、これはAmazonが誇るオンラインストレージです。容量の拡張も思いのままで、ほぼ無限の領域を使える夢のようなサービスです。一方で、現在のところAmazonのデフォルトのサービスでNASにあたるものは提供されていません。AWS上でシステムを組む上で、ここが制約になる場合があります。それであれば、s3をファイルシステムとして扱えば良いじゃないかというのが、s3fsプロジェクトです。 コンセプトが解りやすく、上手くいけばAWSのサービスを保管する素晴らしいプロジェクトに思えます。しかし、実際のところ中々運用ベースで使うのが難しいのが、このs3fsです。理由としては、遅い・安定しないの2点に尽きます。何故なのでしょうか？s3fsのアプリとしての成熟度の問題でしょうか？ということで、アーキテクチャレベルで考えてみ

Amazon S3のアクセスコントロール(Access Control)には、次の5タイプがあります。 IAMのポリシーを使った制御(Using IAM Policies) バケットポリシーを使った制御(Using Bucket Policies) ACLを使った制御(Using ACLs) ACLとバケットポリシーを併用した制御(Using ACLs and Bucket Policies Together) 認証付きクエリーを使った制御(Using Query String Authentication) 用途に応じて上記の方法を使い分けるのですが、この中で面白いのが認証付きクエリーを使った制御です。要は、一時的に使用権を与えたURLを発行するという方法です。有効期限等を設定出来るので、期間限定のURL等を発行出来ます。キャンペーンで使用するといった方法や、アプリケーションから安全にア

Gitのリポジトリ運用の要となるのが、バックアップ運用です。一般的には、定期的なバックアップを仕込むといった運用をしている所が多いと思います。一方で、定期作業であれば最終バックアップから障害発生時点でのデータ消失という危険性はあります。ということで、プッシュごとにフルバックアップが取れれば理想です。それも利用者が意識しない形でないといけません。 #Gitなので分散リポジトリから復旧という話もありますが。 ということで、Gitのフック機能でAmazon S3にバックアップするパターン例です。やり方は簡単で、リポジトリ毎のhooksの部分に同期スクリプトを呼び出すコマンドを書けば良いだけです。 post-receive,post-update等に記載 #!/usr/bin/env bash /foo/var/sync.sh &ポイントは、&でバックグランドプロセスにした上で同期プログラムを呼び

４年ほど前にLinkStationを買って今日も元気に動いて貰っています。そんなに不満はないのですが、２点だけ改善したい点があります。一つ目は、MacのTime Machineで自動バックアップ出来るようにすること。２つ目は、NAS自身でAmazon S3に自動的にバックアップさせたいという点です。 まず一つ目のMacのTime Machineについてです。Snow Leopard以前であれば設定をすればTime Machineの保存先として利用できました。しかし、LinkStation（LS-WH2.0TGL/R1）のプロトコルの対応状況の理由で、Lion以降のOSではTime Machineの母艦としては使えなくなりました。これを改善したい。 次にAmazon S3への自動バックアップ。NASといえば、Raid等でハードディスク単体の障害には強くなっています。しかしながら、RaidCo

2012年の年の瀬に、Amazon S3に待望の機能が追加されました。それは「ルートドメインでWebをホスト出来る機能」です。なんじゃそれはと思われるでしょうが、つまりwww.example.comとかblog.example.comのようにサブドメインがつかずにexample.comだけでS3で静的Webサイトを作る機能です。 それくらい簡単だろうと言われそうですが、実はこれ根の深い問題があって実現出来ていなかったのです。S3 Web Hostingでドメインの設定をする場合は、CNameを利用することにより実現しています。そしてRFC 1034の規定でトップレベルドメイン（ホスト名無しのドメイン）は、Aレコード（IPアドレス指定）である必要があります。というところで、ルートドメインでのS3のWebホストが出来ませんでした。この辺りの事情は、以前調べて書いています。ちなみにELBでも同様

AWSのサービスの中でS3が一番ラブです。最近20%程値下げされたので、東京リージョンでも1ヶ月1GB保存しても$0.100と約8円と格安です。さらにS3からGlacierに自動でアーカイブするサービスが出来たので、更に安く使うこともできます。ということで、個人でももっともっとS3を使ったら良いと思います。そこで、今回はWindowsでS3をマウントして、ネットワークドライブとして使う為のツールを2つ紹介します。GladinetとTntDriveです。 どちらもWindowsでS3のバケットをマウント出来るツールです。イメージ的には、一つのバケットを一つのドライブとして扱うことが出来ます。 セットアップは簡単で、どちらもサイトからダウンロードしてウィザードに従ってインストールするだけです。その際は、.Net Framework 2.0が必要です。インストール後に、ドライブの設定を行います。

2年程前に書いたSubversion+DropBoxの焼き直しです。今風にGitで書きなおして見ました。後は、同期だけでは心許無いので、バックアップ戦略について考えてみました。 まず解決したい問題は、下記の３つです。2年前から変わっていませんね。 ソースのバックアップをどこか違うところに持ちたい ネットワークがオフラインの時でも、コミット出来るようにしたい 違う環境から作業しても、最新のソースを取れるようにしたい まず1のソースのバックアップについてです。厳密にはバックアップではなく、同期で実現しています。開発機単体ではなくDropBoxにコピーされるので物理的障害等に対する対策は充分です。一方でDropBoxの特性として、DropBox上に置いているリポジトリを消してしまうと、消された状態で同期されてしまいます。DropBox上のリポジトリと、ローカルのワーキング・リポジトリに分ければ問

Amazon S3は安いか高いかという議論を、この2日間で立て続けに3個所で耳（目）にした。 1人はネットサービスベンチャーのCTOで、クラウドへの移行を検討しているものの、Amazon S3やEC2の実際の価格や使い勝手がよく分からないという話だった。コスト的に見合うなら、もうサーバ運用に煩わされたくないと漏らしていた。 もう1つは、ベンチャーキャピタルとして知られるYコンビネーターの掲示板で見かけた「Does Amazon S3 really save money？」で始まる議論。1GB当たり1カ月で0.15ドルと聞くと安いようにも思えるが、1TBの月額は150ドル、2年にすると3600ドル（1ドル92円として約33万円）にもなる。しかも転送量に応じた課金もあるため、実際にはこれ以上になる。今や1TBのドライブ単価は1万円を割っていて、2年で3600ドルとは比較にもならない。「クラウド

週末プログラマに朗報　Amazon Elastic Block Store（EBS）で書きましたが、EBSは私のように週末プログラマにはかなり嬉しい存在です。基本、開発環境等はローカルの端末に入れているのですが、色々な端末を使うのでソースの管理はやはりSubversion等のソース管理サーバに置きたいです。また、自宅や外出先その他色々な所から使うのでHTTP経由で使いたいところなのですが、その為の公開サーバをどうしようかなというのが悩みの種でした。 自宅サーバ設定して使っていたという時期もあったのですが、はっきり言って年中サーバが起動するのはうるさいです。レンタルサーバという手もあるのですが、SVNの為だけもなぁというのが正直な感想でした。AmazonのEC2で必要な時だけ起動するというのが有力解かなと思っていたのですが、バックアップされる対象の領域は非常に小さいです。となると、S3にバッ