モバイルゲームにおけるAWSの泥臭い使い方
EC2ではマルチキャストが使えないから○○が動かないってよく聞きます。確かにVPCであってもEC2ではL2ブロードキャストはサポートされていないので、ENIにブロードキャスト/マルチキャストパケットを投げても誰にも届きません。でも当たり前ですが、ユニキャストはできますよね？であればアプリケーションがマルチキャストのつもりで投げたパケットを捕まえて、L3アドレスはそのままにL2で複数のユニキャストフレームとして送ってしまえばいいのでは？そんな事を試して実際動く事を確認したところをデモを含めてお届けします。
ELB用のSorryサーバをCloudFormationで構築 – Gezarで一発「ごめんなさい」 | DevelopersIO
よく訓練されたアップル信者、都元です。以前、Amazon ELBでSorryサーバへのフェイルオーバーを実現するというエントリにて、ELB配下に正常なインスタンスが1つも無くなった時にSorryページを表示する方法をご紹介しました。 その後、Route53のヘルスチェックにELBを指定できるようになったり *1、フェイルオーバーの機能は順次強化されてきています。 このRoute53のフェイルオーバー先にはS3を指定できます。S3の可用性は非常に高いため、もうWebシステムのフェイルオーバーは完璧。…かと思いきや、実はそうでもありません。 まずRoute53を使わない場合はどうしようもありません。まぁ、使えよって話ですが。 S3は「あらゆるパスへのリクエストに対して同じコンテンツを返す」ということができません。強引にやろうとするとリダイレクトをする、という解決策になってしまいます。理想として
Amazon S3でWordPressを動かす
【WordPress特別セミナー】StaticPress × S3 × Vagrant 勉強会 の講演資料 http://atnd.org/events/43607 Twitterまとめ http://togetter.com/li/576298 ■共演の方々の資料 WordPress サイトの 長期的メンテナンス http://www.slideshare.net/naokomc/wordpress-27138322 現場視点で語るstaticpress開発の背景と事例 http://www.slideshare.net/megumithemes/staticpress-27139158 StaticPress http://www.slideshare.net/wokamoto1973/staticpress Amazon S3による静的Webサイトホスティング http://www.
AWSにおける静的コンテンツ配信パターンカタログ（アンチパターン含む） | DevelopersIO
独自ドメインSSLだとCloudFront使えないから横綱無理だよねー、という話がありました。うん、確かにそうでした、執筆時点では…！ 本日2013/06/12、CloudFrontの独自ドメインSSL対応が発表（英語・日本語）されましたので、みなさん揃って横綱になればいいと思います。 よく訓練されたアップル信者、都元です。AWSを利用して構築した環境から、クライアント（モバイルやブラウザ等）に対してHTTPを使って静的なコンテンツを配信したいケースって、多いですよね。多いというか、むしろどんなシステムにも多かれ少なかれ、静的なコンテンツ配信があると思います。 スケーラビリティ・柔軟性・可用性・パフォーマンス・コスト 静的なコンテンツというのは、コンテンツをリクエストに応じて生成したりせず、完成品としてのファイルが手元にある状態です。例えば、多くのWebシステムにおいて、ほとんどの画像やJ
CentOSからS3へファイルをバックアップする方法 | Check!Site
記事投稿者：山下 晴規 記事公開日：2013/10/08 最終更新日： （この記事は約1年以上経過しています。） EC2 ではないCentOS 6 上のファイルを 、インターネットストレージ AWS S3 にバックアップしてみました。 S3 にバックアップする際には、s3cmd が利用できます。AWS の環境外であるサーバのデータを、可用性が高くて容量単価が低いインターネットストレージにバックアップできるので、便利に利用できるケースも多いと思います。 s3cmd のインストールとセットアップ、利用方法について記載しています。 インストール s3 tools からファイルをダウンロードし、インストールします。 # wget http://sourceforge.net/projects/s3tools/files/s3cmd/1.5.0-alpha1/s3cmd-1.5.0-alpha1.t
cloudpackブログ - S3ってなんじゃ？（s3cmd syncではなくinotify+s3cmd sync (or put)）
以前、S3ってなんじゃ？(s3cmd編)の記事を紹介しましたが、先日s3cmdで調査が必要な場面に遭遇したため、 今回はその件について紹介したいと思います。 ○問題 WEBサーバからS3へのファイル同期にs3cmdを使ったプロジェクトがありました。 しかし、linuxのサーバからS3へファイルを同期するのにs3cmdのsyncコマンドを使用しており、 その同期がとても遅いというのです。 ローカルで1ファイルを追加したとしても同期の度に数時間かかっているようでした。 確認してみたところ、同期対象のS3バケットに数百万という数のファイルが存在しており、 それが問題となっているようでした。 そこで、対処方法を調べてみました。 ○再現 まず、手元のEC2環境で同じ状況を再現してみます。 適当なディレクトリにgitからある程度サイズのあるプロジェクトをいくつかcloneします。 # mkdir /r
はじめてのEMR／fluentdでS3にアップロードしたログをElastic MapReduceで検索・集計する | DevelopersIO
今回解決したい課題 こんにちは植木和樹です。本日の課題はタイトルの通り「fluentdでS3のバケットにアップロードしたログを検索・集計する」です。EC2でサーバを構築した場合、インスタンスがTerminateした後もログが参照できるようfluentdを使ってS3にファイルをアップロードしておくのがAWSのベストプラクティスです。 「Amazon Recommends Fluentd as “Best Practice for Data Collection” over Flume and Scribe」 しかしS3にアップロードしたログファイルはツールを用いなければアクセスすることができず、このままでは容易に検索できません。EC2からS3をs3fsでマウントしてgrepという方法はありますが、遅すぎて実用的とはいえません。s3cmdでいったんローカルにファイルをダウンロードしてから検索す
S3とFluentdを用いた効率的なログ管理 | SmartNews開発者ブログ
ゴクロの大平です。 私にとって一番大事で替えの効かないミュージシャンはさだまさしさんですが、私にとってクラウドコンピューティングのサービスの中で一番大事で替えが効かないサービスはS3です。 多種多様なAPIを用いて柔軟にファイルの操作が出来る事や、”99.999999999％”と謳われている高い耐障害性、S3にあるデータをElastic MapReduceやRedshiftなどを用いて手軽にデータ解析を行える基盤が提供されていることなど、あまりに便利すぎてS3の代替となるサービスを探しだすのが難しい状態です。 もちろん多くのAWSユーザーが同じようにS3の便利さを享受していると思いますし、インターネット上でも多くのブログ等でその魅力が語られています。その中で本記事は既に存在する記事と似たような内容を書いてしまうかもしれませんが、弊社なりのS3の使い方についてご紹介したいと思います。 なお
S3を使う時のベストプラクティス（を訳してみた） - サーバーワークスエンジニアブログ
最近子どもの水いぼを取る際に、麻酔テープが健康保険適応内である事を知った小室＠福岡です。 AWSのドキュメントの一つに、Articles & Tutorialsという物が有ります。これはAWSの中の人、また使っているユーザーがこのように使うといいよ、とAWSをよりよく使える方法を教えてくれる場所です。 サーバーワークスでは、日々のAWSのドキュメントの確認だけではなく、このようなArticles & Tutorialsを読みより深くAWSのサービスについて理解を深めようと個々に担当し、社内発表会を行っています（始めたばかりだけどね！）。 今回私が訳してみたのはこちらです。 Best Practices for Using Amazon S3 この記事は2008年に投稿(更新2009年)されており、現在とは少し違うかもしれませんが、とても参考になりましたので、ご紹介したいと思います。 ※これ
S3のダウンロード速度を1.5〜4.5倍高速化する怪しげな方法 - 昼メシ物語
バケットのIPアドレスを適切なものに固定することで、期待値でいうと1.5倍、最大で4.5倍程度高速にダウンロードできます。 この方法は非常に効果が高いですが、非公式なものであり、ある日突然破綻する可能性もありますので自己責任でお願いします。 S3のバケットとエンドポイント まずは前提知識として、S3の名前解決について説明します。 S3のバケット "mybucket" というバケットを東京リージョンに持っているとします。するとそのバケットのドメイン名は mybucket.s3.amazonaws.comになります。これをエンドポイントと呼びます。このバケットの中にあるファイル "hello.txt" にアクセスする場合には、 http(s)://mybucket.s3.amazonaws.com/hello.txtというようなURLを用います。*1 エンドポイントのIPアドレス この myb
S3ってなんじゃ？（ダウンロードだけを特定のIPに制限する）
{ "Version": "2008-10-17", "Id": "Policy1360868462747", "Statement": [ { "Sid": "Stmt1360868457064", "Effect": "Deny", "Principal": { "AWS": "*" }, "Action": "s3:GetObject", "Resource": "arn:aws:s3:::myfirst-bucket/img/*", "Condition": { "NotIpAddress": { "aws:SourceIp": "xxx.xxx.xxx.xxx/32" } } } ] }
インフラ構築手順書 AWS S3をWEBホスティングとして利用【アクセス制限】
HOME » » AWS S3をWEBホスティングとして利用【アクセス制限】 AWS S3 Webホスティング構築手順 » AWS S3をWEBホスティングとして利用【アクセス制限】 AWS S3 WEBホスティングとして利用【アクセス制限】 オンラインストレージサービスである Amazon Simple Storage Service (S3)を静的なWebサイトのホスティング として利用する際のアクセス制限の方法を説明します。 AWS S3をWebホスティングとして一般公開する 「AWS Management Console」- 「S3」- 「S3」管理画面表示 左ツリー 「S3の対象Bucket」選択 -「Properties」クリック 「S3の対象Bukets」のプロパティ表示 - 「Permissions」 - 「Edit bucket policy」クリック ※Buc
s3fsの何が悪いのか？ - プログラマでありたい
awsでシステムを組んでいると、一度は使ってみたくなるのがs3fsです。まずs3ですが、これはAmazonが誇るオンラインストレージです。容量の拡張も思いのままで、ほぼ無限の領域を使える夢のようなサービスです。一方で、現在のところAmazonのデフォルトのサービスでNASにあたるものは提供されていません。AWS上でシステムを組む上で、ここが制約になる場合があります。それであれば、s3をファイルシステムとして扱えば良いじゃないかというのが、s3fsプロジェクトです。 コンセプトが解りやすく、上手くいけばAWSのサービスを保管する素晴らしいプロジェクトに思えます。しかし、実際のところ中々運用ベースで使うのが難しいのが、このs3fsです。理由としては、遅い・安定しないの2点に尽きます。何故なのでしょうか？s3fsのアプリとしての成熟度の問題でしょうか？ということで、アーキテクチャレベルで考えてみ
FTPライクに使えるAmazon S3クライアント·CloudBerry Explorer MOONGIFT
Webサイトを構築する際に、ストレージについて頭を悩ませることがある。そもそもそうしたことに悩んだり、スケーラビリティを考えるならばAmazon S3を使ってしまう方が早いのではないだろうか。画像やアップロードしたファイルなどであれば速度もそれほど気にせず利用できるはずだ。 FTP風のAmazon S3フロントエンド その他、ファイルのバックアップやファイルアップローダーとしてAmazon S3は利用できる。そのためのフロントエンドとしてCloudBerry Explorerを紹介しよう。 今回紹介するフリーウェアはCloudBerry Explorer、Windows用のAmazon S3フロントエンドだ。 CloudBerry Explorerは二画面ファイラーの表示になっている。FTPソフトウェアの感覚で使えるので分かりやすい。左右どちらをAmazon S3にすることもでき、両側をA
amazon S3 のアクセス制御をIAMポリシーで行うメモ - teketeke_55の日記
IAMのポリシー作成機能を使用してS3をアクセス制御する S3だけフルアクセスできる { "Statement": [ { "Effect": "Allow", "Action": "s3:*", "Resource": "*" } ] } 機能を絞る場合 { "Statement": [ { "Effect": "Allow", "Action": [ "s3:Get*", "s3:List*" ], "Resource": "*" } ] } S3の特定のバケットのみフルアクセス(バケットとその中身のリストは表示される) { "Statement": [ { "Action": [ "s3:ListAllMyBuckets" #ここがないとmanagement consoleからバケット全体が見えなくなってしまう。 ], "Effect": "Allow", "Resource":
Route 53の機能でS3のウェブサイトホスティングにフェイルオーバーしてみた - okochangの馬鹿でありがとう
今回のエントリは前回の続きを書く予定だったのですが、本日Route 53から面白そうな機能がリリースされたので、自分のテスト環境（EC2東京リージョン）と組み合わせてみたくなりました。 【AWS発表】Route53にDNSフェイルオーバー機能が追加。S3のウェブホスティング機能と連携したバックアップサイトを作成可能に。 S3でバックアップサイトを構築 今回の機能はAmazon S3のウェブサイトホスティング機能と組み合わせる事で、バックアップサイトを構築出来るという事なのでバックアップサイトを構築します。 まずはManagement ConsoleでS3にバケットを作成します。（バケット名はアクセスされるFQDNと同じにして下さい） ※せっかくなので今回はテスト環境とは異なるリージョンに作成しています。 次にバックアップページのコンテンツをアップロードします。 作成したバケットを選択して、
【初心に帰るシリーズ】月額約10円で設置したウェブサイトの有効活用方法 - サーバーワークスエンジニアブログ
Sorry画面、どうやって出してますか？ 『【初心に帰るシリーズ】月額約10円でウェブサイトを設置する』にてAmazon S3でウェブサイトを設置できるよという話をしました。 今回はこの応用編のお話をしようと考えております。 「メンテしてます」画面、いわゆるSorry画面をお気軽に出せますというお話です。 「Sorry画面を出さないような運用をしましょう」というツッコミは無しの方向でお願いします。 Sorry画面の出し方 ざっと考えると、Sorry画面を表示できるようには下記のようにします。 「本番サイトが生きているか」の監視 「本番サイトが死んだら」の切換え つまり、「本番サイトを止めたら、ぱっとSorry画面を表示するサイトを立ち上げる」を行う必要があります。 面倒ですよね。 通しで考えると、 本番サイトを監視 ↓ 本番サイトが死んだら… or 止めたら… Sorry画面サイトを立ちあ
開発メモ#6 : ログの取り扱い : GrowthForecast, Amazon S3, Treasure Data で心労ゼロ - naoyaのはてなダイアリー
開発メモ#6 です。前回から少し間があいてしまいました。 開発メモ#2 : AWS でのホスト / クラウドネイティブなデプロイ - naoyaのはてなダイアリー で書いたように、EC2 へのアプリケーションのデプロイにあたっては Elastic IP の利点を活かしてカジュアルにホストを入れ替えまくっています。ちょっとこのデプロイは慎重になりたいな、と思ったらスナップショットからインスタンスを立ち上げては切り替える、の繰り返し。 この運用をしていると、スナップショットとの差分ができやすいのは chef-solo で吸収するというのが前回、前々回のはなし。 もう一点問題があります。アクセスログやアプリケーションのログです。フロントエンドのサーバをあっちこっち切り替えているうちに、そのままではログが分断されてしまう。ホストを Terminate しようものならログは消失してしまいます。 この
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon S3による静的Webサイトホスティング
ログ解析をあきらめない、あるいはSumoLogicの紹介
