Amazon S3のGlacierアーカイブ機能を活用する | DevelopersIO
よく訓練されたアップル信者、都元です。話題は攫えないと分かりつつも、また小ネタいきます。 数ヶ月前のネタですが、Amazon S3において「自動的にGlacierにアーカイブする」という機能がリリースとなりました。Glacier単体では正直利用しづらかったものが、S3を介してGlacierを使えるようになったことで非常に使いやすいものになりました。とは言え、実際にこの機能を使った事がないと、使いどころのイメージも付けづらいと思います。 S3とGlacierのデータ保存コスト 実は、筆者は個人的に、このS3とGlacierの連携機能を利用しています。自宅で利用しているNAS QNAP TS-219P II には、ファイルを1日1回自動的にS3にアップロードしてバックアップを取る機能があります。この機能を利用して、家族の写真等、消えたら精神的打撃が大きなデータを 99.999999999%（イ
s3fsの何が悪いのか？ - プログラマでありたい
awsでシステムを組んでいると、一度は使ってみたくなるのがs3fsです。まずs3ですが、これはAmazonが誇るオンラインストレージです。容量の拡張も思いのままで、ほぼ無限の領域を使える夢のようなサービスです。一方で、現在のところAmazonのデフォルトのサービスでNASにあたるものは提供されていません。AWS上でシステムを組む上で、ここが制約になる場合があります。それであれば、s3をファイルシステムとして扱えば良いじゃないかというのが、s3fsプロジェクトです。 コンセプトが解りやすく、上手くいけばAWSのサービスを保管する素晴らしいプロジェクトに思えます。しかし、実際のところ中々運用ベースで使うのが難しいのが、このs3fsです。理由としては、遅い・安定しないの2点に尽きます。何故なのでしょうか？s3fsのアプリとしての成熟度の問題でしょうか？ということで、アーキテクチャレベルで考えてみ
s3fsの使い道 – FLAMA技術Blog
s3fsを使うとAmazon S3をディスクとしてマウントすることができるということで、そこかしこでぼちぼち取り上げられています。 確かにインストールは可能で、動かすところまでは進めることができるのですが、実際にはできることとできないことがあって、それが原因でs3fsを採用できないパターンが出てきます。 結論から先に言ってしまうと、「隠しフォルダ・ファイル」への読み書きが発生するサービスへの使用は、うまく動作しない場合があるようです。 そこで、試したこと、断念したパターン、最終的にとった方法などのメモを書いておこうと思います。 問題のあるパターン、問題なく使用できているパターンともに、環境に左右されます。 s3fsやfuseのバージョン・forkはもちろん、OSの種類やkernelのバージョンなどによっては問題ない場合や、逆に問題の出る場合があると思われます。 基本的に、以下の結果は、 ・
Amazon Route53ためしてみた - log4moto
参考URL: http://docs.amazonwebservices.com/Route53/latest/GettingStartedGuide/ 下準備 AWSの認証情報を ~/.aws-secrets に保存。フォーマットは %awsSecretAccessKeys = ( "my-aws-account" => { id => "0F1V9UKMN23IEXAMPLE2", key => "lkTwZRalREYSU7lbSS5VoUhdYREcwsasEXAMPLEQ", }, );です。パーミッションを600にしておきましょう(chmod 600 ~/.aws-secrets) dnscurl.pl をダウンロードし、実行可能属性を付けておく ~/work/r53% curl -O http://awsmedia.s3.amazonaws.com/catalog/attac
Route 53の利用 | iret.media
今、もっとも熱いAWSのプロダクトは Elastic Beanstalk かもしれませんが、 今回のクイックレビューは Route 53 です。 Route 53 はAWSが用意したDNSサービスで、 AWSのサービスらしく、すべてAPIが用意されており、 プログラムで、DNSの操作を行うことができます。 まずは、下記より”Route 53″が利用出来るようにサインアップしておく必要があります。 http://aws.amazon.com/route53/ “Route 53″の操作は以下の”dnscurl.pl”を利用するので http://aws.amazon.com/developertools/Amazon-Route-53/9706686376855511 適当な(Perlが使える)UNIX環境上で作業することにします。 ▼”dnscurl.pl”のダウンロード # curl -
Amazon Glacierとは何か？ 説明会を開催 | gihyo.jp
データの耐久性などはまったく同じで、Glacierはアクセスに時間がかかるぶん、費用がS3の約10分の1となっているわけです。Glecierだと1Tバイトのデータが1ヵ月約1000円程度で保管できる計算です。 このような特徴を持っているGlacierを、Amazonはこれまでテープでバックアップをしていたようなペタバイトクラスの大容量データを数年にわたる長期で保存する、といった用途を想定していると言います。 Glacierサービスの利用方法 具体的な利用方法ですが、まずは他のAWSのサービスと同様、Amazonにユーザ登録、ログインして「マネジメントコンソール」を立ち上げます。どのリージョンのGlacierサービスを利用するかを選択後、Vault（ボルト）を作成します。ここにデータをアップロードする単位のアーカイブを格納できます。このVaultに対してアクセス権限と、Amazon Simp
RAWデータの保存(NASとAWS)
現像済みRAWデータも消さずにとりあえず保存してます。 現像し直すことはほとんどないんだろうけど… わが家の場合MBPrがSSD512GBモデルなので、NASとの併用が必須です。 まず現像済みJpegはFlickrにオリジナルサイズでアップロードでまあいいでしょう。 …で問題のRAWデータはNASに保存。 ちなみにうちは2年間くらいに買ったQNAPのTS-219P+ってモデルに 2TBのHDDを2本いれてRaid1(ミラーリング)運用してます。 QNAPは自分で好きなHDD入れられるので、それを面倒くさいと感じない人にはオススメ。 今だったら4本のモデルも安くなってるし、NAS用HDDなんてのも売られてるので、 Raid10な構成で組んじゃうのも、いいかもしれません(実際に2TBだとキツくなってきた) QNAPのS3設定画面 よく言われているように「ミラーリング≠バックアップ」
| フォー・フュージョン株式会社
SERVICE WebコミュニケーションNo.1カンパニーへ 当社の掲げる「Webコミュニケーション」とはインターネットユーザーの複雑化した購入検討プロセスを理解し、 企業からの一方的な情報発信ではなく消費者との双方向なコミュニケーションを発生させる事をさします。 企業が抱える課題・目標を解決するためのあるべきコミュニケーションを創造するのが 私たちの提供するトータルWebコミュニケーションサービスです。
Amazon Web ServiceのアカウントはAmazon.comのアカウントと共通？ - AWSアカウントに登録されたクレジットカード情報の削除について - hamuo的メモ
さすがにtwitterログで埋まりつつあるし、mixiにもかけないので、ここで… 仕事柄AWSを触る機会があったのですが、クレジットカードの情報を変更する必要が出てきました。 クレジットカード情報の追加は「Account＞Payment Method」で容易に追加可能なのですが、なぜか削除ができない。普通つけろと言いたくなりそうですがね。で、いろいろ彷徨っていたら「Account＞Personal Information」のメールアドレスを変更する「Change」ボタンを押したら、なぜかAmazon.comのYour_Accountサイトへジャンプ。 もしやと思い、Your_Accountをクリックしてトップページに飛び、「Payment＞Manage Payment Options」を選ぶとクレジットカード情報が2つ登録(変更前と変更後)が登録されてるじゃありませんか。ということで、変更
ゆーすけべー日記
今週末の金曜日、3月15日に「JAWS DAYS 2013」のパネルディスカッションのパネラーとして呼ばれておりましてー。 風呂グラマーのmasuidriveさんとTreasure Dataの太田さんとお話をするらしく多少ビビってる僕です。 プログラム・スピーカー紹介 | JAWS DAYS 2013 | 2013/3/15（金）～16日（土）東京ビッグサイトで開催！ 実はこのAmazon Web Serviceユーザーにおける祭典「JAWS DAYS」のイベントに呼ばれた前日。 ちょうどボケてを某さくらVPSからEC2含むAWSへせっせと移行していましてー。 ま、つまりは「AWSでこれからバリバリ運用始めるぜ！」ってタイミングでのお呼ばれでしたw イベント自体はおもろい事話せればいいなーとは思いつつ、AWSへ移行して、もしくはAWSへの準備の段階で得たTipsを箇条書きでまとめてみます。
Amazon S3のバケットに特定のユーザだけアクセスさせたい時どうするかメモ - I’m hungry
S3を設定したときのメモ書き S3は「バケット」を作成してObjectをPUT/GET/DELETEする。 AWS Management ConsoleのS3タブから作成する。 ■バケット毎にアクセス制御したいとき 普通のログインアカウント（契約してるメールアドレス）のアクセスキーだと 基本なんでもできてしまうので開発を別の人にやってもらうとかの場合使えない。 （別でなくてもセキュリティ的に問題だと思うけど） Management ConsoleからIAM（Identity and Access Management）タブを選択して ユーザ／グループを作成し、バケットに対するアクセス権限を付与してやればよい。ような気がする。 （※どんな設計にすればいいのか正解がわからない） ユーザにはAmazonが用意しているパーミッション ・Administrator User ・Power User
S3とIAMを組み合わせたお手軽ファイル共有
ファイルをやり取りする時など、イントラにあるファイルサーバー（SambaやAFP、NFSなど）を経由させるのが一番お手軽な方法だと思います。実際、最近のNASは安いですし、RAIDも簡単に組めてそこそこ信頼性もあります。ちなみに弊社ではBuffaloのTera Stationを利用しています。 ですが、このファイルサーバーをクラウドに持って行くとなると結構大変です。弊社の場合ですと、エンジニアと印刷オペレーターとでファイルをやり取りする機会も多いので、エンジニア以外の人たちでも簡単に扱える仕組みが必要となります。AWSでこの手の「ファイル共有」プロトコルを喋らせるにはEC2を仕立ててあげなければなりませんが、今回はそのような時間もお金もかける事が出来ません。 AWSにはS3という容量無制限のストレージサービスがあります。CloudBerry ExplorerやCyberduckを使えば、F
クラウドだけどプライベートさえあれば関係ないよねっ - サーバーワークスエンジニアブログ
アマゾンさんが入っているビルのエレベータがあのダンボール風って本当ですか？ わたし、気になります！ 具体的には遊びに行かせて下さい！ このダンボールでお馴染みのアマゾンさん、利用したことがないという方はほとんどいらっしゃらないと思います。 このアマゾンさんがクラウドサービスもやっていることは御存知ですか？（御存知ない方が意外にいらっしゃいます） 「クラウドをやっていることは分かった。でも、サーバを立てたら公開されちゃうんだろ？」 いえいえ。アマゾンさんのクラウド（AWS）は、「私しか使えないクラウド」、プライベートなクラウドを作ることができるんです。 「データセンタを借りて、サーバを買って、プライベート・クラウドを作るぞ」と息巻く前に、下記の『続きを読む』をクリックして続きをお読み頂ければと思います。 ５分程度で読めます。AWSでもプライベート・クラウドができるとお分かりいただけると思いま
Amazon EC2/S3を使ってみた - まとめ (Amazon Web Services関連エントリ目次) - RX-7乗りの適当な日々
Amazon EC2/S3および、その他Amazon Web Servicesについて、具体的な使い方を中心に、これまでこのブログ内で色々とエントリを書いてきたので、このエントリに目次代わりとしてまとめておきます。 今後も関連エントリを書いた際に、以下に追記していきますが、場合によっては記載されている情報が古い場合もありますので、その点はご了承ください。(できるだけ気づいた時点で修正しています。) # 尚、ここで紹介しているエントリは、全て私(id:rx7)自身が書き記したものです。 基本の流れを知る Amazon EC2/S3を使ってみた - 1.AWSへの登録〜S3を使う Amazon EC2/S3を使ってみた - 2.EC2が起こすイノベーション Amazon EC2/S3を使ってみた - 3.EC2起動後〜AMI作成 Amazon EC2/S3を使ってみた - 4.EC2で固定IP
AWS Free Usage Tier（無料利用枠）でAmazon EC2を利用する | Devugger
今週末から原宿ウェブ研究所に第2期生としてお邪魔することになったので、Webサービス開発用のサーバー環境として、Amazon Web Services (AWS)を使うことにしました。 AWSには、Free Usage Tierという無料利用枠があり、その枠の範囲内であれば1年間無料ということなので、これを機に使い倒してみようかなと。というわけで、構築手順をまとめます。 環境：MacBook Air (Mid 2011), Mac OS X 10.7.1 Lion, Google Chrome 14.0.835.202 参考：WEB+DB PRESS Vol.62 特集2［速習］Amazon Web Services 構築手順（所要時間：約1時間） AWSアカウントの作成 Amazon EC2インスタンスの起動 インスタンスへのログイン インスタンスの停止 トラブルシューティング 1. A
Amazon EC2性能検証！気になるパフォーマンスをインスタンスタイプやリージョン毎に計測・比較してみた - 元RX-7乗りの適当な日々
大手クラウドサービスであるAmazon EC2では、9種類ものインスタンスタイプ(サーバの種類)から、利用したいスペックのサーバを選択できます。また、EC2のサーバは、4ヶ所ものリージョン(アメリカ東海岸、同西海岸、ヨーロッパ西部、シンガポール)から稼動させる場所を選択することができます。 ここで、気になるのが、Amazon Web Servicesの説明ページで、各インスタンスタイプの公表スペック差異として、EC2独自のCPU単位である"ECU"の数値や、IO性能のModerate(中)やHigh(高)で、どのくらいパフォーマンスが違うのかが見え辛いといった点。 また、一部の場所ではパフォーマンスが出ていない等の話が以前に出ていましたが、4ヶ所のロケーション(Region)によって、各場所でのインスタンス性能が全く同じなのか等も気になるところ。 ここを解明すべく、各種ベンチマークを実行し
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Awsビギナー向け資料 ec2 20111124