第1回仮想マシンレンタルサービスAmazon EC2、大容量ストレージサービスAmazon S3を使ってみよう 増井雄一郎 2008-05-19
AWS and Hadoop developer Tom White shows how to use Hadoop and Amazon Web Services together to process a large collection of web access logs. AWS Products Used: By Tom White Managing large datasets is hard; running computations on large datasets is even harder. Once a dataset has exceeded the capacity of a single filesystem or a single machine, running data processing tasks requires specialist h
Amazon EC2はごく手軽に使える仮想サーバだが、その性質上、サーバ(インスタンス)を終了すると全てのデータが消失するようになっている。これではデータを保存するようなことができない。そこで使われるのがAmazon S3というストレージサービスだ。 s3fsのプロジェクトページ 各種ライブラリは存在するが、最も使い勝手の良い方法はこれだろう。ファイルシステム並みに使うのだ。 今回紹介するオープンソース・ソフトウェアはs3fs、Amazon S3向けのFUSEだ。 FUSEを使うことで、通常のファイルシステムと同じ感覚でAmazon S3が利用できるようになる。インスタンスを落とすことで消失すると困るデータはs3fsを使ってマウントしたファイルシステムに入れるか、定期的なバッチでコピーしたりすれば良い。 利用はターミナルベース。オプションでアクセスIDを指定するか、/etc/passwd-
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く