Amazon MapReduceを使ってPHPで画像処理してみる - ku-sukeのブログ
今日はとある私的なプロジェクトで画像の情報操作が必要になったので、ローカルで計算してもいいんだけど今後もパラメータチューニングで何度か発生しそうなので、AmazonのMapReduceを使ってみました。 今回の構成図はこんなかんじ。全部Amazonで全部PHPでやってみた。 やろうとおもったきっかけ 別に5万枚くらいじゃ実はAmazonじゃなくてもよかったりします。一晩ペチぺーのスクリプトを4〜5本平行で走らせておけば、ローカルのMySQLに結果をためるくらい可能です。でも、 今後のために勉強したかった。MapReduceで調べても、Apacheのログとかテキスト操作くらいしか見つからなかったので。 データをオンラインに置きたかった・ローカルに置きたくなかった。 そうすると、MapReduceするにせよしないにせよS3がよさそうだった。 じゃあ、EC2一晩動かすより、MapReduceで一
［速報］AmazonクラウドがMySQLサービス開始、パッチもバックアップもおまかせ
Amazon Web Servicesがクラウド上でMySQLをホスティングする「Amazon Relational Database Service (Amazon RDS)」のβ公開を開始しました。 インストール不要でMySQLの利用を開始でき、パッチ当てやバックアップなどもAmazonクラウド側で実行してくれるため、MySQLの導入や運用の手間を大幅に削減可能です。 MySQLのインスタンスは規模に応じて5種類が用意されています。 Small DB Instance : （1時間あたり0.11ドル） 1.7 GB memory, 1 ECU (1 virtual core with 1 ECU), 64-bit platform Large DB Instance : （1時間あたり0.44ドル） 7.5 GB memory, 4 ECUs (2 virtual cores with
Amazonクラウドが大規模分散処理の機能を強化。SQLライクな検索ができるHiveを搭載へ
Amazon Web Services Blog: New Elastic MapReduce Goodies: Apache Hive, Karmasphere Studio for Hadoop, Cloudera's Hadoop Distribution クラウドのサービスを提供するAmazon Web Servicesは10月2日、新機能として「Apache Hive」をサポートするとブログで明らかにしました。 Hiveは、もともとFacebookが開発した、MapReduceによる大規模分散処理のオープンソースフレームワーク「Hadoop」と組み合わせて利用するフロントエンドアプリケーションです。Hive QLというSQLに似た言語でHadoop上のデータを操作できるため、柔軟でアドホックな問い合わせを簡単に実現できるようになり、Hadoopを基盤としたデータウェアハウス的な処
そろそろモバツイがEC2に移転した話でも書くとするか。
モバツイ以外にも実運用で回してるEC2な人たちは結構いると思うのですが、参考までに。 モバツイッターがAmazon EC2の人柱をやってくれている モバツイッターがAmazonEC2に移行しようかなとのこと。 さっそく性能問題にぶち当たったらしいし、ナイス人柱。 前にあるイベントで、EC2を活用されているHeartRailsの方にモバツイの構成をEC2に移転したらどうなるか？みたいな話をお伺いしたら、すぐ8万円/月ぐらいに構成になってしまう、と言われたのですが、大体、どんぴしゃな感じでした。 （追記：なお個人でWebサービスをスモールスタートする場合は、サーバの運用知識がそこそこある前提で、まずは自宅サーバから運用すると良いです。月間600万PVぐらいまでなら、HP ML115G5 + Phenomでこなせるハズなので。その辺についてはまたいずれ書きます。） ■EC2とは？ 既にご存じの方
Amazon S3 をバックアップストレージとして利用する
Amazon Simple Storage Service(A3)をバックアップストレージとして使うときのメモです。 ここでは自分のみがアクセスする目的と考え、ファイルを公開して配布する目的では必要となるであろうログの取得についてなどは省きます。 利点 単価がとにかく安い(1か月あたりの料金:転送量が$0.20/GB、データ領域が$0.15/GB) Amazonインフラなので信頼性がある 欠点 APIでの提供なので何らかのツールが必要となる そんなに速くない ちょこちょこ使うストレージとしてみると使いづらい ファイル操作は基本GET/PUT/DELETEしか用意されていない 移動・名前変更を行おうとするとGET→名前を変えてPUT→DELETEとなるのでムダがある(時間的にも金銭的にも) バケット(bucket) ストレージの領域の事。フォルダよりドライブに近い概念です。 自由に作成できま
Information in Japanese
Amazon CloudFront はAmazon Web Services のコンテンツ配信ウェブサービスです。開発者や企業の皆様が、低遅延、高速データ転送、長期契約不要のサービスで、エンドユーザーにコンテンツを簡易に配信できる方法を提供しています。. Amazon CloudFront はエッジロケーションのグローバルネットワークを利用してコンテンツを配信します。このネットワークは、東京、香港ならびにヨーロッパに4カ所、米国に8 カ所のロケーションが設置されています。オブジェクトのリクエストは最も近いエッジロケーションに自動転送されるため、最適なパフォーマンスによってコンテンツ配信が可能となります。Amazon CloudFront は、お客様のファイルをオリジナル限定版として永続的に保管する Amazon Simple Storage Service (Amazon S3) とシー
アマゾンAPIを使うのに2009年8月15日から認証が必要になるらしい
アマゾンAPIを使うのに2009年8月15日から認証が必要になるらしい 2009-05-09-1 [Programming][Affiliate][WebTool] 「Amazon アソシエイト Web サービスの名称変更および署名認証についてのお知らせ」というメールが来ました。 （追記: ほぼ同内容のものが Forum とアソシ公式ブログにもありました。ただし Forum では15日ではなく16日となっています。） さて、このたび、Amazon アソシエイト Web サービスの名称を、「Product Advertising API」と変更しましたことをお知らせいたします。この新名称は、開発者の皆様が Amazon サイトで販売されている商品の広告作成を行い、これによって Amazon より広告費を受け取るという、API の目的をより正しく表しています。 はいはい、了解しました。 「Pr
amazonのダンボール箱でつくるA4ファイルケース【マゴクラ】ダンボールインテリア生活
Amazonさんのダンボール箱でつくる、A4書類がピッタリ入るファイルケース。 型紙はフリーダウンロードできますよ。 たくさんつくって重ねると、多段式ファイル引き出しになります。 もうどの家にもひとつやふたつはきっとあるAmazonさんのダンボール箱。 「材料ってどこで手に入るんですか？」 っていう質問がいちばん多いマゴクラとしては、これを使わない手はありません。 Amazonのダンボール箱も種類が豊富にあるようですが、 おそらく最も流通量が多いと思われる(マゴクラ調べ)、ウラ面に『BX0110』と書かれたダンボール箱を使います。 この『BX0110』、ジッパー形式で開くようになっていて、中身は台紙にビニールで固定されているタイプなのです。 言い忘れましたがこのファイルケース、ひとつ作るのにダンボール箱は2個必要ですよ。比較的入手しやすいダンボール箱だとは思いますけれども。 では材料の準備
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp : ANF
http://techblog.ecstudio.jp/files/Amazon%20S3.pdf
Simple Monthly Calculator