blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術
はじめに こんにちは。Hadoop連載 第4回は太田さんに代わって大倉が担当します。 これまでの連載で、Hadoopによるデータ処理の概略については理解されていると思います。今回はHadoopを利用したシステムの実例ということで、ブログ分析を行う「blogeye」システムの概略と、その中でのHadoop利用法を紹介します。 また、blogeyeはAmazonが提供しているEC2（レンタルサーバ）、S3（ストレージ）をHadoopと組み合わせて利用しているので、その辺りの導入方法についても紹介します。 これまでの連載 Hadoop、hBaseで構築する大規模分散データ処理システム Hadoopのインストールとサンプルプログラムの実行 複数マシンへHadoopをインストールする blogeyeとは 「blogeye」（ブログアイ）は日本語のブログをクロール、リアルタイムに分析して、流行語と思わ
Amazon、プリント・オン・デマンド（POD）のサービス開始 | AdverTimes.（アドタイ） by 宣伝会議
Amazon.co.jp は本日より、プリント・オン・デマンド（以下 POD）プログラムを正式に開始しました。当プログラムの導入により、Amazon.co.jp では書籍の品揃えが大幅に拡大され、出版社は流通コストを抑えた費用対効果のよい方法であらゆる作品を販売できるようになります。 Amazon.co.jp は、オンデマンド印刷技術により、お客様の注文に応じて 1 冊からでも迅速に印刷し、出荷いたします。 PODとは オンデマンド印刷技術により、お客様の注文に応じて1冊からでも迅速に印刷し、出荷します。このプログラムが適用された書籍は常に出荷可能な「在庫あり」の状態になります。 また、このプログラムが適用された書籍は常に出荷可能な「在庫あり」の状態であることから、お客様は「Amazon プライム」や「お急ぎ便」を利用でき、一方で出版社や著者は、在庫状況の改善により収益の拡大を期待できます
「未来型サバイバル音楽論―USTREAM、twitterは何を変えたのか」を読んだのでこれからの音楽サバイバル方法を考えてみる | 日刊オニマガ | abcdefg*recordのブログとポッドキャスト | ギターポッ��
インディーギターポップレーベルabcdefg*recordレーベルオーナーのブログ「日刊オニマガ」。毎月最終日曜日はお楽しみのポッドキャストも配信中。またやってしまった。 今日も長いので、暇じゃない人はまた明日お越し下さい。 この独り言シリーズ、あまりにまとまってなくてあまりにくだらなくて、 後で自分で読み返すと、バッカじゃないの？って感じのことばっかりで、 なかなか自分では面白かったりします。 ので、「考え事カテゴリー」作ってみました。 でも意外と、未来の予想は実現してたりするので、あなどれません。 書くと実現するの法則でしょうか。 以下、今日の本文。 [読了時間:8分] 津田大介さんと牧村憲一さんの共著「未来型サバイバル音楽論―USTREAM、twitterは何を変えたのか」を 読んでみたら、これがすごくおもしろい。そしてすごく分かりやすい。 バンドやってる人と
電子書籍の適切な値段とは？
電子書籍界隈もプレイヤーが少しずつそろってきて、以前に比べ、電子書籍の数も増えてきた。そこで改めて考えたいのが電子書籍の値段についてだ。今年の初め、キンドルバージョンの値段について、アマゾンと出版社マクミランがバトルしたのを覚えている方も多いだろう。このときはアマゾンが折れ、結局アマゾンもエージェンシーモデルといわれる方法をとることになった。これは、基本的に販売価格決定権を出版社側がもち、その売り上げのうち数十％を配信手数料としてアマゾンがとるというモデルだ。 この方法は、そもそもアップルがiPhoneのアップストアでアプリ業者に対しておこなっていたモデル。それを受けて、その後開始されるiBooksでも同様の方式をとるとの噂が流れ、アマゾンがマクミランに屈したという見方が大半だった。結局、予想通り、iBooksでもエージェンシーモデルが取り入れられた。 そうして数か月。現状ではamazon
Amazon EBSを活用してデータをバックアップしてみよう ～Amazon EC2/S3環境構築のすべて～
今回は、「Amazon EC2」のインスタンスを停止してもデータが失われないストレージオプションである「Amazon Elastic Block Store（EBS）」の使い方や活用方法を紹介し、「Amazon EC2」を取り巻くデータバックアップ方法を紹介していきます。 はじめに 前回は、「Amazon EC2」をより実践的に扱うためのオプションや、GUIで簡単に操作できるツールの利用手順を紹介しました。 今回は、「Amazon EC2」のインスタンスを停止してもデータが失われないストレージオプションである「Amazon Elastic Block Store（EBS）」の使い方や活用方法を紹介し、「Amazon EC2」を取り巻くデータバックアップ方法を紹介していきます。 前提条件 今回も前回同様「Amazon EC2 Command-Line Tools」を利用した方法を紹介していき
そろそろモバツイがEC2に移転した話でも書くとするか。
モバツイ以外にも実運用で回してるEC2な人たちは結構いると思うのですが、参考までに。 モバツイッターがAmazon EC2の人柱をやってくれている モバツイッターがAmazonEC2に移行しようかなとのこと。 さっそく性能問題にぶち当たったらしいし、ナイス人柱。 前にあるイベントで、EC2を活用されているHeartRailsの方にモバツイの構成をEC2に移転したらどうなるか？みたいな話をお伺いしたら、すぐ8万円/月ぐらいに構成になってしまう、と言われたのですが、大体、どんぴしゃな感じでした。 （追記：なお個人でWebサービスをスモールスタートする場合は、サーバの運用知識がそこそこある前提で、まずは自宅サーバから運用すると良いです。月間600万PVぐらいまでなら、HP ML115G5 + Phenomでこなせるハズなので。その辺についてはまたいずれ書きます。） ■EC2とは？ 既にご存じの方
Amazon EC2/S3を使ってみた - まとめ (Amazon Web Services関連エントリ目次) - RX-7乗りの適当な日々
Amazon EC2/S3および、その他Amazon Web Servicesについて、具体的な使い方を中心に、これまでこのブログ内で色々とエントリを書いてきたので、このエントリに目次代わりとしてまとめておきます。 今後も関連エントリを書いた際に、以下に追記していきますが、場合によっては記載されている情報が古い場合もありますので、その点はご了承ください。(できるだけ気づいた時点で修正しています。) # 尚、ここで紹介しているエントリは、全て私(id:rx7)自身が書き記したものです。 基本の流れを知る Amazon EC2/S3を使ってみた - 1.AWSへの登録〜S3を使う Amazon EC2/S3を使ってみた - 2.EC2が起こすイノベーション Amazon EC2/S3を使ってみた - 3.EC2起動後〜AMI作成 Amazon EC2/S3を使ってみた - 4.EC2で固定IP
究極のスモールスタートの方法 自宅サーバからEC2へ
JJUG主催のEC2ナイトセミナーでしゃべって参りました。 タイトルは若干煽り気味です。すいません。 以下に、プレゼン資料を公開します。 終始、会場がシーンとした感じで、お話を聞いてくださって果たして皆様の役に立ったのか立たなかったのか若干心配でしたが、EC2ネタで50分話すとしたら、これ以上のネタはしゃべれないので、どっちにせよ、僕にはこれが限界です。 一度も練習をせずに、目標時間50分ぴったりで終わったのは秘かに感動でした。 島田紳助の紳竜の研究を見て、「心で伝える」というのを実践してみました。練習して得られるものは「頭で伝える」なので、すぐ忘れてしまう。忘れることが怖くなると緊張します。そうではなく、普段から思ってることを素直に出せることが一番うまくしゃべれるかなって考えながら資料を作ったら、時間通りだったという奇跡。 あと、EC2を使うメリットについて、一つ言うことを忘れてた。 E
Amazon API認証のPROXYを書いたよ(AmazonのAPI認証導入はOSSに対する挑戦だよなぁ(4)) - ただのにっき(2009-06-19)
■ Amazon API認証のPROXYを書いたよ(AmazonのAPI認証導入はOSSに対する挑戦だよなぁ(4)) あれから、なんと即日で回答が来た: ご提案いただいている アプリ --(ASIN)→ PROXY --(ASIN+秘密キー)→ Amazon の方法でしたら、ライセンス上問題となりませんので、対応につきご検討いただけますと幸いです。 ニヤリ。 掲示板の方には書いていないが、言うまでもなくPROXYもFOSSとして公開するわけです(もちろんsecret keyは含めずに)。というか、サンプル的な意味合いを込めて、プリミティブな実装をGitHubにあげておいた: amazon-auth-proxy tDiaryのamazonプラグイン実装は、デフォルトでtDiary.org上に設置したこのPROXYを呼び出すようにするつもりだが、ご存知のようにtDiary.orgは第一tDia
今度は10万件の画像フィルタリングを Amazon Mechanical Turk に依頼してみた : 管理人@Yoski
さて大好きな Amazon Mechanical Turk. 所要があり、今度は10万件以上の画像フィルタリングを依頼してみました。のでメモ。 まずは Requester として、依頼画面を作成します。 画像フィルタリングは定番なんですかね。テンプレートが用意されているので、それを選択。 テンプレートの内容を適当に変更します。 サンプルは定番の（？）アダルトコンテンツのフィルタリング依頼という内容になっているので、もちっとやさしいものに。 さて、ここがすばらしいところなんですが、入力フォームのデザインを作成します。 テンプレートのものを修正して、ちょいちょいちょいと。 後で大量のデータを流し込めるよう変数が使えるようになっています。HTMLのソースも編集できるので、かなり自由度高くて使いやすい。 テンプレートができたらデータを CSV ファイルで流し込みます。 サンプルデータがあるので、そ
TechCrunch | Startup and Technology News
Welcome to Startups Weekly — Haje‘s weekly recap of everything you can’t miss from the world of startups. Sign up here to get it in your inbox every Friday. Well,…
届く前にネットで読破――書籍通販「booknest」のオンラインビュー
ビジネス書をネット販売するコンテンツワークスは3月3日、同社の通販サイト「booknest」で購入した書籍を、オンライン上で全ページ読める新サービス「オンラインビュー」を開始した。書籍の購入代金以外は不要。購入前の「立ち読み」サービスも同時スタートする。 書籍は購入から約1週間後に発送。国内なら10日以内に手元に届くという。「オンラインビュー」は書籍購入と同時に利用できるため、書籍が届く前にオンライン上で読める。また、同サイト内の購入履歴から、過去に購入した書籍すべてを読むことも可能となった。booknestの全コンテンツが対象。 これまでもbooknestでは、書店で入手困難なビジネス書籍や雑誌のバックナンバー、書籍化されていないWebコンテンツなどを1コンテンツから受注生産、書籍化してきた。価格は1冊800円前後から。 ビジネス雑誌「ダイヤモンド・ハーバード・ビジネス・レビュー」内の論
Amazon、決済サービスを構築できるAPIを正式公開
米Amazon.comは2月5日、開発者が同社の決済インフラを利用できるサービス「Amazon Flexible Payments Service（FPS）」を正式公開した。また、FPSを簡略化した「Amazon FPS Quick Starts」も立ち上げた。 Amazon FPSでは、開発者はAmazonのWebサービスAPIを使って独自の決済サービスを構築し、自身のサイトに組み込んで、商取引や寄付の受付、定期的な支払い処理などに利用できる。利用には初期費用などは掛からず、取引ごとに料金を支払う。Amazon FPSを使った決済サービスでは、Amazonに登録済みのユーザーは、Amazonのログイン情報や配送先情報を使って支払いをすることができる。 Quick Startsは、さまざまなFPS APIをセット化して、取引処理のプロセスを簡略化したもの。ネットショッピングなど1度限りの支
「Amazon EC2」と「Amazon S3」を実際に使ってみたので、まずはアカウント作成まで - GIGAZINE
以前にGiazineで紹介した実際にアマゾンが使っているのと同じ仮想サーバを無料で試せる「Right Scale」がなんだかとてもいい感じだったので、今回は直接Amazon Web Servicesのコンピュート・クラウド「Amazon EC2」とインターネット・ストレージ「Amazon S3」を組み合わせて使ってみました。 何がいい感じだったかというと実際にサーバを1台稼働させたい時、外部の専用サーバの場合はサーバの契約やセットアップ、自分でサーバを用意する場合はハードの調達などと意外と実稼働までには時間がかかってしまうのですが、Amazon Web ServicesのEC2とS3を利用する場合「素早く複数台の設定済みサーバを稼働させることができる」という大きなメリットがあること。比較的短い期間に複数台のサーバが必要なときには特にお勧めかも。しかし、実際にAmazon Web Servi
Amazon、外部サイト向け決済サービスをスタート
米Amazon.comは、外部サイト向けに新しい決済サービス「Checkout by Amazon」「Amazon Simple Pay」の提供を開始した。 Checkout by Amazonは、外部ショッピングサイトが「1-Click」をはじめとするAmazonの決済機能を導入できるサービス。ショッピングサイトのオーナーはAmazonの消費税や発送費計算機能、注文管理機能を利用でき、Amazonのアカウントを持つ顧客は自分の送付先などのデータを入力しなくても、Amazonで慣れている方法でセキュアに買い物ができる。 Amazon Simple Payは、顧客がショッピングサイトの支払い方法として、Amazonアカウントの支払い情報を使えるようにする支払いのみのサービス。Checkout by Amazonとの違いは、消費税や発送費計算機能、注文管理機能などを備えていない点だ。トータルな
Amazonのすごいアクセス解析サービス - ぼくはまちちゃん！
こんにちは！ Amazonほしい物リスト、すごい話題になってますね！ なんでも、メールアドレスで検索すればAmazonに登録してある本名がでてくる (ケースもある) とか…。 で、さっそくぼくも試してみたよ！ ほしい物リストサーチ！ これって、いま話題になっているのは、誰かのメールアドレスを手がかりにして ウィッシュリストや本名、下手すると住所まで知られてしまうってところだよね。 それだけでも面白いんだけど、 あまり注目されていない機能として、こんなものがあったよ。 友だちにほしい物リストについて知らせる これ。 自分のほしい物リストを誰かにメール送信できちゃう機能らしいね！ じゃあ試しにメール送信時のリクエストを確認してみると… http://www.amazon.co.jp/gp/registry/send-nudge.html?ie=UTF8&type=wishlist&__mk_j
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: グランズウェル: ソーシャルテクノロジーによる企業戦略: シャーリーンリー (著), ジョシュバーノフ (著), 伊東奈美子 (翻訳): 本
Amazon.co.jp: HTML5＋CSS3で作る 魅せるiPhoneサイト iPhone/iPad/iPod touch対応: 谷拓樹: 本
Amazon.co.jp: 現場のプロから学ぶXHTML+CSS: 益子貴寛 (著), 堀内敬子 (著), 小林信次 (著), 千貫りこ (著), 伊藤学 (著), 山田あかね (著), 西畑一馬 (著), CSS Nite (編集): 本
Amazon.co.jp: Webプロジェクトマネジメント標準 PMBOK(R)でワンランク上のWebディレクションを目指す: 林千晶, 高橋宏祐: 本
