About this Project Provides basic Amazon EC2 management features within Mozilla Firefox. List available AMIs List your running instances Launch new instances of an AMI Manage security groups and launch permissions associated with your instances Manage Amazon EBS volumes Use the packaged .xpi file to easily install the plugin in Firefox. View the source code on SourceForge: http://sourcef
At the moment, boto supports: Compute Amazon Elastic Compute Cloud (EC2) (Python 3) Amazon Elastic Map Reduce (EMR) (Python 3) AutoScaling (Python 3) Amazon Kinesis (Python 3) AWS Lambda (Python 3) Amazon EC2 Container Service (Python 3) Content Delivery Amazon CloudFront (Python 3) Database Amazon Relational Data Service (RDS) Amazon DynamoDB (Python 3) Amazon SimpleDB (Python 3) Amazon ElastiCac
Running Hadoop on Amazon EC2 Amazon EC2 (Elastic Compute Cloud) is a computing service. One allocates a set of hosts, and runs one's application on them, then, when done, de-allocates the hosts. Billing is hourly per host. Thus EC2 permits one to deploy Hadoop on a cluster without having to own and operate that cluster, but rather renting it on an hourly basis. If you run Hadoop on EC2 you might c
というかhttp://codezine.jp/article/detail/2841をまんまコピペしただけなんですけどね。 ec2のアカウント持ってるし使いまくってるよー、という前提で。 飛ばしながら読んで実行したらこけて気づいたんだけど、 ec2-add-keypair gsg-keypairはgsg-keypairという名前決め打ちなのでちゃんとやりましょう。 EC2_KEYDIR=`dirname "$EC2_PRIVATE_KEY"`ってなってるのでそこにid_rsa-gsg-keypairという名前で保存 ./hadoop-ec2 launch-cluster test-cluster 2とするとちゃんと立ち上がった ./hadoop-ec2 login test-clusterでログイン。 おれjava詳しくないんでよくわかんなかったんだけど 記事に書いてある jar hado
はじめに こんにちは。Hadoop連載 第4回は太田さんに代わって大倉が担当します。 これまでの連載で、Hadoopによるデータ処理の概略については理解されていると思います。今回はHadoopを利用したシステムの実例ということで、ブログ分析を行う「blogeye」システムの概略と、その中でのHadoop利用法を紹介します。 また、blogeyeはAmazonが提供しているEC2(レンタルサーバ)、S3(ストレージ)をHadoopと組み合わせて利用しているので、その辺りの導入方法についても紹介します。 これまでの連載 Hadoop、hBaseで構築する大規模分散データ処理システム Hadoopのインストールとサンプルプログラムの実行 複数マシンへHadoopをインストールする blogeyeとは 「blogeye」(ブログアイ)は日本語のブログをクロール、リアルタイムに分析して、流行語と思わ
前回(http://d.hatena.ne.jp/lopnor/20080831/1220183688)サンプルプログラムを動かすところまで行きましたけど、今回は例のid:naoyaのhadoop streamingでアクセス解析(http://d.hatena.ne.jp/naoya/20080513/1210684438)するのをやってみます。というかなんとかたどり着いたのでまとめを書きます。 *ec2の使い方 id:rx7さんがとても丁寧に説明されている資料(http://d.hatena.ne.jp/rx7/20080528/p1)があるので、そちらを読めば完璧だと思います。僕もこれでec2が使えるようになりました。 *hadoop-ec2の使い方 https://codezine.jp/article/detail/2841がイントロダクション。http://d.hatena.n
モバツイ以外にも実運用で回してるEC2な人たちは結構いると思うのですが、参考までに。 モバツイッターがAmazon EC2の人柱をやってくれている モバツイッターがAmazonEC2に移行しようかなとのこと。 さっそく性能問題にぶち当たったらしいし、ナイス人柱。 前にあるイベントで、EC2を活用されているHeartRailsの方にモバツイの構成をEC2に移転したらどうなるか?みたいな話をお伺いしたら、すぐ8万円/月ぐらいに構成になってしまう、と言われたのですが、大体、どんぴしゃな感じでした。 (追記:なお個人でWebサービスをスモールスタートする場合は、サーバの運用知識がそこそこある前提で、まずは自宅サーバから運用すると良いです。月間600万PVぐらいまでなら、HP ML115G5 + Phenomでこなせるハズなので。その辺についてはまたいずれ書きます。) ■EC2とは? 既にご存じの方
Learning GB Programming: Car Game This is a Game Boy game currently developing in Assembly language. SoundEditor This is a tool to check the sound parameters to set in assembly code. SoundDriver Sound driver for Game Boy developed in Assembly language. (Generate sound data from DefleMask .DMF file) GBCMapEditor Editor to Tile Maps for Game Boy Color. RunLengthEncodeDecode Run-length encode binary
RightScale provides a platform and consulting services that enable companies to create scalable web solutions running on Amazon Web Services (AWS) that are reliable, easy to manage, and cost less. Try it FREE!RightScale AWS gems documentation RightScale's AWS gems provide robust, fast, and secure Ruby interfaces to Amazon EC2, Amazon S3, Amazon SQS, and Amazon SDB. The gems use Amazon's REST and q
分割 $ ec2-bundle-image -i <イメージファイルへのパス> \ -k <秘密鍵ファイル> \ -c <証明書ファイル> \ -u <AWS ユーザ ID> アップロードする $ ec2-upload-bundle -b <バケット> \ -m <マニフェストファイル> \ -a <アクセス ID> \ -s <秘密鍵> 登録 $ ec2-register <バケット>/<マニフェストファイル> 確認 $ ec2-describe-images -o self $ ec2-run-instances <image id> -k <キーペア> インストールのみで設定が不十分なのでいくつかの設定を行う。 ゾーンを指定してインスタンスを起動する EBS ボリュームを作成(ゾーンに注意) ボリュームをインスタンスにアタッチ /vol にマウント 例)ボリュームの作成とアタッチ $
EC2にはさまざまな言語でAPIが提供されている,python用のバインディングとして,botoというものがある.botoはEC2だけでなくAWS全般へのインターフェイスを提供している.これをつかって,EC2のインスタンスがrunningになるまでの時間を計ってみた. botoの使い方 ライブラリはzipで提供されている.unzipするとディレクトリができる.この中にsetup.pyがあるので,これを実行してインストールしても良いし,このディレクトリにPYTHONPATHを通すだけでもよい. 実行 残念ながらドキュメントはあんまり整備されていないのだが,ソースがあるのでなんとでもなる.ここにbotoをつかってEC2を起動するサンプルがある. import boto ec2_conn = boto.connect_ec2(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCES
Amazon EC2 のサーバにあるデータのバックアップ、どうしてますか? S3に投げる?それもアリですけど、データをEBSに置くようにしているとSnapshotバックアップが簡単にできるので、 これを自動化するスクリプトを書きました。Amazonのサービスはpythonのbotoというライブラリがいろいろできて便利。 Usageの通り、第一引数(num)は世代数、volume-idは対象のEBS VolumeのIDを指定します。 cronなんかに 0 0 * * * /path/to/snapshot.py 7 vol-00000000 という感じで登録しておく事を前提に作りました。 #!/usr/bin/env python import sys from boto.ec2.connection import EC2Connection if(len(sys.argv) != 3):
to build an auto scaling engine in clouds Development Status: 2 - Pre-Alpha Environment: Console (Text Based), Web Environment Intended Audience: Developers, System Administrators License: Ruby License Natural Language: English, Japanese Operating System: POSIX Programming Language: Erlang, Ruby Topic: Clustering/Distributed Networks, Networking, Systems AdministrationRegistered: 2009-03-29 06:28
Amazon EC2でサーバを立てよう S3の環境も整ったことですし、次はEC2を使ってみましょう。 Amazon EC2 Command-Line Toolsの導入 EC2の操作にも専用のツールが必要です。 「Amazon Web Services Developer Connection」のEC2のリソースページから、「Developer Tools」→「Amazon EC2 Command-Line Tools」→「Download the Amazon EC2 Command-Line Tools」と辿り、ec2-api-tools.zipをダウンロードし、適当なところに解凍してください。 そして、環境変数EC2_HOMEに解凍したディレクトリを設定し、EC2_HOMEのbinディレクトリにパスを通します。同時に、X.509証明書のPrivate Keyファイルのパス
札幌のフリーランサーまいむぞうのブログ。Android関連、コンピュータビジョン、IoT、ロボティクスあたりをやっています。 EC2上でRailsを便利に扱うためのEC2onRailsというプラグインがあるみたい。 でも、日本語でのEC2onRailsの情報は少ないので、以下で解説しちゃいます。 まず、このプラグインはEC2のAMI+Capistranoの拡張プラグインとして配布されているもので、インスタンスへのデプロイや、インスタンス上のMySQLやログについて、S3にバックアップなどを自動的に行ってくれるみたい。 配布されているEC2onRailsのAMIはほとんどまっさら状態なので、このまっさらの状態のサーバから、必要なパッケージやgemをインストールし、必要なサービスを起動するところまでやってくれる。 その分、deploy.rbが複雑になっているので、日本からの初期設定として使いや
Support We're always trying to improve our distribution for Hadoop. If you have trouble finding information you need on the following pages, check out our community support. We also offer commercial support for Hadoop. Running Hadoop on EC2 is easy. We've taken Cloudera's Distribution for Hadoop, and packaged it up in an easy-to-use AMI and associated launch scripts. Once you download and install
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く