Cloudera を使って CentOS に Hadoop on EC2 な環境を整える 第二回 - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年11月16日00:54 Hadoop Cloudera を使って CentOS に Hadoop on EC2 な環境を整える 第二回 前回の続きです。前回はローカルに Hadoop をインストールするところまで行ったので、今回は EC2 上で Hadoop を使える環境まで構築してみます。 python スクリプトの hadoop-ec2 を手に入れる まずは指示に従い、cloudera-for-hadoop-on-ec2-py-0.3.0-beta.tar.gz をダウンロードし、適当な場所に解凍後、パスを通します。この中に hadoop-ec2 という python スクリプトがあり、これを利用して EC2 上にインスタンスを起動したりします。このように利用します。 # 現在起動しているインスタンスの一覧を見る hadoop-ec2 list # [cluster] の m
僕が Amazon Elastic MapReduce を使わない３つの理由 - (ﾟ∀ﾟ)o彡 sasata299's blog
2010年04月20日22:46 Hadoop 僕が Amazon Elastic MapReduce を使わない３つの理由 【追記】 この内容は古いです。最近はEMRを利用してます。つ 961万人の食卓を支えるデータ解析 僕は日頃から Hadoop さんを使って（あと EC2 と S3 も使ってます！）色々ごにょごにょすることが多いんですが、EC2 上で Ruby でスクリプト書いて使ってるよーと言うとよく言われるのが、 「何で Amazon Elastic MapReduce 使わないの？」 という質問です。今までこれに個別に答えてたりしたんですが、めんどくさいので一度ここにまとめておきます。以前、Elastic MapReduce を実際に試してみたんですが、そのとき感じたメリット・デメリットはこんな感じです。今はそうじゃないよ！とかあったらごめんなさい＞＜ ★ メリット ・Hado
Amazon EC2/S3の使い方解説、決定版をAWSが公開 － ＠IT
2010/01/15 米アマゾン傘下のAmazon Web Servicesは1月14日、クラウドコンピューティング上でシステム構築を行う場合のベスト・プラクティスをまとめた「Architecting for the Cloud: Best Practices」を公表した。 これまでにも同社は、AWSのサービスを組み合わせてスケーラビリティや可用性を実現する事例を紹介したり、具体的なサービスの組み合わせ方などを解説する文書を公開してきた。今回新たに公開されたホワイト・ペーパーは、こうした解説の集大成と言えるもので、自社だけでなくマイクロソフトやIBM、グーグルが公開しているホワイト・ペーパーも参照している。 20ページの英文PDFはクラウド一般のメリットや特徴から説き起こし、AWSの各サービスの簡単な解説を続けた後に、クラウドの各種の特性を最大限に引き出すシステムについて、一般論としての概
Ring
Ringとは、リクルートグループ会社従業員を対象にした新規事業提案制度です。 『ゼクシィ』『R25』『スタディサプリ』など数多くの事業を生み出してきた新規事業制度は、 1982年に「RING」としてスタートし、1990年「New RING」と改定、そして2018年「Ring」にリニューアルしました。 リクルートグループの従業員は誰でも自由に参加することができ、 テーマはリクルートの既存領域に限らず、ありとあらゆる領域が対象です。 リクルートにとって、Ringとは「新しい価値の創造」というグループ経営理念を体現する場であり、 従業員が自分の意思で新規事業を提案・実現できる機会です。 Ringフロー その後の事業開発手法 Ringを通過した案件は、事業化を検討する権利を得て、事業開発を行います。 さまざまな事業開発の手法がありますが、例えば既存領域での事業開発の場合は、 担当事業会社内で予算や
ウノウラボ Unoh Labs: PHPで暗号化・復号化あれこれ
GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー！古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠
Hadoopを業務で使ってみた話 - クックパッド開発者ブログ
8月に入社した佐々木です。こんにちわ！ 入社してからはHadoopを使うことが多く、日々、大規模データと格闘しています。大変ではありますが、個人ではなかなか触ることが出来ないような大規模データを触れるのは楽しいです。 さて、Hadoopは最近色々なところで使われ始めてきていると思うんですが、実際に利用してみて困った事やtipsなど、実践的な情報はまだあまり公開されていません。その辺の情報をみんな求めているはず…！！ そこで、僕が実際に触ってみて困った事やHadoopを使う上でポイントだと思ったことなどを社内勉強会で発表したので公開してみます。Hadoopを使っている（使いたいと思っている）方の参考になれば幸いです。 [slideshare id=2711363&doc=20091214techblog-091213183529-phpapp02] Hadoopの利用はまだまだ試行錯誤の連続
Amazon EC2で素のCentOS 5を動かす手順
Amazon EC2でCentOS 5のサーバを動かすまでの作業手順です。 ■要約 ・Rightscaleが公開しているAMIを使用する。 ・以下のコマンドを使う。 ec2-describe-images -x all --- 公開イメージの一覧を表示 ec2-add-keypair 鍵名 --- 鍵ファイル作成 ec2-describe-images --- インスタンスの状態を確認 ec2-run-instances イメージ番号 -k 鍵名 --- インスタンス起動 ec2-terminate-instances インスタンス番号 --- インスタンス終了 ■前提条件 ・AWSのアカウント作成が完了している。 ・Amazon EC2 Command-Line Toolsの導入が完了している(ec2verコマンドが動く状態)。 ・Access Key ID、Secret Access
Amazon EC2/S3を使ってみた - 6.EC2をGUIで操作する - 元RX-7乗りの適当な日々
ここまでのシリーズで、Amazon EC2は常にコマンドラインで操作してきました。 そのため、若干敷居が高く感じられた方もいらっしゃったかもしれません。 しかし、実は、S3の操作をFireFoxの拡張機能で出来たように、EC2にもFireFoxの拡張機能を使うことでGUIで操作することが可能です。 # S3のFireFox拡張である「S3Fox」については、d:id:rx7:20080423:p1 をご参照ください。 EC2を操作できるFireFox拡張機能「ElasticFox」 「ElasticFox」は前述の通り、FireFoxの拡張機能でもちろん無料で利用できます。昔は「EC2 UI」という名前だった気もしますが。 基本操作は、「ElasticFox」でも十分に行うことが可能です。 私なんかはコマンドラインからの操作の方が逆に落ち着くタイプなのですが、AMI(EC2用のイメージ)一
AWSの操作方法比較 - hyoromoのブログ
今回は『EC2コマンドライン』、『ElasticFox』、『AWS Management Console』の使い方を比較しながら進めていきます。 特徴 EC2コマンドライン クライアントで CUI 操作 ElasticFox Firefox ブラウザで GUI 操作 AWS Management Console AWS サイトで GUI 操作 事前準備 EC2コマンドライン Amazon EC2 API Tools をサイトからダウンロード Java ランタイムのインストール 各種、環境変数の設定 ElasticFox Firefox ブラウザをインストール ElasticFox アドオンをインストール AWS Management Console 必要なし 起動方法 EC2コマンドライン ターミナル起動*1 ElasticFox Firefox 起動 メニューバーから [ツール] - [
EC2のコマンドラインと AWS Management Consoleを比べてみた | 最近わかってきたこと
2009-02-07 02:26 | IT AWS Management Consoleを実際に触ってみました。 今まではJavaベースのコマンドツール入れて（その前にJRE入れて）、コマンド叩いてはtypoしてイライラを募らせていたわけですが、それを解消する素晴らしいツールです。 まだBeta版ですが、*かなり* 完成度が高いです。 操作に全く疑問を抱かせない情報設計と洗練されたUI、そして安定的なシステム。素晴らしい。 今回は、コマンドでいうこれはConsoleでいうどういう操作？を比べてみました。 良く使うコマンドのみですが。 https://console.aws.amazon.com/ec2/ ec2-describe-images（Alias=ec2dim） S3上に登録されているインスタンス化可能なイメージ一覧を取得するコマンド Consoleでは左メニュのAMIsをクリック
「AmazonEC2を使った実践SaaS運用事例」の資料を公開します (ITproテクノロジ・カンファレンス) - SonicGardenブログ
【SKIP】のSonicGardenスタッフによる情報発信ブログ SKIP，Ruby on Rails，AmazonEC2，アジャイル，クラウドコンピューティング・・・ 並河です。 そろそろお花見シーズンも終わりが近くなってきた頃ですね。 ところで、先日、4/10に開催された"ITproテクノロジ・カンファレンス(徹底理解「Amazonクラウドサービス」)"にて、『AmazonEC2を使った実践SaaS運用事例』というテーマで発表しました。 これは、SonicGardenで展開している「SKIPaaS」を構築・運用する過程で、何故Amazon EC2をインフラとして採用したのか、Amazon EC2をどう活用しているのか、何が問題点でどういう工夫をしているのか、今後の課題・改善点は何か、といった内容です。 日経BP社様のご好意で、資料を公開してOKという許可をいただきましたので公開しま
Amazon Elastic MapReduceでperlを使った処理をしてみる（その3）
Amazon Elastic MapReduceの例で出てくるのは今まで見た限りでは、みんなs3n://で始まるS3 Native FileSystem上にファイルを置いている。 http://wiki.apache.org/hadoop/AmazonS3 にあるように、もう一つ s3://で始まるS3 Block FileSystemというのがある。 これまでS3fsって言ってたけどこれはs3-fuseと紛らわしいし、名前として正しくないのでS3 Block FileSystemと呼ぶべきでした。 で、これを使いたい。 メリットは、以下のように理解してる。 ファイルがブロックに分割されるので、通常5GBまでというS3のファイルサイズの制限を超えられる ファイルがブロックに分割されるので、HDFSと同様Hadoopの各jobtaskに処理を効率よく分散できる デメリットは、たぶんこんな感じ
Amazon Elastic MapReduceでperlを使った処理をしてみる（その2）
前回でperlで書いた処理をAmazon Elastic MapReduce（略称はなんだろ）に食わせるのができたので、 次はCPANモジュールを使いたい。 というときにやっぱり便利なのがlocal::lib。 とりあえず素のdebianに一般ユーザーを作ってそこでlocal:libを使って~/perl5に必要なCPANモジュールを集めた。 これをjarにまとめる “jar cvf perl5.jar -C perl5 .” これをS3にアップロード。 具体的にはApp::Hacheroというログ集計アプリケーションを動かしたかったので、これが入ってる。 mapper.yml, reducer.ymlの各設定ファイルもS3にアップロード。 以下のように適宜pathを通してやって実行。 [danjou@sylvia] $ ./elastic-mapreduce --create \ - st
はじめてのAmazon EC2&S3 〜これからの新サービスの公開の形〜：第1回 仮想マシンレンタルサービスAmazon EC2、大容量ストレージサービスAmazon S3を使ってみよう｜gihyo.jp … 技術評論社
はじめてのAmazon EC2&S3 ～これからの新サービスの公開の形～ 第1回仮想マシンレンタルサービスAmazon EC2、大容量ストレージサービスAmazon S3を使ってみよう はじめに Amazonはネット最大のオンラインショップサイトとして非常に有名ですが、同時に、書籍情報などを取得できるAmazon Associates Web Service（A2S。旧名Amazon ECS）というWebサービスを積極的に展開していることでも有名です。 一般的にAmazonのWebサービスと言えばA2Sですが、実はA2SはAmazon Web Services（AWS）の一部に過ぎません。AmazonはA2S以外にも、開発者向けにさまざまなサービスを提供しています。AWSで現在提供されているサービスを表1にまとめました。 表1 Amazon Web Servicesのサービス
Amazon Web Services Developer Community : Amazon Elastic MapReduce Ruby Client
A command line client for creating, describing and terminating Job Flows using Amazon Elastic MapReduce. Also included is a pure ruby library for making web service calls to the Amazon Elastic Map ReduceWeb Service. Submitted By: Installation and Dependencies The command line client requires Ruby 1.8. Once you have Ruby installed simply unzip elastic-mapreduce-ruby.zip into a directory and the
Amazon Elastic MapReduceでPHPも使えるか試してみた - Stellaqua - ＴＯＭの技術日記
AmazonがEC2上でHadoopによるMapReduceを実行できるサービスを出してきたようですね。 →Amazon EMR - Amazon Web Services →http://kzk9.net/blog/2009/04/reviewing_amazon_elastic_map_reduce.html 前回の記事では、EC2上でHadoop用のインスタンスを自分で動作させて、ファイルの転送も事前にやって…と色々下準備が必要だったんですが、このサービスを使えばローカルの環境からいきなりコマンド一発でMapReduceを実行する事ができるようになりました。 そんなのを聞いたらやってみたくなるよね、という事で、PHPのMapper/Reducerが使えるか試してみたかったので、早速使ってみる事にしました。 多段階のMapReduceは面倒なので、今回は以前の記事で使った単語カウントの
アマゾン、ウィザードだけで使えるHadoopサービス開始 － ＠IT
2009/04/02 米アマゾンの子会社、Amazon Web Services（AWS）は4月2日、多数のOSインスタンスを起動して大規模分散処理を行える「Amazon Elastic MapReduce」のベータサービスを開始した。 Amazon Elastic MapReduceは、オープンソースの分散処理フレームワークApache Hadoop 0.18.3を利用したサービスで、Webブラウザベースの管理コンソールやコマンドラインツール、APIを使ってジョブを投入することで、大量データの解析や計算量の多い科学計算、統計処理が可能。大量のログ処理や機械学習、金融計算、データマイニング、Webサイトのインデクシング処理などに使えるという。 ジョブを処理するノードは、従来からAWSが提供しているAmazon EC2で稼働し、データの入出力にはAmazon S3が使える。データの入力にはイ
Amazon EC2でHadoopが簡単に利用できる「Amazon Elastic MapReduce」が登場 - 元RX-7乗りの適当な日々
大規模分散処理用フレームワークの「Hadoop」が、Amazon EC2で簡単に利用できるようにサービス化されたようだ。 その名も「Amazon Elastic MapReduce」 Amazon EMR - Amazon Web Services 「Hadoop」は、Googleの基盤(MapReduce)を参考に作られたクローンであり、オープンソースソフトウェアです。大量のデータ処理を分散処理するためのプラットフォームなので、Hadoopの仕組みにのっとって機能を実装さえすれば、自動で分散処理が行えるというもの。 みたところ、APIを使った、コマンドラインツールや、GUIの"AWS Management Console"から、簡単に利用できるみたいで、Amazon S3上に配置したデータを使って、APIやGUIから、MapReduce操作(Job操作)が可能、かつモニタリングもできるみ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
流行りのクラウドサービスを操ってみよう！Amazon EC2/S3環境構築のすべて一覧
日本発！クラウドコンピューティング情報発信サイト CLOUD news（クラウドニュース）