低スペックな頭の僕がhadoopの環境を作ってうごかしてみる - regtan’s TechNote
黄色い象さんでおなじみのhadoopですが正直のところあまりよくわかっていません。流石にそろそろまずいとおもうのでさっそく環境作って動かしてみます。今回は超ざっくりSingleNodeSetupのドキュメントを訳したりしながら進めます。 hadoopってなんぞ hadoopのOverviewにはこんなこと書いています。*1 MapReduce*2 超でっかいデータセット（テラバイト）を数千ノードのでっかいクラスタで分散処理を簡単に書くためのフレームワーク データセットを分けて、バラバラに処理する タスクのスケジューリングや失敗したタスクの再実行もする HDFS*3 Hadoop Distributed File System 分散ストレージや分散処理によくなじむらしい フォールトトレラントやスケールに応じて単純に拡張できる Common File System Shell/Service
第１回Hadoop関西勉強会に参加 - なか日記
id:youandiが来阪されるということで参加してきた*1。 勉強会のきちんとしたレポは他の方まとめられているのでこちらからどうぞ。 Ｙｏｕ＆Ｉさん : 第１回Hadoop関西勉強会 に参加 - 桜、抹茶、白、日記 id:masa138 さん : obsolete blog 第１回Hadoop関西勉強会 http://atnd.org/events/6153 日時：2010/7/31(土) 18:00〜 会場：株式会社ロックオン 会議室 （大阪府大阪市北区梅田2-4-9 ブリーゼタワー13F） 以下、自分メモ*2。 予備知識ほぼゼロ。Hadoopって何それ？美味しいの？状態で臨んだので、誤解してるところもありそう… 玉川さん（@tamagawa_ryuji） オープンソースのMapReduce/分散ストレージ実装、Hadoopの紹介 オライリーの翻訳されてるらしい。 Hadoopの概要と
優良企業はなぜHadoopに走るのか
ちなみに、この分析のために必要とされるMapReduceのコードであるが、そのサイズはわずか20ステップだという。Yahoo!のプレゼンテーターである、エリック・バルデシュバイラー氏によると、たとえ経験の浅いエンジニアであっても、MapReduceによるプログラミングは可能であるとされる。 また、VISAのジョー・カニンガム氏からも、貴重なデータが提供されていたので以下に紹介する。同社では、1日に1億トランザクションが発生するため、2年間で700億強のトランザクションログが蓄積され、そのデータ量は36テラバイトに至るという。こうしたスケールのデータを、従来のRDBを用いて分析するには、約1カ月の時間が必要とされてきたが、Hadoopを用いることで13分に短縮されたという。 これまでは、Yahoo!にしろVISAにしろ、膨大なデータをRDBに押し込むほかに方法はなく、その分析に数十日を要する
米Yahoo!、Hadoopのセキュリティ強化版とワークフローエンジンをオープンソースに
米Yahoo!は、Apache Hadoopに関連した最新技術「Hadoop with Security」と「Oozie」を発表した。それぞれ認証周りとワークフローエンジンを担うもので、今後はオープンソースプロジェクトとして開発を進めていく。 米Yahoo!は6月29日（現地時間）、分散処理プラットフォーム「Apache Hadoop」に関連した最新技術「Hadoop with Security」と「Oozie」を発表した。Yahoo!は2つの技術をApache Software Foundation（ASF）に移管し、今後はオープンソースプロジェクトとして開発を進めていく。 Hadoopは、米Googleの「MapReduce」と「Google File System（GFS）」に着想を得てはじまったオープンソースプロジェクト。現在、ASFのトップレベルプロジェクトとして開発が進んでいる
HugeDomains.com
Captcha security check scienceq.com is for sale Please prove you're not a robot View Price Processing
企業で使われるHadoop
Copyright © 2004-2025 Impress Corporation. An Impress Group Company. All rights reserved.
インフラエンジニアDay（大阪）｜パソナテック（PASONA TECH）
あなたは、クラウドコンピューティングをどう捉えますか？ コスト削減への取り組みが活発化する中で情報システム投資への考え方にも影響を与え始めています。SNSやブログの登場、Webのオープン化に伴い多様化・複雑化するWebのプラットフォームとして注目・期待されています。様々な捉え方はあるものの、ITの世界、システム基盤そしてエンジニアのキャリアに何かしらの影響を与える存在であると考えています。 今回パソナテックでは、インフラとしてのクラウドにフォーカスを当て、クラウドコンピューティングによって、今後IT業界がどう変わるのか、ITエンジニアはどう変わるべきなのかを考えていただくセミナーイベントを開催いたします。是非ご参加ください。
楽しいアプリ制作の会 #08（終了） « 楽しいアプリ制作の会 [たのアプ]
スマートフォン向けアプリ開発をはじめとしてITネタを幅広く扱う、初心者〜中級者向け勉強会の告知サイトです。新大阪で活動中。 以下の勉強会は開催を終了しました。 多数ご参加いただき、本当にありがとうございました。勉強会の発表資料を公開しますので、 ご自由にお使いください。 ————————————— 資料 クラウドの一般的なご紹介 Google App Engineでのアプリ開発 Windows Azureでのアプリ開発 オープンソースのMapReduce/分散ストレージ実装、Hadoopの紹介 ————————————— 参加者さんの批評／感想など １時間ごと更新なのにリアルタイムとは、これいかに。 by winplusさん 「クラウド」という言葉への期待 by かNEOさん ————————————— テーマ「クラウドに見る最近のアプリケーション実行環境」 ————————————— メ
HadoopはBI市場の破壊的テクノロジーになる
「Big Data」という言葉を見かけることが最近増えてきました。数テラバイトなど大規模なデータを表す言葉です。 このBig Dataをデータを分析し、有用な情報を見いだしてビジネス上の意志決定に活かそうというのがBI（ビジネスインテリジェンス）ですが、BIを実現するためにデータウェアハウスを構築し、OLAPなどの分析ソフトを導入するためのシステム構築は非常にコストのかかるものでした。大規模なデータを保存すること、そしてそれを高速に分析するためには高価で高性能なハードウェアとソフトウェアが必要でした。 そのBIの分野で新たなテクノロジーとして注目されているのがHadoopです。HadoopはBig Dataの保存と分析を、安価なコモディティサーバの集合体で実現します。その点が従来のBI市場にインパクトを与えつつあり、先月、BIツールとHadoopを統合しようとする動きが相次いで顕在化しまし
Hadoopのインストールとサンプルプログラムの実行
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce F
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoop＋Hive検証環境を構築してみる
http://agilecatcloud.com/2010/07/26/hadoop-%E3%83%A2%E3%83%87%E3%83%AA%E3%83%B3%E3%82%B0%E5%BA%A7%E8%AB%87%E4%BC%9A-twitter-live-%E9%80%9F%E5%A0%B1-hadoopmodeling-%EF%BC%83hadoop-nosql-cloud-cloudcpmputing-cbajp/
[Hadoop] - developer’s delight
Hadoopによる大規模分散データ処理
IBM Developer
7/31 hadoop勉強会@大阪 スピーカー募集