GitHub - datawrangling/trendingtopics: Rails app for tracking trends in server logs - powered by the Cloudera Hadoop Distribution on EC2
This repository contains the full source code for Trendingtopics.org, built by Data Wrangling to demonstrate how Hadoop & EC2 can power a data driven website. The trend statistics and time series data that run the site are updated periodically by launching a temporary EC2 cluster running the Cloudera Hadoop Distribution. Our initial seed data consists of the raw Wikipedia database content dump alo
“統計の基礎を無視している”Hadoop使いが考えるビッグデータ
Hadoopをバッチ処理の高速化に活用しているノーチラス・テクノロジーズは、ビッグデータのブームに真っ向から異論を唱える。「ビッグデータは中身のないバズワード」と断言する代表取締役社長 神林飛志氏に、その真意を聞いた。 Hadoop＝ビッグデータは大きな誤解 ノーチラス・テクノロジーズは、基幹系システム向けのミドルウェアを手がける国産ベンチャー。Webサービスのように決して派手ではないが、「そもそもダウンすると、飛行機が飛ばないとか、病院で人が死んでしまうとか、電車が動かないとか、生活に影響が出る分野」（神林氏）という、まさにミッションクリティカルな領域のITで、同社の製品は活用されている。 同社の「Asakusa Framework」は、Hadoopを活用した分散処理により、基幹系バッチの高速化を実現する。神林氏は、「Hadoopというと、WebやSNS系、BIやデータ解析での使い方がメ
Cloudera Distribution for Hadoopのインストール方法 - moratorium
Cloudera Distribution for Hadoopのインストール方法 2009-11-03 (Tue) 1:08 Hadoop 昔色々と記事を書きましたが、１年半経って、もはや内容が古くなって来ました。 Hadoopのインストールは、最近はCloudera Distribution for Hadoopを使用するのが一般的なようなので、こちらでのインストール方法を紹介します。 まずはEC2で２インスタンス立ち上げます。一つがNameNode/JobTracker用、もう一つがDataNode/TaskTracker用です。仮に、ホスト名をmaster, slaveとしておきます。OSはCentOSが推奨されています。 次にCloudera Configuratorにアクセスし、使用するクラスタの構成などを入力します。それらの情報(例：ノードのコア数・メモリ容量・台数など)から
Amazon、ウィザードだけで使えるHadoopサービス「Amazon Elastic MapReduce」開始 | gihyo.jp
濃縮還元オレンジニュース Amazon、ウィザードだけで使えるHadoopサービス「Amazon Elastic MapReduce」開始 米Amazonの子会社であるAmazon Web Services（AWS）は、2009年4月2日にHadoopを使って分散処理を行う環境「Amazon Elastic MapReduce」のβサービスを開始しました（図1）。AWSが提供している仮想サーバ環境のAmazon EC2やストレージサービスのAmazon S3を組み合わせて、HadoopによるMapReduce処理を行えるようになっています。 図1 Amazon Elastic MapReduce これまで、ログ解析などの大量なデータを処理したり、科学計算などの時間がかかる処理を行ったりするには、大容量のストレージや高性能のサーバが必要でした。しかし、頻繁に利用するのでなければ、マシンの
GitHub - mrflip/wukong: Ruby on Hadoop: Efficient, effective Hadoop streaming & bulk data processing. Write micro scripts for terabyte-scale data
Wukong is Ruby for Hadoop — it makes Hadoop so easy a chimpanzee can use it. Treat your dataset like a stream of lines when it’s efficient to process by lines stream of field arrays when it’s efficient to deal directly with fields stream of lightweight objects when it’s efficient to deal with objects RDocs for wukong available at rdoc.info Wukong is friends with Hadoop the elephant, Pig the query
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
「クックパッドとHadoop」資料が良い - OneRingToFind