GitHub - datawrangling/trendingtopics: Rails app for tracking trends in server logs - powered by the Cloudera Hadoop Distribution on EC2You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
“統計の基礎を無視している”Hadoop使いが考えるビッグデータ
Hadoopをバッチ処理の高速化に活用しているノーチラス・テクノロジーズは、ビッグデータのブームに真っ向から異論を唱える。「ビッグデータは中身のないバズワード」と断言する代表取締役社長 神林飛志氏に、その真意を聞いた。 Hadoop＝ビッグデータは大きな誤解 ノーチラス・テクノロジーズは、基幹系システム向けのミドルウェアを手がける国産ベンチャー。Webサービスのように決して派手ではないが、「そもそもダウンすると、飛行機が飛ばないとか、病院で人が死んでしまうとか、電車が動かないとか、生活に影響が出る分野」（神林氏）という、まさにミッションクリティカルな領域のITで、同社の製品は活用されている。 同社の「Asakusa Framework」は、Hadoopを活用した分散処理により、基幹系バッチの高速化を実現する。神林氏は、「Hadoopというと、WebやSNS系、BIやデータ解析での使い方がメ
Cloudera Distribution for Hadoopのインストール方法 - moratorium
Cloudera Distribution for Hadoopのインストール方法 2009-11-03 (Tue) 1:08 Hadoop 昔色々と記事を書きましたが、１年半経って、もはや内容が古くなって来ました。 Hadoopのインストールは、最近はCloudera Distribution for Hadoopを使用するのが一般的なようなので、こちらでのインストール方法を紹介します。 まずはEC2で２インスタンス立ち上げます。一つがNameNode/JobTracker用、もう一つがDataNode/TaskTracker用です。仮に、ホスト名をmaster, slaveとしておきます。OSはCentOSが推奨されています。 次にCloudera Configuratorにアクセスし、使用するクラスタの構成などを入力します。それらの情報(例：ノードのコア数・メモリ容量・台数など)から
Amazon、ウィザードだけで使えるHadoopサービス「Amazon Elastic MapReduce」開始 | gihyo.jp
濃縮還元オレンジニュース Amazon、ウィザードだけで使えるHadoopサービス「Amazon Elastic MapReduce」開始 米Amazonの子会社であるAmazon Web Services（AWS）は、2009年4月2日にHadoopを使って分散処理を行う環境「Amazon Elastic MapReduce」のβサービスを開始しました（図1）。AWSが提供している仮想サーバ環境のAmazon EC2やストレージサービスのAmazon S3を組み合わせて、HadoopによるMapReduce処理を行えるようになっています。 図1 Amazon Elastic MapReduce これまで、ログ解析などの大量なデータを処理したり、科学計算などの時間がかかる処理を行ったりするには、大容量のストレージや高性能のサーバが必要でした。しかし、頻繁に利用するのでなければ、マシンの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
「クックパッドとHadoop」資料が良い - OneRingToFind
GitHub - mrflip/wukong: Ruby on Hadoop: Efficient, effective Hadoop streaming & bulk data processing. Write micro scripts for terabyte-scale data
