halookとは 大量のサーバで構成されるHadoopクラスタの状態把握にお困りではないでしょうか? halookとは、当社が開発しているWGP、ENdoSnipeを用いて、Hadoop・HBaseの内部を直観的に見える化するツールです。 halookを利用することで、今まで多くの人手と時間が必要だった、問題個所の発見・解決が容易に行えます。 halookでは、HDFSのサーバごとの使用サイズ・空きサイズ、各タスクの状況、HBaseのRegion数などを見える化することができます。 (2012/11/08現在の機能です。) ニュース ■2013/02/05(火) 日経コンピュータにHadoopのシステム開発・運用を容易にする国産OSSツールとして、当社のhalookが紹介されました。 ■2013/01/22(火) 当社の落合が、Hadoop Conference Japan 2013 Wi
Apr 16, 2015 · 1 minute read hadoophdfsmemo 目的 Hadoopサーバを更新するにあたってファイルを引越しする。旧サーバはCDH4で新サーバはCDH5で構成されて、ファイルをローカルに落とすことなく直接hdfsにコピーしたい。 はまったところ バージョンが違うためにhdfsプロトコルではエラーが発生 ワイルドカードでのファイル指定ができない ユーザフォルダじゃない場所にコピーするのでpermissionエラーが発生 解決策 バージョンが違うためにhdfsプロトコルではエラーが発生 通常は hadoop distcp hdfs://FROM_HOST/filedir hdfs://TO_HOST/firedire でコピーが行われるのだが、バージョンが異なるとエラーが発生する。 そこで、コピー先(TO_HOST)にsshして以下のコマンドを実行 ha
Twitterを見ていたところ、Cloudera ManagerのDockerイメージがあるとのツイートが! RT @davidgreco: For anyone interested I put together a Docker image w/ Cloudera Manager and a couple services set up http://t.co/LlMc8mLq6P — Cloudera Engineering (@ClouderaEng) 2014, 9月 18 これは試さねばと思い、最近調子の悪いMBP(ロジックボードが怪しいんですよ、、)で動かしてみました。 Dockerの環境を構築する @ueshinさんの情報を参考にセットアップします。 [code] brew tap caskroom/cask brew install brew-cask brew cask
Please be advised our License Portal will be undergoing maintenance between March 15 10:30pm PST - March 16th 9:00am PST during which time users may experience intermittent performance issues. We apologize for the inconvenience. Please be advised that the Broadcom ERP system will be undergoing maintenance between March 28 7pm PST - Apr 1 7pm PST which will impact all new customer accounts created
First things first. Try Hunk before you go down this path. Hunk allows you to seamlessly query your Hive tables with native SPL queries from the search interface. This gives you all the goodness of Splunk including agile reporting and analytics, role-based access controls, report acceleration and the fast time to value that you’ve come to know and love from Splunk. If you have tried Hunk and it’s
10. > small.ints = to.dfs(1:10) > out = mapreduce(input = small.ints, map = function(k,v) keyval(k, k^2)) > res = from.dfs(out) > colres <- do.call('rbind', lapply(res,"[[",2)) > t(colres) [,1] [,2] [,3] [,4] [,5] [,6] [,7] [,8] [,9] [,10] [1,] 1 4 9 16 25 36 49 64 81 100 > groups = to.dfs(rbinom(32, n = 50, prob = 0.4)) > out = mapreduce(input = groups, reduce = function(k,vv) keyval(k, length(vv
Private content!This content has been marked as private by the uploader.
HADOOP The most well known technology used for Big Data is Hadoop. It is used by Yahoo, eBay, LinkedIn and Facebook. It has been inspired from Google publications on MapReduce, GoogleFS and BigTable. As Hadoop can be hosted on commodity hardware (usually Intel PC on Linux with one or 2 CPU and a few TB on HDD, without any RAID replication technology), it allows them to store huge quantity of data
Google グループでは、オンライン フォーラムやメール ベースのグループを作成したり、こうしたフォーラムやグループに参加したりすることで、大勢のユーザーと情報の共有やディスカッションを行うことができます。
SequenceFileの概要 シーケンスファイルは、キーとデータのペアで保存する形式。 キーもデータも任意のWritableを使用可能。 ハッシュテーブルというわけではないので、同一のキーも入れられる。 SequenceFileへの書き込み(Hadoop1系) SequenceFileへ書き込むにはSequenceFile.Writerを使う。 以下、WordCountWritableというWritableをデータとして出力する例。 import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.a
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く