Upgrade CDH3 to CDH4 注意点その１ | 外道父の匠
既存のCDH3をCDH4にアップグレードしたり、 新規でCDH4をインストールする際の注意点をパラパラ書き留めておきます。 まだCDH4のマスターには程遠いので、まだまだ出るでしょうから小分けにします。 CDH3からCDH4のHDFSは利用できない CDHはそもそもバージョンを揃えるのが基本ですが、 それを知りつつもせっかく確認したことがあるので書いておきます。 エコシステムからHDFSに書き込めない CDH4のHDFSに対して、CDH3のHiveやFlumeなどからは書き込めません。 Hadoop本体だけでなく、例えばログ収集Agentまでアップグレード必須になると 台数が多かったり、他の会社が管理するサーバがあると大変です。 こういう場合、WebHDFSなどのAPIがあるとある程度吸収してくれるのでしょうが、CDH3にはWebHDFSがないのでアップグレードするしかありません。構成によ
Multitable insertとhive.exec.parallel - wyukawa's diary
またHiveのチューニングネタです。 以下のような単一のテーブルを入力として集計キーごとにそれぞれ個別に集計したいというケースがあります。 カラム1 カラム2 カラム3 ... 集計キー1 集計キー2 集計キー3 ... ええと具体例が無いとわからないですよね（汗 ここで例としてまたまた郵便番号データを使ってみます。 テーブル定義はこんな感じ。 CREATE TABLE IF NOT EXISTS postdata ( chihou_code string, post_code string, choiki_name string, choson_name string, todoufuken_name string, flag1 int, flag2 int, flag3 int, flag4 int, flag5 int, flag6 int ) postdataテーブルを入力としてc
Hadoop Troubleshooting 101 - Japanese Version | Apache Hadoop for the Enterprise | Cloudera
View Date Thursday, December 1st, 2011 Description This is a presentation given by Cloudera's Sho Shimauchi in Japan.
Facebook has the world's largest Hadoop cluster!
It is not a secret anymore! The Datawarehouse Hadoop cluster at Facebook has become the largest known Hadoop storage cluster in the world. Here are some of the details about this single HDFS cluster:21 PB of storage in a single HDFS cluster2000 machines12 TB per machine (a few machines have 24 TB each)1200 machines with 8 cores each + 800 machines with 16 cores each32 GB of RAM per machine15 map-r
分散データベース「HBase」の安定運用を目指して - Preferred Networks Research & Development
1年経ってiPhone4の電池がヘタってきた、太田です。 指数関数的にエントリ数が少なくなってきた本ブログですがw、景気付けのためにエントリを投稿したいと思います！本日はHBaseについてです。 Linux と Hadoop と HBase と ZooKeeper に詳しいあなた！あなたがターゲットです。 HBaseとは? HBaseとは、HDFS (Hadoop Distributed File System)上に構築された分散データベースです。大量の非常に細かいデータをリアルタイムに読み書き出来るのが特徴です。最近ではFacebook Messageの基盤技術として使用された事で注目を集めています。 HBase公式サイト Apache HBase ブック 保存されたデータはHDFS上に保存され、HDFSの仕組みによってレプリケーションされるため安全にデータを保持することが出来ます。 ま
[Hadoop]複数ディスクを使って効率の良い処理
Hadoop では一つのノードあたり複数ディスクを使うことができますが，ディスクを増やすことによってどれくらい性能が向上するか調べました． HDFSで使用するディスクをdfs.data.dirにコンマ区切りで記入することで複数使えます． <property> <name>dfs.data.dir</name> <value>/data/local/${user.name}/hadoop/dfs/data, /data/local2/${user.name}/hadoop/dfs/data</value> </property> しかし，これだけではまだダメで，mapタスク，reduceタスクが中間データを書き込むディスクも複数指定しなしとHadoopのジョブで複数ディスクを効率良く使えません．mapred.local.dir で設定可能です． <property> <name>mapre
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hive functions. version trunk(rev.1293519)
Cloudera | The hybrid data company