二極化するHadoop業界--ホートンワークスとClouderaの複占を危惧する
Andrew Brust （Special to ZDNET.com） 翻訳校正： 石橋啓一郎 2016-04-15 06:00 HadoopベンダーのHortonworksは、アイルランドのダブリンで現地時間4月13日～14日に開催した「Hadoop Summit」で多くのことを発表した。発表そのものにも重要な内容が含まれており、この記事ではその内容を紹介する。 ただしこれらの発表は、「一般向け」のHadoop界が2つに分割されつつある現状を示していることを念頭に置いておいてほしい。HortonworksとClouderaが各ディストリビューションに導入している独自のコンポーネントは多くの場合、同じようなニーズや要件を満たすものになっている。 Hortonworksの発表 まず、重要な内容から紹介しよう。「Pivotal HD」を引っ提げて、3年前にHadoopのディストリビューション競
HiveやPigコマンドをHadoopクラスターで実行するには – hrendoh's tech memo
Hive CLIでHiveQLを実行したりPigLatinをリモートのHadoopクラスターで実行する場合に必要なクライアント側のHadoop設定についてまとめてみました。 Hadoopは2系�、動作の確認はCDH5を利用してしています。 Hive CLIやPigコマンドは、生成したたMapReduceジョブを同じマシンのHadoopクライアントを通してリモートのHadoopクラスタ上に送り�実行します。 リモートのHadoopクラスタの情報は、HiveやPigを実行するサーバー上のHadoopクライアントが参照する以下の3つのHadoopの設定ファイルに 設定します。 c�ore-site.xml yarn-site.xml mapred-site.xml これらのファイルは、Hadoopクラスタからクライアントの$HADOOP_HADOOP_CONFディレクトリ(CDH5の場合は/et
Hadoopのシステム設計・運用のポイント
This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery
Cloudera Manager/CDH のローカルリポジトリ構築 - Qiita
Spark, SQL on Hadoop etc. Advent Calendar 2014 19日目です。 はじめに 前回Cloudera Manager APIを使ってCDHのインストールをするサンプルを紹介しました。 前回の内容をアレンジすることでインストール作業の自動化を図れるようになると思いますが、それでも処理には時間がかかると思います。その一因としてはデータのダウンロード処理が考えられます。これは検証などで繰り返し環境をセットアップする場合に特に問題になると思います。そこで、今回はローカルネットワークにリポジトリを作成してインストールを高速化する方法を紹介していきます。 リポジトリ作成後のインストール方法としては下記になります。 1. Cloudera Manager ServerをRPMでインストールする 2. Cloudera Manager Agentをクラスタの各ノード
Cloudera Blog
In an era where artificial intelligence (AI) is reshaping enterprises across the globe—be it in healthcare, finance, or manufacturing—it’s hard to overstate the transformation that AI has had on businesses, regardless of industry or size. At Cloudera, we recognize the urgent need for bold steps to harness this potential and dramatically accelerate the time to […] Read blog post
稼働中のCDHクラスタからCloudera Managerに移行した話 - Qiita
こちらはSpark, SQL on Hadoop etc. Advent Calendarの12日目です はじめに Cloudera ManagerはCloudera社が提供するHadoop（CDH）クラスタをGUIで管理・監視ができるアプリケーションです。 （以下一部Cloudera Manager = CMと略します） 職場にて元々CDH4.3を利用してHadoopクラスタを運用していたのですが 運用が2-3名 障害時に停止や再起動の手順を把握している人そのくらい（ドキュメントは一部用意してあるが…） 日々の運用や開発に手一杯で監視が甘い GangliaとCloudForecastとNagiosなど組み合わさってとっちらかる 時々とんでもない値を設定しててハマる などなどありまして、「もうちょい楽して開発に集中したい」というモチベーションが高まりCloudera Managerを採用し
Cloudera Manager API を使ったクラスタ構築 - Qiita
なにはともあれCloudera Managerのインストールです。 sudo 可能なユーザで下記を実行すればインストールされます。sudoできない場合は最後はsuしてrootで実行してください。 $ curl -O http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin $ chmod 755 cloudera-manager-installer.bin $ sudo ./cloudera-manager-installer.bin --i-agree-to-all-licenses --noprompt --noreadme これが終ればブラウザから http://<nodename>:7180 にアクセスすることで Cloudera Manager にアクセスできるようになるはずです
2014年版 Hadoopを10分で試す(1)
Hadoop関連（全部俺） Advent Calendar 2014:7日目 先週の研修中に、「Hadoopをこれから試してみたいけど、どこから始めたらいいでしょうか？」という質問がありました。 構築の勉強をしたいのであれば、今ならパブリッククラウドや仮想化環境を使えるので、実際に構築してみるのが良いでしょう。パッケージを手作業でインストールしても良いですし、Cloudera Managerを使えば簡単です。 MapReduceやSparkのジョブの開発方法を学びたいのであれば、環境を用意した上で、先日紹介したO’Reillyなどの書籍を利用したり、あるいはセミナーや研修を受講するのが良いかもしれません。 MapRediuceやSparkを試すための簡単な方法のひとつは、「Hadoop入門：Hadoopを10分で理解する」 シリーズで紹介したCloudera Managerであり、Clou
HDFSでアクセス制御リスト（ACL）を設定する
６日目です。 昨日のブログでHDFSの拡張属性を紹介しましたが、当初の予定はACLがメインででした。ところがCloudera Quickstart VM 5.2の思わぬ罠にハマってしまい、トラブルシュートに延々と時間を費やしたあげくに、結局はつまらないミスだったという、、、皆さんもご注意くださいね。（顛末に興味があればこちら） さて、Hadoop 2.5.0ではHDFSに拡張属性が追加され、ファイルやディレクトリに拡張属性が設定できるようになりました（HDFS-2006）。実はその前に、Hadoop 2.4.0から、HDFS上のファイルやディレクトリへのアクセス制御ができるようになっています。(HDFS-4685)。 アクセス制御リストと拡張属性 アクセス制御リストはユーザーが指定するもので、所有者、グループ、その他のユーザーに対し、パーミッションよりも柔軟なアクセス制御を行うことができま
Cloudera Quickstart VMの罠（？）
Cloudera Quickstart VMの最新版をダウンロードして、HDFSでACLの設定を検証しました。が、デフォルトの設定に罠があるので、試される方はご注意ください。 原因はつまらないことなんですが、こんなときにこそCloudera Managerがあれば問題無し！なはず。 「え？Quickstart VMってCloudera Managerから設定するんじゃないの？」 って思った方がいらっしゃるかもしれませんが、そう、罠にかかったのは私です。 言い訳すると、現在公開されているQuickstart VMは、過去のブログシリーズで書いた「Hadoopを10分で理解する」とは少し変わっています。デフォルトではCloudera Managerが起動しないのです。Cloudera Managerを使うためにはメモリが多く必要なので、今回の環境はCloudera Managerを使っていませ
CDH5対応のSparkをビルドする方法 - nobusueの日記
このエントリはSpark, SQL on Hadoop etc. Advent Calendar 2014 - Qiitaの12/6担当分です。 CDH5対応のSparkバイナリはどこに? Sparkアプリケーションの開発を行っていると「Hadoopクラスタに接続してxxする」というケースがあると思います。いちいちアプリケーションのJARをアップロードするのは面倒なので、できれば「手元のマシン(Macとか)からリモートのHadoopクラスタに接続してxx」したいところです。 しかし、Hadoopエコシステムのプロダクトはライブラリの依存関係がシビアなため、バージョンやディストリビューションが異なると接続できないことが多いです。(しかも状況によって発生するエラーが異なるので原因究明が大変です。特に、自分のようにHadoopの経験が浅い人間は素直にディストリビューションの標準構成に従っておいた
C5.2 (Cloudera Manager + CDH) アップデート #cwt2014
Cloudera World Tokyo 2014 で発表した、C5.2 (Cloudera Manager + CDH) アップデートの資料です。HDFS, YARN, Impala, Cloudera Search (Solr), HBase などの最新情報と、Cloudera Manager 5 の新機能(スナップショット、リソース管理など) について紹介しています。Read less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Product Downloads | Cloudera
https://docs.cloudera.com/documentation/enterprise/latest/topics/cdh_vd_cdh_package_tarball.html
https://docs.cloudera.com/documentation/enterprise/latest.html
https://docs.cloudera.com/documentation/enterprise/latest/topics/cdh_rn_new_in_530.html
https://docs.cloudera.com/documentation/enterprise/latest/topics/cdh_rn_new_in_521.html
GitHub - Ingensi/docker-hadoop-cdh-pseudo: Docker image which contains a pseudo distributed Hadoop cluster (HDFS+YARN)
Data practitioners | Cloudera
https://docs.cloudera.com/documentation/enterprise/latest/topics/cdh_rn_new_in_520.html