二極化するHadoop業界--ホートンワークスとClouderaの複占を危惧する
Andrew Brust （Special to ZDNET.com） 翻訳校正： 石橋啓一郎 2016-04-15 06:00 HadoopベンダーのHortonworksは、アイルランドのダブリンで現地時間4月13日～14日に開催した「Hadoop Summit」で多くのことを発表した。発表そのものにも重要な内容が含まれており、この記事ではその内容を紹介する。 ただしこれらの発表は、「一般向け」のHadoop界が2つに分割されつつある現状を示していることを念頭に置いておいてほしい。HortonworksとClouderaが各ディストリビューションに導入している独自のコンポーネントは多くの場合、同じようなニーズや要件を満たすものになっている。 Hortonworksの発表 まず、重要な内容から紹介しよう。「Pivotal HD」を引っ提げて、3年前にHadoopのディストリビューション競
Hadoopのシステム設計・運用のポイント
This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery
Cloudera Manager API を使ったクラスタ構築 - Qiita
なにはともあれCloudera Managerのインストールです。 sudo 可能なユーザで下記を実行すればインストールされます。sudoできない場合は最後はsuしてrootで実行してください。 $ curl -O http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin $ chmod 755 cloudera-manager-installer.bin $ sudo ./cloudera-manager-installer.bin --i-agree-to-all-licenses --noprompt --noreadme これが終ればブラウザから http://<nodename>:7180 にアクセスすることで Cloudera Manager にアクセスできるようになるはずです
2014年版 Hadoopを10分で試す(1)
Hadoop関連（全部俺） Advent Calendar 2014:7日目 先週の研修中に、「Hadoopをこれから試してみたいけど、どこから始めたらいいでしょうか？」という質問がありました。 構築の勉強をしたいのであれば、今ならパブリッククラウドや仮想化環境を使えるので、実際に構築してみるのが良いでしょう。パッケージを手作業でインストールしても良いですし、Cloudera Managerを使えば簡単です。 MapReduceやSparkのジョブの開発方法を学びたいのであれば、環境を用意した上で、先日紹介したO’Reillyなどの書籍を利用したり、あるいはセミナーや研修を受講するのが良いかもしれません。 MapRediuceやSparkを試すための簡単な方法のひとつは、「Hadoop入門：Hadoopを10分で理解する」 シリーズで紹介したCloudera Managerであり、Clou
CDH5対応のSparkをビルドする方法 - nobusueの日記
このエントリはSpark, SQL on Hadoop etc. Advent Calendar 2014 - Qiitaの12/6担当分です。 CDH5対応のSparkバイナリはどこに? Sparkアプリケーションの開発を行っていると「Hadoopクラスタに接続してxxする」というケースがあると思います。いちいちアプリケーションのJARをアップロードするのは面倒なので、できれば「手元のマシン(Macとか)からリモートのHadoopクラスタに接続してxx」したいところです。 しかし、Hadoopエコシステムのプロダクトはライブラリの依存関係がシビアなため、バージョンやディストリビューションが異なると接続できないことが多いです。(しかも状況によって発生するエラーが異なるので原因究明が大変です。特に、自分のようにHadoopの経験が浅い人間は素直にディストリビューションの標準構成に従っておいた
C5.2 (Cloudera Manager + CDH) アップデート #cwt2014
Cloudera World Tokyo 2014 で発表した、C5.2 (Cloudera Manager + CDH) アップデートの資料です。HDFS, YARN, Impala, Cloudera Search (Solr), HBase などの最新情報と、Cloudera Manager 5 の新機能(スナップショット、リソース管理など) について紹介しています。Read less
Apache Crunch - Apache Crunch
This project has retired. For details please refer to its Attic page. Apache Crunch Simple and Efficient MapReduce Pipelines The Apache Crunch Java library provides a framework for writing, testing, and running MapReduce pipelines. Its goal is to make pipelines that are composed of many user-defined functions simple to write, easy to test, and efficient to run. Apache Crunch moved to the Apache At
Clouderaで作るデータ分析環境 - 科学と非科学の迷宮
wyukawaさんがデータ分析環境について書いていましたが、全部 CDH を使えば実現可能なので便乗して書いておこうと思います。 1. ETL 処理 CDH なら以下のツールがあります。 Sqoop RDBMS / DWH などに対するインポート・エクスポートツール。最近日本語の本も出版されたので皆さん買ってください。 Hue を使えば Web ブラウザ上から設定できます。デモビデオはこちら。 Pig Hive の影に隠れがちなクエリ言語ですが、特に ETL として使う場合は書きやすいです。中身は MapReduce。Java はもちろん、Python、Javascript、Ruby、そしてGroovyでUDFが書けるのが特徴。HCatalog というツールのおかげで Hive 同様スキーマを扱えるようになりました。 Hue を使えば Web ブラウザ上から実行できます。デモビデオはこちら
Runtime error - Meta Search
Error message : Directory is not found or not writable (DATA_DIR) Directory is not found or not writable (DIFF_DIR) Directory is not found or not writable (BACKUP_DIR) Directory is not found or not writable (CACHE_DIR) Site admin: whitestar Copyright © 2006-2023 whitestar. All Rights Reserved. Icons powered by famfamfam. PukiWiki 1.5.0 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://docs.cloudera.com/documentation/enterprise/latest.html
https://docs.cloudera.com/documentation/enterprise/latest/topics/cdh_rn_new_in_521.html
https://docs.cloudera.com/documentation/enterprise/latest/topics/cdh_rn_new_in_520.html
Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan