Amazon EMR 4.1.0は、Spark 1.5.0、Hue 3.7.1、Presto、Oozie、Zeppelinに対応 | DevelopersIO
Amazon EMR 4.1.0は、Spark 1.5.0、Hue 3.7.1、Presto、Oozie、Zeppelinに対応 EMR4.1.0リリース こんにちは、EMR見習いの横田です。今回は、EMR4.1.0リリースについてお知らせします。ここでは、待ちに待った周辺ソフトウェアの対応についてお知らせ致します。Spark、Hue、Presto、Oozie、Zeppelinあたりの対応によって、かなり実用的になったのではと思います。 なお、EMRのセットアップ手順については、以前に解説した記事がありますので、そちらを御覧ください。 Amazon EMR 4.0.0で始める Apache Spark 1.4.1 まずはセットアップ EMRの管理コンソールにアクセスしてクラスター作成を選択しますと、お手軽作成モードを選べますが、これだとSpotインスタンスが初期指定されていないので、アドバ
HDFSでアクセス制御リスト（ACL）を設定する
６日目です。 昨日のブログでHDFSの拡張属性を紹介しましたが、当初の予定はACLがメインででした。ところがCloudera Quickstart VM 5.2の思わぬ罠にハマってしまい、トラブルシュートに延々と時間を費やしたあげくに、結局はつまらないミスだったという、、、皆さんもご注意くださいね。（顛末に興味があればこちら） さて、Hadoop 2.5.0ではHDFSに拡張属性が追加され、ファイルやディレクトリに拡張属性が設定できるようになりました（HDFS-2006）。実はその前に、Hadoop 2.4.0から、HDFS上のファイルやディレクトリへのアクセス制御ができるようになっています。(HDFS-4685)。 アクセス制御リストと拡張属性 アクセス制御リストはユーザーが指定するもので、所有者、グループ、その他のユーザーに対し、パーミッションよりも柔軟なアクセス制御を行うことができま
Hue - The open source SQL Assistant for Data Warehouses
Hue 3.7 with Sentry App and new Search widgets is out! Published on 09 October 2014 in Release - 2 minutes read - Last modified on 04 February 2020 Hi Big Data Surfers, The Hue Team is glad to release Hue 3.7 and its new Sentry App and improved Search App! A tarball is available as well as documentation and release notes. On top of shipping a brand new app, this release is particularly feature-pac
Hue - The open source SQL Assistant for Data Warehouses
Apache Sentry made easy with the new Hue Security App Published on 07 October 2014 in - 3 minutes read - Last modified on 04 February 2020 Hi Hadoop Sheriffs, In order to support the growth of the Apache Sentry project and make it easier to secure your cluster, a new app was added into Hue. Sentry privileges determine which Hive / Impala databases and tables a user can see or modify. The Security
Hue - The open source SQL Assistant for Data Warehouses
How to configure Hue for your Hadoop cluster Published on 02 October 2014 in Development - 5 minutes read - Last modified on 19 April 2021 Hue is a lightweight Web server that lets you use Hadoop directly from your browser. Hue is just a ‘view on top of any Hadoop distribution’ and can be installed on any machine. There are multiples ways (cf. ‘Download’ section of gethue.com) to install Hue. The
Hue 3.5をビルドする
Hue 3.5で搭載されそうなアプリ ブログに公開されていた興味深いアプリ３つ＋１つ グラフィカルファセット 外部ウェブアプリの統合 DBQueryアプリ：MySQLとPostgreSQLエディタ そして、Sparkアプリ！（スクリーンショット） 前にも紹介した通り、HueのSolrアプリ（Cloudera Search）の検索結果の「見た目」は、カスタマイズできます。 現在開発中のグラフィカルファセットは、検索結果をグラフィカルに表示し、動的に変更できるようになるようです。 外部ウェブアプリの統合は、簡単にHueのメニューにウェブアプリを統合できるもの。 DBQueryアプリは名前の通り、HueからMySQLとPostgreSQLへの検索などができるアプリです。 外部ウェブアプリの統合はHue3.5からサポートされるようなので、残念ながらCDH5b1では利用できません。仕方がないので手元
Hue 3.6のダッシュボード
本日公開されたCDH5.1に含まれたHueの最新バージョン Hue 3.6では、検索(Apache Solr)のダッシュボードが劇的に進化しています！ ドラッグ＆ドロップで簡単に配置 棒グラフ、円グラフを簡単に表示 地図へのデータのマッピングも可能 などなど 他にも多くの進化がありますが、その中でもこの機能はかなりCoolだと思います。 詳細はHueのブログ、http://gethue.com/hadoop-search-dynamic-search-dashboards-with-solr-2/?lang=jaをどうぞ ちなみに日本語でのスクリーンショットはこんな感じ。（レイアウトは自由にカスタマイズ可）
HueでCSVデータからHiveのテーブルを作る
４日目です。 本日はHadoopアドベントカレンダー2013の立候補がいないようなので、あえて書く@choplinさんが今 (22:30)書いて下さっているとのこと。凄い！ありがとうございます！ ＃決して無理強いはしてないはず、、、、、と信じたい（汗 本日のお題はHueとHiveについてです。 Hiveでテーブルを作成してデータをロードする場合には、1) CREATE TABLEを使用してテーブルを作成し、2) LOAD DATA INPATHなどを使ってデータをロードする、というような手順を踏みます。あるいは、既にデータがHDFS上にある場合、外部テーブルを利用することもできます。 テーブルを作成してデータをロードする例 CREATE TABLE a (a INT, b INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; LOAD D
Hue - The open source SQL Assistant for Data Warehouses
All Categories Browsing (3) Community (1) Development (59) Flink sql (4) Hive (1) Impala (1) Ksqldb (3) Phoenix (3) Query (8) Release (32) Spark sql (3) Tutorial (19) Version 4 (78) Version 4.10 (11) Version 4.11 (11) Version 4.9 (7) Version 5.0 (1) Discover the power of Apache Ozone using the Hue File Browser Greetings, Ozone users! Hue officially supports browsing Apache Ozone using the Hue File
Hue - The open source SQL Assistant for Data Warehouses
Get started with Spark: deploy Spark Server and compute Pi from your Web Browser Published on 16 June 2014 in - 3 minutes read - Last modified on 06 March 2021 Note: This post is deprecated as of Hue 3.8 / April 24th 2015. Hue now has a new Spark Notebook application. Hue ships with Spark Application that lets you submit Scala and Java Spark jobs directly from your Web browser. The open source Spa
新！Hadoopを10分で試す(2) HueからHiveのクエリを実行する
＊＊この記事の内容は若干古くなっています。まとめページもご覧下さい＊＊ 無事に起動したCloudera Quickstart VMを使用して、CDH5でいくつかのサービスを試していきましょう。本日はHiveのクエリです。 YARN+MapReduce v2 今まで使用していた仮想マシンイメージは、CDH4がベースとなっていました。今回セットアップした仮想マシンはCDH5ベースになっており、MapReduce分散処理の実行基盤として、デフォルトでYARNが使われるようになっています（従来のMapReduce、MapReduce v1を利用することもできます）。YARNはYet Another Resource Negotiatorの略で、クラスタ全体のリソースを効率よく制御することができ、従来の分散処理で不足していた機能に対応しています。例えば 、MapReduce以外の分散処理基盤として、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - keedio/storm-hue: Hue application for Apache Storm
Hue - The open source SQL Assistant for Data Warehouses
GitHub - keedio/kafka-hue: Hue application for Apache Kafka
Hue - The open source SQL Assistant for Data Warehouses
BeeswaxとImpalaで大量の結果時の問題を修正する方法 | Hue - Hadoop User Experience - The Apache Hadoop UI
Hadoop Conference Japan 2014
任意のOozieジョブをHDFSから直接サブミットする | Hue - Hadoop User Experience - The Apache Hadoop UI
HUE SDK Documentation
GitHub - cloudera/hue: Open source SQL Query Assistant service for Databases/Warehouses
