[翻訳] Hadoop: Fair Scheduler - Qiita
原文: http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/FairScheduler.html バージョン: 3.0.0-alpha1 ライセンス: Apache License 目的 このドキュメントでは、Hadoop用のプラガブルスケジューラであるFairSchedulerについて説明します。このスケジューラは、YARNアプリケーションが大規模なクラスタでリソースを公平に共有できるようにします。 イントロダクション フェアスケジューリングは、すべてのアプリケーションが平均して同じリソースの時間を共有するように、アプリケーションにリソースを割り当てる方法です。Hadoop NextGenは、複数のリソースタイプのスケジューリングが可能です。デフォルトでは、フェアスケジューラはスケジューリングフェアネス決定
![[翻訳] Hadoop: Fair Scheduler - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f469ab67ca1a9257d821b5ba5646a68dbcf3a409/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU3JUJGJUJCJUU4JUE4JUIzJTVEJTIwSGFkb29wJTNBJTIwRmFpciUyMFNjaGVkdWxlciZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9NjZjZmQ0NzY4YzM0ZmU4YzhmYTNmNTVmMDFlZWMxMmM%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBzaGl1bWFjaGkmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWJiNDVkYWQ4MjgxNzdjZTdjNmYwZDQ1NmRkMDE0YzM2%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D5d024252b956ebdbf82e46d464e13068)
機械学習、どこから手を付ける？ ～初期コストゼロで試せるBigInsightsで、Hadoop＆Sparkのエコシステムをフル活用～ - はてなニュース
「大規模データ分析や機械学習を始めてみたい」と考えているチームは多いはずだ。情報システムや業務の現場が生み出すビッグデータを最新手法で分析することで、データに潜んでいた価値を発掘でき、それを新たなビジネス価値に結び付けられるとの期待が高まっているからだ。そこで出てくる問いは「いったいどこから始めたらいいのだろうか？」。 （※この記事は、日本アイ・ビー・エム株式会社提供によるPR記事です） 大量データ分析で名前が挙がるソフトウェアといえば、Apache HadoopとApache Sparkだ。そのエコシステムは高度で充実している。だからこそ「どこから手を付けるのか」に悩む人も多い。「Hadoop/Sparkのディストリビューションを利用できるIBM BigInsights試用版や、クラウドサービスBluemixを使えば、明日からでもHadoop/Sparkによるデータ分析や機械学習に取り組
Cloudera World Tokyo 2016 #cwt2016 ツイートまとめ (2ページ目)
2016/11/08に開催された、Cloudera World Tokyo 2016 のツイートのまとめです。 http://www.clouderaworldtokyo.com/
Hadoop Summit 2016 Tokyo参加レポート | DevelopersIO
こんにちは、小澤です。 今回は10月26, 27日に行われたHadoop Summit 2016 Tokyoの参加レポートを書かせていただきます。 参加セッション 1日目 Opening Keynote Moving towards enterprise ready Hadoop clusters on the cloud Hivemall: Scalable machine learning library for Apache Hive/Spark/Pig Hadoop 3.0 in a Nutshell The truth about SQL and Data Warehousing on Hadoop Using Hadoop to build a Data Quality Service for both real-time and batch data 2日目 Opening
Apache Hive 紹介
2014年1月23日のあしたのオープンソース研で使用したApache Hive説明資料です。Read less
Hadoop利用者ならきっと知ってる、Hive/Prestoクエリ関数の挙動の違い - Qiita
HiveQLではスピードに難を感じていたため、私もPrestoを使い始めました。 MySQLやHiveで使っていたクエリを置き換える時にハマったTipsをまとめていきます。 AWS AthenaでPrestoを使っている方も増えてると思うので、Presto標準関数での記述例も拡充していきます。 Prestoとは Prestoはオンメモリで動く分散SQLエンジンで、その進化は目を見張る物です。 発表された当時は色々な成約があり使うことを躊躇していましたが、2015年頃からはもう使わない理由はなくなりました。 アドホックに使えるとても高速なSQLエンジンですので、バッチ向けのHiveのように実行結果を待つ時間はほとんどありません。 Hiveですと1つ1つの実行に時間が掛かるので、クエリに慣れていない新参者には辛い物がありました。 しかしPrestoではインタラクティブに実行できますので、トライ
Hive Hacks その2 – Hiveのログ、圧縮など – OpenGroove
注1 :スプリット不可の形式はHDFSで指定したブロックサイズよりも大きな圧縮ファイルをMapReduceの入力とした場合、入力が複数のMapタスクに分散されずに単一のMapタスクで処理されてしまうため、分散処理のメリットが損なわれてしまう。 注2 :ネイティブライブラリは、CDHの場合hadoop/lib/native/にインストールされている。Hadoopのデフォルトの動作では自動的にこのライブラリをロードして使用する。 MapReduceプログラムの出力圧縮 MapReduceにてMap（中間出力）とReduce（最終出力）それぞれを圧縮することができる。中間データ圧縮により性能改善が期待できる。 mapred.compress.map.output true: Mapの出力を圧縮する（SequenceFileを使用） false: 圧縮しない（デフォルト） mapred.map.o
Hive Hacks その3 – しつこくHiveの圧縮ネタ – OpenGroove
Hiveで中間ファイルや出力に圧縮を利用すると、ストレージの節約は当然として、CPU負荷削減、I/Oバウンドタスクの性能向上も見込める、そうだ。Hiveの圧縮扱いについては以前の投稿にも書いたのだが、実践してみたのでその記録。 まずはテーブル作成前に以下実行。恒久対応はhive-site.xmlおよびmapred-site.xmlで。 最後の指定は、性能向上を求めるならBLOCKよりRECORD、とのこと。 hive> set hive.exec.compress.intermediate=true; hive> set hive.exec.compress.output=true; hive> set mapred.output.compression.codec=org.apache.hadoop.io.compress.BZip2Codec; hive> set mapred.out
LanguageManual UDF - Apache Hive - Apache Software Foundation
When hive.cache.expr.evaluation is set to true (which is the default) a UDF can give incorrect results if it is nested in another UDF or a Hive function. This bug affects releases 0.12.0, 0.13.0, and 0.13.1. Release 0.14.0 fixed the bug (HIVE-7314). The problem relates to the UDF's implementation of the getDisplayString method, as discussed in the Hive user mailing list.
LanguageManual DDL - Apache Hive - Apache Software Foundation
OverviewHiveQL DDL statements are documented here, including: CREATE DATABASE/SCHEMA, TABLE, VIEW, FUNCTION, INDEXDROP DATABASE/SCHEMA, TABLE, VIEW, INDEXTRUNCATE TABLEALTER DATABASE/SCHEMA, TABLE, VIEWMSCK REPAIR TABLE (or ALTER TABLE RECOVER PARTITIONS)SHOW DATABASES/SCHEMAS, TABLES, TBLPROPERTIES, VIEWS, PARTITIONS, FUNCTIONS, INDEX[ES], COLUMNS, CREATE TABLEDESCRIBE DATABASE/SCHEMA, table_name
Hadoopを構築するまで - Qiita
自分用のmemoです 環境 CentOS 7.2 VirtualBox 5.0.2 Hadoop 2.7.2 Hive 2.1.0 Hadoop構築 Javaインストール $ yum -y update $ yum -y groupinstall 'Development tools' $ wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u66-b17/jdk-8u66-linux-x64.rpm $ rpm -ivh jdk-8u66-linux-x64.rpm $ export JAVA_HOME=/usr/java/jdk1.8.0_66 $
spark sqlのdataframeをhive tableとしてparquet formatで圧縮して保存するには - Qiita
やったのは 生ログが1行jsonのデータでhdfsにある 生ログをspark RDDとして読み込み RDDをparseして、dfに変換 dfをparquet formatでhive tableにsaveしてあとでhive tableとして引けるようにする。 import scala.collection.mutable.HashMap import org.apache.spark._ import org.apache.spark.sql.SQLContext import org.apache.spark.sql.functions._ import org.apache.spark.sql.hive.HiveContext val options = new HashMap[String, String] options.put("spark.hadoop.mapred.output
Hive で配列の集計をするときに使う LATERAL VIEW の構文がなんか頭に入ってこない, クロコスがヤフーに吸収合併されることになった - 雑文発散(2014-09-09)
▼ [Hive] Hive で配列の集計をするときに使う LATERAL VIEW の構文がなんか頭に入ってこない Hive のデータ型には配列があるんだけど、その配列をサクっと集計する方法に LATERAL VIEW というものがある。 マニュアルページのサンプルを抜粋するとこんな感じ。pageid は文字列型、adid_list カラムが配列型になっている。 テーブルの状態（pageAds テーブル） pageid adid_list
Apache Sparkとは何か――使い方や基礎知識を徹底解説
はじめまして。コラビットの川原と申します。私は「HowMa」というサービスで、Apache Spark（以下、Spark）を利用した住宅価格の推定エンジンの開発を担当しています。本連載では、Sparkの概要や、ローカル環境でのSparkのクラスタの構築、Sparkの基本的な概念やプログラミングの方法を説明していきます。そして、簡単なアプリケーションを作成して、Amazon EMR（Elastic MapReduce）のクラスタ上で実行できるまで解説します。 これからSparkの導入を考えている方、または、業務で使う予定はないが少し興味がある方を対象に、サービス運用の中で得た知識を提供できればと思います。 Apache Sparkとは Apache Sparkは巨大なデータに対して高速に分散処理を行うオープンソースのフレームワークです。JavaやScala、Pythonなどいろいろなプログラ
Spark／MapReduceの 機械学習ライブラリ比較検証
2015/5/21 Hadoopソースコードリーディング 第19回におけるリクルートテクノロジーズ堀越による発表資料になりますRead less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NYU Login
HiveQL - Select-Joins
Interactive Reading Community (Ver.6)
Hadoop YARN – mapred-site.xmlの設定 – OpenGroove
Hiveで配列で保存されたカラムを展開して集計する - Qiita
