Amazon EMR 2.x and 3.x AMI versions - Amazon EMR
AWS is updating the TLS configuration for all AWS API endpoints to a minimum version of TLS 1.2. Amazon EMR releases 3.10 and lower only support TLS 1.0/1.1 connections. After December 4, 2023, you won't be able to create clusters with Amazon EMR 3.10 and lower. If you use Amazon EMR 3.10 or lower, we recommend that you immediately test and migrate your workloads to the latest Amazon EMR release.
Hive Tools in NHN Japan #hadoopreading
1. Hive Tools in NHN Japan Hadoop Source Code Reading Vol.9 2012/05/30 @tagomoris (TAGOMORI Satoshi) 12年5月30日水曜日 3. Hive in NHN Japan Reporting of access log (not analysis) Pageviews and/or Unique Users? Accesses under specified condition? Hey, what numbers of accesses for our new features? new bot accesses? any troubles? 12年5月30日水曜日 4. SELECT yyyymmdd, count(is_pc(pa)) as pc, count(is_smartphone(p
Apache Hive による開発 (Frozen) - Ayutaya.com
ディレクトリ。辞書順。partition はさらにサブディレクトリ。このへん、どこかにドキュメントはありませんか？ Hadoop Hive - Hadoop Hive- Data Manipulation Statements EMR は、最初の入力と最後の出力にだけは、外部のストレージ（普通は S3）を利用せざるを得ないため、HDFS のローカリティが生きません。なるべく Hive の中間データを使わないようにしたいので、以下のようにすれば良いのだと思われます。 サンプルとして、下記の 3 つの入力ファイルを用意します。ここでは、カラムの区切りにはタブを使っています。 input/employees/foo.tsv10 NAKA Kiichiro 100 20 LUCAS Geroge 200 30 KANAME Madoka 100input/employees/bar.tsv40 J
並列分散処理の常識をHadoopファミリから学ぶ
並列分散処理の常識をHadoopファミリから学ぶ：ビッグデータ処理の常識をJavaで身につける（2）（3/3 ページ） 3つの課題に応える「Hadoopファミリ」 関連プロジェクトは、Hadoopが抱える以下の3つの課題に応えたものです。 【課題1】「並列分散処理をもっと簡単に書きたい」 MapReduceをJavaで書く処理はある種のひらめきが必要ともいわれます。特に、SQLで書かれていた処理をMapReduceで書き替える場合、思考の切り替えが必要で苦労することも多いようです。たとえ慣れていても、Hadoopで簡単なデータ加工したい、そのためだけに多くのクラス定義をするのは面倒です。 この難易度を下げるハイレベル言語として「Hive」「Pig」が存在します。どちらの言語もSQLやストアドプロシジャのようなコードを書いて、MapReduceを動かせます。対話型のシェルユーティリティもあり
第1回EMR勉強会に参加しました | DevelopersIO
こんにちは。くろの（福田）です。 先日、第1回EMR勉強会に参加してきました。 ■開催概要 日時：2011年12月15日（金） 場所：タイムズビル24 主催：ヴェルク株式会社、クリエーションライン株式会社 Webサイト：http://atnd.org/events/23056 ハッシュタグ：#emrstudy_jp ■クラウド型Hadoop Service - Amazon Elastic MapReduce クリエーションライン株式会社 李さん クラウド型Hadoopサービス オンデマンド －ジョブフロータイプ、データ処理タイプ、クラスタ規模を指定してHadoop作成 プロビジョン Hadoopクラスタ構成/ソフトウェアインストールが自動的に行われる Amazon S3、RDS、SimpleDB エフェメラル －結果がS3に保存され、ジョブフローは削除される ephemeral：はかない
Hiveクエリチューニングメモ - 科学と非科学の迷宮
Hadoop本2版を買ったその一週間後にDeals of the day で半額セールやられて死にたくなったので腹いせに書く はじめに ここに書いてあるのは全部参考リンク・文献からひっぱってきただけで、ほとんど全部検証してない。間違いがあればなるべく早めに更新するよう努力はするが、鵜呑みにして何が起きても自己責任で。 Hive のクエリチューニングに関するメモ書きである。以下のことは「書いていない」 Hadoop自体のチューニング Hive のクエリチューニング以外の話 例えば、圧縮ファイルを Hive 上で扱うにはどうするかとか JOIN 一番左のテーブルに最も大きなテーブルを持ってくる 一番左のテーブルがMRでいう入力データとして流れる。インナーテーブルのデータはメモリに保持される。 同一 JOIN キー 通常は 1 JOIN = 1 MR ジョブだが、同一の JOIN キーを使ってい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NexR :: Toward Open Platform
このページを見るには、ログインまたは登録してください
http://japan.internet.com/busnews/20110705/9.html