1. Hadoop is a framework for distributed processing of large datasets across clusters of computers. 2. Hadoop can be used to perform tasks like large-scale sorting and data analysis faster than with traditional databases like MySQL. 3. Example applications of Hadoop include processing web server logs, managing user profiles for a large website, and performing machine learning on massive datasets.R
Improving Query Performance Using Partitioning in Apache Hive Our thanks to Rakesh Rao of Quaero, for allowing us to re-publish the post below about Quaero’s experiences using partitioning in Apache Hive. In this post, we will talk about how we can use the partitioning features available in Hive to improve performance of Hive queries. Partitions Hive is a good tool for performing queries on large
最近流行りのディスク容量があふれたときの挙動、Hadoop編を書こうと思ったらwyukawaさんが既に書いてくださったのでやめました。 ……と思ったのですが、せっかくなので id:wyukawa さんが書いてない箇所を補足してみようと思います。 ( この記事は @kernel023 にレビューしてもらっています。ありがとうございます ) wyukawaさんの記事へのコメント まずHBaseを使っている場合はcompactionがある関係上Disk使用率は50%以内に抑えておくのが無難だと思います。この辺はCassandraと同じですね。 全データを同時にコンパクションするケースはまずないので無理に50%以下に抑えなくていいとは思いますが、意識はしておいた方がいいですね。 私は60%での警告を推奨しますが、この辺はケースバイケースです。 MapReduce の出力結果など、いきなり容量増える
ビッグデータ時代を支える定番ソフト、最新解説書登場本書は、ご好評をいただいた『Hadoop徹底入門』の第2版です。Hadoopは、オープンソースで利用できる分散処理フレームワークで、多数のPCをつなぎ巨大な処理を短時間で可能にするものです。また、システムの一部が壊れたとしても稼動し続けられるなど、高い耐障害性をもつことでも注目されています。第2版では旧版を全面的に見直し、大きく変わったHadoopの最新版に対応しました。 Hadoopのインストールから、Javaによるプログラミング、運用のテクニックまで、実際にHadoopを使ってみようという方向けの情報を充実させています。また、多くの最新トピックも盛り込み、初心者から実際にHadoopを使っている人までご利用いただける内容となっています。
File Format Benchmarks - Avro, JSON, ORC, & Parquet Hadoop Summit June 2016 The landscape for storing your big data is quite complex, with several competing formats and different implementations of each format. Understanding your use of the data is critical for picking the format. Depending on your use case, the different formats perform very differently. Although you can use a hammer to drive a s
We’re the go-to partner and solutions provider for both customers and Google. As the Google Cloud Reseller Partner of the Year three years running, we know how to maximize the power of the Google Cloud to meet your objectives. With certified consultants, engineers, developers, trainers and more, we know the entire portfolio of products and solutions better than anyone. Our track record of deliveri
基本的には以下のエントリーを自分なりに再試・咀嚼したものです。 HDFS and Hive storage - comparing file formats and compression methods - Adaltas Hiveテーブルを作成する際、SequenceFileはTextFileに比べてMapReduce時の処理効率は概ね良くなる傾向にありますが、様々なヘッダー情報が付与されるためファイルサイズ的には若干冗長になります。 僕もHiveを触り始めてまだ1ヶ月ちょっとなので色々調べている中、RCFileという、HDFS上でHiveテーブルのように構造化されたデータを扱うのに適したデータ構造がある、という事を知ったので、それぞれ以下3種のデータフォーマットについてデータサイズの比較を行いました。 TEXTFILE SEQUENCEFILE RCFILE ◯前提条件 今回試験に使
Spark, SQL on Hadoop etc. Advent Calendar 2014 - Qiita 10日目の記事です。 とあるプロジェクトにて、パフォーマンスチューニングのために実施した7つのことをまとめました。 この内容はCloudera World Tokyo 2014でお話しさせていただいた内容を再編したものです。 登壇資料 - Hadoopで作る広告分析プラットフォーム 登壇の様子 - 国内最大級のHadoop関連カンファレンスに登壇してきました! 1.YARNが利用可能なリソースの変更 YARNではMR1と異なりスロットではなくコンテナという概念でリソースが管理されます。 以下のパラメータでノードマネージャがコンテナに利用可能なメモリ量、CPU数を変更しました。 yarn.nodemanager.resource.memory-mb yarn.nodemanager.
Hiveの設定項目に「hive.merge.size.per.task」という項目があります。 マージ処理が有効になっている(hive.merge.mapredfiles=true)上で、上述の項目で指定した所定のファイルサイズにHiveの計算結果ファイル(MapReduceの結果ファイル)のサイズが満たない場合、所定のサイズを超えるようにマージ処理が行われます。 用途としては、結果ファイルとしてあまりに細かいファイルが大量に作られHDFSのブロックが有効活用出来ない状況を回避するため、と認識しています。 (できるだけ1ファイルをHDFSのブロックサイズに一致するようなサイズにマージしたい。) もしくは解析時に大量のMapタスクを生成したくない、という目的もあると思います。 ただ、こちらのパラメータはケースによっては有効にならないようです。 ◯有効になるケース 計算結果ファイルを非圧縮にし
Click Here for the previous version of the benchmark Introduction Several analytic frameworks have been announced in the last year. Among them are inexpensive data-warehousing solutions based on traditional Massively Parallel Processor (MPP) architectures (Redshift), systems which impose MPP-like execution engines on top of Hadoop (Impala, HAWQ), and systems which optimize MapReduce to improve per
今回はHadoopおよびHiveを用いて抽出したデータを、Apache POIを使用してExcelシート上に出力します。 HiveはHiveQLというSQLに近い言語で開発が可能であり、JDBCドライバも提供されています。 過去の記事(Apache POI によるエクセルファイルの出力 その1)のソースコードを流用することで、極めて簡単にHadoopとExcelを連携させることができます。 Figure 1: Overall image 【バージョン】 HadoopおよびHiveはそれぞれ現時点で入手可能な最新の安定版を使用します。 Hadoop: Release 1.0.4 (12 October, 2012) Hive: Release 0.9.0 (30 April, 2012) ※Hive 0.9.0から、Hadoop1.xでの動作をサポートした様です。 また、HiveのJDB
We've realized a bit too late that archiving our files in GZip format for Hadoop processing isn't such a great idea. GZip isn't splittable, and for reference, here are the problems which I won't repeat: Very basic question about Hadoop and compressed input files Hadoop gzip compressed files Hadoop gzip input file using only one mapper Why can't hadoop split up a large text file and then compress t
Hadoopのnamenode兼datanodeが電源瞬断のせいで壊れてしもうた。 勉強用のHadoopなのでダメージはないのだが、せっかくなのでfsckなどを試した結果を記す。 hadoop-1.0.0。 OS側でもfsckはしておいた。 サマリ HDFSにもfsckがある。 hadoop fsckでチェック、修正できる。 hadoop fsckと叩けば使い方の簡単な説明が表示される。 namenodeがsafemodeのためにHDFSが読み取り専用になっていることがある。 読み取り専用ではfsckで修正できないので、safemodeから出る必要がある。 HDFSでのfsck hadoop fsck <path>と指定すればよい。 CORRUPT!とのことで、壊れておりますなあ。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く