Latest Insights on Data and AI | Cloudera BlogCloudera named a leader in The Forrester Wave™: Data Fabric Platforms, Q4 2025 Read the report
Apache Tez : Accelerating Hadoop Query Processing
Apache Tez : Accelerating Hadoop Query ProcessingAI-enhanced description Apache Tez is a distributed execution framework designed to accelerate Hadoop query processing by representing computations as dataflow graphs. Built on YARN, it offers customizability and optimizations for various data-processing applications, leading to improved performance, resource utilization, and predictability of resul
Scaling the Facebook data warehouse to 300 PB
Fascinating read, raising interesting observations on different levels: At Facebook, data warehouse means Hadoop and Hive. Our warehouse stores upwards of 300 PB of Hive data, with an incoming daily rate of about 600 TB. I don’t see how in-memory solutions, like Hana, will see their market expanding. In the Enterprise Data Warehouses and the first Hadoop squeeze, Rob Klopp predicted a squeeze of t
Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると
Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン「Presto」を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向のMapReduceではなく、リアルタイム性に優れた処理が必要になったためだと、次のように説明しています。 Facebook’s warehouse data is stored in a few large Hadoop/HDFS-based clusters. Hadoop MapReduce [2] and Hive are designed for large-scale, reliabl
Big Data Benchmark
Click Here for the previous version of the benchmark Introduction Several analytic frameworks have been announced in the last year. Among them are inexpensive data-warehousing solutions based on traditional Massively Parallel Processor (MPP) architectures (Redshift), systems which impose MPP-like execution engines on top of Hadoop (Impala, HAWQ), and systems which optimize MapReduce to improve per
SQLでHadoopを使う、「Impala 1.0」登場
ClouderaはSQLでインタラクティブにビッグデータの操作を可能にする新しいプロダクト「Cloudera Impala 1.0」を公開した。Hadoop関連技術をSQL経由で操作するためのプロダクトは現在いくつかのものが開発段階にあるが、プロダクションレディーの品質でメジャーリリースが実施されたのは「Cloudera Impala 1.0」が初となる。 大規模データの処理、いわゆるBig Dataの処理に関してはHadoop関連技術が注目されており、いくつかの企業がHadoop関連技術をベースにプロダクトを開発している。Clouderaはそうした企業の中でも代表的な企業のひとつ。ほかのプロジェクトに先駆けて「Cloudera Impala 1.0」を発表することで、同開発分野において主導権を取りたい狙いがあるものとみられる。 Cloudera Imparaを使うと、Hadoop関連技術
Hadoop用クエリエンジン「Impala」がついに一般公開に
「Hiveの10倍速い」クエリエンジンが一般公開に。最新の列指向データフォーマットなどにも対応している。 Apache Hadoopディストリビューションプロバイダである米Clouderaは、2013年5月1日、HDFS（Hadoop Distributed File System）、HBase向けのデータクエリエンジンである「Cloudela Impala 1.0」の一般公開版をリリースした（ダウンロードサイト）。Impala 1.0の公開と併せて、Impalaの自動管理や技術サポートを提供する「Cloudera Enterprise Real-Time Query（RTQ）」も間もなくリリースするとしている。 Cloudera Impalaは、DremelおよびF1に触発されて開発されたとされるデータクエリエンジン。一般的なデータ形式のほとんどをカバーするほか、列指向のデータフォーマッ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Presto: Free, Open-Source SQL Query Engine for any Data