日本HP、ビッグデータの活用を加速するSQLデータベース「HP Vertica」の新バージョンを発表
今回の発表は、HPのビッグデータ戦略の差別化を加速するもので、IoTデバイスデータなど新しいデータ形式を含めた、あらゆる種類のデータを駆使することを可能にし、重要な新しいオープンソースプロジェクトを活用して、開発者やさまざまな規模の企業がデータ経営指向の組織に変革するために必要不可欠なツールを提供するという。 「Excavator」というコード名を持つSQLデータベース「HP Vertica」新バージョンの機能は次のとおり。 ・データストリーミング分析：「Excavator」は、「Apache Kafka」オープンソース分散型メッセージングシステムのネーティブサポートを提供して、組織がIoTなどの高速ストリーミングデータを素早く、ほぼリアルタイムで取り込んで分析可能。この機能は、製造プロセス制御、サプライチェーン最適化、ヘルスケアモニタリング、金融リスク管理、不正検出など、幅広い使用事例に
Cloudera Blog
The ongoing progress in Artificial Intelligence is constantly expanding the realms of possibility, revolutionizing industries and societies on a global scale. The release of LLMs surged by 136% in 2023 compared to 2022, and this upward trend is projected to continue in 2024. Today, 44% of organizations are experimenting with generative AI, with 10% having […] Read blog post
PostgreSQL Columnar Store for Analytic Workloads
We are excited to open source our columnar store extension for PostgreSQL, cstore_fdw and share it with the community! Columnar stores bring notable benefits for analytic workloads, where data is loaded in batches. This columnar store extension uses the Optimized Row Columnar (ORC) format for its data layout. ORC improves upon the RCFile format developed at Facebook, and brings the following benef
PostgreSQL9.3をカラム指向ストレージ(cstore_fdw)に対応させる
分析向けデータベースを展開している CitusDB が PostgreSQL を列指向ストレージ対応させる foreign data wrapper(cstore_fdw) をオープンソース化したので、とりあえずインストールしてみた。 cstore_fdw の特徴 github の cstore_fdw に特徴がまとめられている。 http://citusdata.github.io/cstore_fdw/ 箇条書きすると Faster Analytics – Reduce analytics query disk and memory use by 10x Lower Storage – Compress data by 3x Easy Setup – Deploy as standard PostgreSQL extension Flexibility – Mix row- and c
Scaling the Facebook data warehouse to 300 PB
At Facebook, we have unique storage scalability challenges when it comes to our data warehouse. Our warehouse stores upwards of 300 PB of Hive data, with an incoming daily rate of about 600 TB. In the last year, the warehouse has seen a 3x growth in the amount of data stored. Given this growth trajectory, storage efficiency is and will continue to be a focus for our warehouse infrastructure. There
Impala Performance Update: Now Reaching DBMS-Class Speed - Cloudera Blog
Impala’s speed now beats the fastest SQL-on-Hadoop alternatives. Test for yourself! Since the initial beta release of Cloudera Impala more than one year ago (October 2012), we’ve been committed to regularly updating you about its evolution into the standard for running interactive SQL queries across data in Apache Hadoop and Hadoop-based enterprise data hubs. To briefly recap where we are today: I
Hadoop Hive - ORC Files
ORC File Format File Structure Stripe Structure HiveQLSyntax Serialization and Compression Integer Column Serialization String Column Serialization Compression ORC File Format The Optimized Row Columnar (ORC) file format provides a highly efficient way to store Hive data. It was designed to overcome limitations of the other Hive file formats. Using ORC files improves performance when Hive is readi
ORCFile in HDP 2: Better Compression, Better Performance - Cloudera Blog
ORCFile in HDP 2: Better Compression, Better Performance The upcoming Hive 0.12 is set to bring some great new advancements in the storage layer in the forms of higher compression and better query performance. Higher Compression ORCFile was introduced in Hive 0.11 and offered excellent compression, delivered through a number of techniques including run-length encoding, dictionary encoding for stri
RCFile，Parquet，ORCFile
この2ヶ月で，Cloudera/Twitter，Hortonworks からそれぞれ別の列指向ファイルフォーマットが公開されました．Parquet と ORCFile です． この記事では，まず RCFile の復習をして，その後 Parquet と ORCFile それぞれの共通点と違いをおおまかに見ていこうと思います．コードレベルの詳細な違いについては，次回以降で見ていきます． RCFile の復習 RCFile は Record Columnar File の略で，Hive から利用できるストレージフォーマットです．特に，HDFS や S3 といった分散ストレージ上でパフォーマンスがでるように設計されています． HDFS/S3 といったストレージでは，基本的にデータを計算機間で同じ負荷になるようにデータを分散配置します．このため，従来の列指向ストレージフォーマットのように適当に列毎に
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ORC File and Vectorization - Hadoop Summit 2013
ORC File Introduction