Hadoop Hive - ORC Files
ORC File Format File Structure Stripe Structure HiveQLSyntax Serialization and Compression Integer Column Serialization String Column Serialization Compression ORC File Format The Optimized Row Columnar (ORC) file format provides a highly efficient way to store Hive data. It was designed to overcome limitations of the other Hive file formats. Using ORC files improves performance when Hive is readi
LucidDB, na, Global Business - business info, customer/client reviews, phone, email, website
Business Category Global Business:Telecommunications:Programming What we do at LucidDB LucidDB is a database, built for data warehousing, OLAP, and business intelligence. It is a "columnar Business Intelligence database". It handles ETL functionality using extensions to ANSI SQL, by using 'wrappers' around a range of data sources (databases, text files, Web services, etc.), allowing them to be que
RCFile，Parquet，ORCFile
この2ヶ月で，Cloudera/Twitter，Hortonworks からそれぞれ別の列指向ファイルフォーマットが公開されました．Parquet と ORCFile です． この記事では，まず RCFile の復習をして，その後 Parquet と ORCFile それぞれの共通点と違いをおおまかに見ていこうと思います．コードレベルの詳細な違いについては，次回以降で見ていきます． RCFile の復習 RCFile は Record Columnar File の略で，Hive から利用できるストレージフォーマットです．特に，HDFS や S3 といった分散ストレージ上でパフォーマンスがでるように設計されています． HDFS/S3 といったストレージでは，基本的にデータを計算機間で同じ負荷になるようにデータを分散配置します．このため，従来の列指向ストレージフォーマットのように適当に列毎に
[ThinkIT] 第3回：インデックスが9種類もある理由とは？ (1/3)
前回、Sybase IQの最も大きな特徴は、テーブルデータの保持方式とそこに対するアクセス方法である垂直パーティションと呼ばれるデータ構造であると解説しました。また、生データをSybase IQデータベースに格納する3つのプロセスを紹介し、最初のプロセスである「カラムパーティション」について解説しました。 今回は、「ビットワンズインデックス」と「データ圧縮」のプロセスについて深く掘り下げ、解説していきます。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
English
