カラムナフォーマットのきほん 〜データウェアハウスを支える技術〜 - Retty Tech Blog

こんにちは、Retty.Inc ソフトウェアエンジニア兼データサイエンティストのchie（@chie8842）です。 好きなたべものは焼肉とみかんです。 現在Rettyでは、次世代分析基盤を構築しています。Rettyでは、サービス拡大に伴いログの急増や分析需要の拡大が見込まれるため、高いスループットとコストパフォーマンスを両立する、スケールするアーキテクチャ設計が求められています。 今回は、こうしたスケールするアーキテクチャ設計の実現のために理解しておくべきDWHのコア技術の一つである、カラムナフォーマットに焦点を当てて紹介します。 はじめに - カラムナフォーマットとは カラムナフォーマットとは、データベースの分析用途に利用されるファイルフォーマットの種類の一つです。大量のデータを扱う際に効率的に圧縮してストレージコストを下げたり、計算時に必要なデータだけを取り出して計算コストを小さくで

[syuu256]

Parquet

[asa_ca3]

parquet, avro

[sakaiwa]

“保存”

[wyukawa]

Delta Encodingってprometheus storageでも使われていたような

[ko-ya-ma]

列指向なお話。基本的な仕組みの説明

[yarumato]

“ParquetやORCでは、分散処理を行うことを前提として、Encoding/Compressionの単位、IOの単位、MapReduceの単位で処理しやすいようにデータが分割配置が工夫されています。 以下の図はParquetのファイルフォーマットの説明図”

[keijak]

Dremel paper が出たのが 2010 年なので、Parquet にはそこからの改良がたくさん入ってると思っているのだけど、差分がどこかに分かりやすくまとまってたら知りたい。

[stibbar]

https://docs.oracle.com/cd/E35584_01/html/GettingStartedGuide/avroschemas.html

[satom9to5]

[カラムナフォーマット][DWH]

[nishidy]

列指向フォーマットのParque, ORC

[tmatsuu]

良い

[efcl]

行指向フォーマットと列指向フォーマットについて

[a_bicky]

ガチな内容だった

[tkmoteki]

簡単に書いてあって分かりやすい。 エコシステムによって、読めないフォーマットもあるので注意だなぁ。 カラムナフォーマットのきほん 〜データウェアハウスを支える技術〜 via @nuzzel

[civitaspo]

カラムナフォーマットのきほん 〜データウェアハウスを支える技術〜 - rettydev’s blog

[shinyorke]

ガチのデータベースネタktkr