圧縮効率のよいカラムナフォーマット 〜 Yosegi や ORC のエンコード方式調査
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 初めまして、2019年8月にヤフーのデータプラットフォームチームのインターンシップに参加した山添です。今回はインターンで検証を行ったカラムナフォーマットにおけるエンコーディング方式について紹介します。本ブログでは、特に数値型のエンコーディング方式について、データ圧縮率への効用を確認します。 カラムナフォーマットとは 昨今のデータ社会では、ログデータや購買データ、位置情報データなどさまざまなデータがものすごいスピードで生み出されています。企業ではそのような大規模なデータを蓄えておく必要があります。 私たち学生の間で最も親しみのあるファイルフォーマットは、JSON や CSV などのテキストフォーマットだと思います。これらのフォーマッ
カラムナフォーマットのきほん 〜データウェアハウスを支える技術〜 - Retty Tech Blog
こんにちは、Retty.Inc ソフトウェアエンジニア兼データサイエンティストのchie（@chie8842）です。 好きなたべものは焼肉とみかんです。 現在Rettyでは、次世代分析基盤を構築しています。Rettyでは、サービス拡大に伴いログの急増や分析需要の拡大が見込まれるため、高いスループットとコストパフォーマンスを両立する、スケールするアーキテクチャ設計が求められています。 今回は、こうしたスケールするアーキテクチャ設計の実現のために理解しておくべきDWHのコア技術の一つである、カラムナフォーマットに焦点を当てて紹介します。 はじめに - カラムナフォーマットとは カラムナフォーマットとは、データベースの分析用途に利用されるファイルフォーマットの種類の一つです。大量のデータを扱う際に効率的に圧縮してストレージコストを下げたり、計算時に必要なデータだけを取り出して計算コストを小さくで
論文紹介: In-Memory OLAP データベースシステムにおいて、現代のストレージハードウェア上にあるメモリよりも大きなサイズのデータをどのように管理するのか - 備考欄に感想を書くタイプのエンジニア
※これは システム系論文紹介 Advent Calendar 2016: ADVENTAR 1 日目の記事です。 昨今話題に事欠かない In-Memory DBMS ですが、暇に任せて Hekaton 関連で何か（←忘れました）を調べていたときに出くわした論文がこちらです。タイトルは Larger-than-Memory Data Management on Modern Storage Hardware for In-Memory OLTP Database Systems 一応和訳しておくと In-Memory OLAP データベースシステムにおいて、現代のストレージハードウェア上にあるメモリよりも大きなサイズのデータをどのように管理するのか、という感じでしょうか。 先に結論を言うと後述する通り、今日では HDD だけではない、さまざまなストレージ技術を利用したストレージデバイスが利用
EventQL - The database for large-scale event analytics
What is an Online Community Software and How Does It Work - EventQL EventQL is a distributed, column-oriented database built for large-scale event collection and analytics. It runs super-fast SQL and MapReduce queries. The community software … the ideal channel for companies and organizations looking for additional interactions with their community? The first AC Repair appeared in the Best AC Repa
In-Memory Columnar Store (IMCS)
Introduction Columnar store or vertical representation of data allows to achieve better performance in comparison with classical horizontal representation due to three factors: Reducing size of fetched data: only columns involved in query are accessed. Vector operations. Applying an operator to set of values (tile) makes it possible to minimize interpretation cost. Also SIMD instructions of modern
On columnar storage
We hope to have a chance to discuss this during the upcoming developer unconference in Ottawa. Here are some preliminary ideas to shed some light on what we're trying to do. I've been trying to figure out a plan to enable native column stores (CS or "colstore") for Postgres. Motivations: * avoid the 32 TB limit for tables * avoid the 1600 column limit for tables * increased performance There alrea
The Top Column-Oriented Databases (Updated 2023)
Updated Jan 20, 2023 This is a list of the top commercial, financial and open source column-oriented / tick databases available. Businesses are realizing a one size fits all isn't working for databases. With the increasing acceptance and widespread adoption of alternative data storage systems such as NOSQL, column-oriented databases now receive more attention and a number of major vendors have sta
PostgreSQLにおけるPAXページレイアウトの実装 - Nao's blog
この記事は PostgreSQL Advent Calendar 2014 の12月24日担当分です。 筑波大学情報科学類の情報特別演習（担当：川島先生、対象は2年生 or 3年生）で「PostgreSQLにPAXを実装」というテーマがありましたのでやってみました。中途半端で拙い内容ですが、そのご報告を致します。コメントやアドバイスを頂けたら嬉しいです。 ページレイアウト RDBMSのデータはテーブルとしてモデル化されています。テーブルには縦と横があるので二次元とみなすことができます。一方、ストレージ中のアドレス空間は一次元です。そのため、ストレージにデータを格納するには、テーブルを縦に切るか、あるいは横に切るかする必要があります。横に切るページレイアウトはNSM (N-ary Storage Model）と呼ばれ、縦に切るページレイアウトはDSM（Decomposition Storag
PostgreSQL Columnar Store for Analytic Workloads
We are excited to open source our columnar store extension for PostgreSQL, cstore_fdw and share it with the community! Columnar stores bring notable benefits for analytic workloads, where data is loaded in batches. This columnar store extension uses the Optimized Row Columnar (ORC) format for its data layout. ORC improves upon the RCFile format developed at Facebook, and brings the following benef
MonetDB: Reaching the stars step by step
MonetDB: Reaching the stars step by step Martin Kersten Milena Ivanova Arjen de Rijke http://www.monetdb.org/ 2010 NGSS Sky Survey Data Management Workshop, Edinburgh “We can't solve problems by using the same kind of thinking we used when we created them.” The world of column stores Functionality and performance of MonetDB Roadmap for a Science Database System The landscape The world of column s
Treasure Data’s Plazma: Columnar Cloud Storage | Treasure Data Blog
Treasure Data’s Plazma: Columnar Cloud Storage Tweet Treasure Data has been developed by Hadoop experts. We get Hadoop, and, in many ways, it’s part of our core. As we have built out the platform, we noticed that the storage layer needs to be multi-tenant, elastic, and easy to manage while keeping the scalability and efficiency. This led us to create Plazma, our own distributed columnar storage sy
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The Real-Time GPU Accelerated Database
Kinetica - The fastest, distributed, in-memory database accelerated by GPUs for analyzing large and stream data
日立、FPGAの内部メモリを活用した並列処理によりデータ分析速度を最大100倍に高速化する処理技術を開発
列ストアインデックスの説明 - SQL Server 2014 | Microsoft Docs
The Latest on Enterprise IT, SMB IT & More | TechChannel | TechChannel
https://jp.techcrunch.com/2014/04/04/20140403citusdb-releases-an-open-source-postgresql-tool-that-promises-better-database-performance/
The Desgin and Implementation of Modern Column-Oriented Database Systems
列指向データベース向けライブラリ Google Supersonic
Google Code Archive - Long-term storage for Google Code Project Hosting.