Glueでcsvファイルをparquet形式に変換してみた - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AWS DASの勉強で初めてGlueを触ったのでメモ Parquet形式とは AWSドキュメントより Apache Parquet や ORC は、データを高速に取得できるように最適化された、AWS 分析アプリケーションで使用されている、列指向ストレージ形式です。 列指向ストレージ形式には以下の特性があるため、Athena での使用に適しています。 列のデータ型に合わせて選択された圧縮アルゴリズムによる列ごとの圧縮で、Amazon S3 のストレージ領域を節約し、ディスク容量とクエリの処理中における I/O を削減します。 Parque
Apache ORC • High-Performance Columnar Storage for Hadoop
ORC is an Apache project. Apache is a non-profit organization helping open-source software projects released under the Apache license and managed with open governance and privacy policy. See upcoming Apache Events. If you discover any security vulnerabilities, please report them privately. Finally, thanks to the sponsors who donate to the Apache Foundation.
列指向ストレージ形式を使用する - Amazon Athena
Apache Parquet や ORC は、データを高速に取得できるように最適化された、AWS 分析アプリケーションで使用されている、列指向ストレージ形式です。 列指向ストレージ形式には以下の特性があるため、Athena での使用に適しています。 列のデータ型に合わせて選択された圧縮アルゴリズムによる列ごとの圧縮で、Amazon S3 のストレージ領域を節約し、ディスク容量とクエリの処理中における I/O を削減します。 Parquet および ORC での述語プッシュダウンにより、Athena クエリが必要なブロックのみを取得できるようになり、クエリパフォーマンスが向上します。Athena クエリがデータから特定の列値を取得すると、データブロック述語からの統計 (最大値や最小値など) を使用して、そのブロックを読み取るかスキップするかを判断します。 Parquet および ORC での
ORC について最初に知っておきたかったこと - Qiita
数テラバイト越えあたり or パーティション数大量になったあたりで、ORC ファイルについて詳しくなったけど最初から知っておきたかった事。 がまとまったので書いておくけど、もう一桁増えると更に知っておきたかった事が増える気がする。随時更新。 BigData を扱うデータフォーマット ORC とは Hive / Spark / Presto 等と言った（以下 Hive 等）のビッグデータ基盤で使えるカラムナデータフォーマットだ。 MySQL では、実際のデータファイルは .idb ファイル等の形式で保存されるが、Hive 等ではフォーマットを複数選ぶことができ、ORC はデファクトスタンダートだ。次点に Perquet1 等がある。 HDFS に収納されて Hive 等 Query 対象となることが多い。 Reference Primary 公式サイト - https://orc.apach
HBase とは何か? - Apache Hbase の説明 - AWS
Apache HBase は、オープンソースの NoSQL 分散型ビッグデータストアです。ペタバイト規模のデータへの厳密に一貫したランダムなリアルタイムアクセスが可能です。HBase は、大規模なスパースデータセットの処理に非常に効果的です。 HBase は Apache Hadoop および Hadoop エコシステムとシームレスに統合され、Amazon Elastic MapReduce (EMR) ファイルシステム (EMRFS) を使用して Hadoop 分散ファイルシステム (HDFS) または Amazon S3 上で動作します。HBase は Apache MapReduce framework for Hadoop への直接の入出力として機能し、Apache Phoenix と連携して HBase テーブルに対する SQL のようなクエリを可能にします。 HBase は列指
カラム型データベースはなぜ集計処理が高速で、トランザクションが苦手なのか。インメモリとカラム型データベースの可能性を調べる（その4）
カラム型データベースはなぜ集計処理が高速で、トランザクションが苦手なのか。インメモリとカラム型データベースの可能性を調べる（その4） 現在主流となっているOracle、SQL Server、DB2などのリレーショナルデータベースは事実上すべて、行（ロー）指向で内部の処理を行っています。一方で、最近急速に注目されているのが、列指向で内部処理を行い、大量データの集計や分析処理に優れた「カラム型データベース」（あるいはカラム指向データベース、カラムナーデータベース）です。 カラム型データベースはSybase IQやNetezza、Verticaなどデータウェアハウス専用のデータベースで主に採用されています。また、SQL Serverには「ColumnStore Index」、Oracle Exadataには「Hybrid Columnar Compression」と呼ばれるカラム型データベースの
データベース事始め - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? TensorFlowのような機械学習にはデータベースは必要不可欠です。ただ、このデータベースについての知識がゼロでしたので、まずはRDBMSからNewSQLまでの初心者向けの知識を簡単にまとめてみました。データベースに関わっている人からすれば当たり前の内容です RDBMS RDBMS(リレーショナルデータベース管理システム)は、下記のMySQLなどに代表されるRDB管理のための専用ソフトウェアです。RDBは、データを「行」と「列」からなる２次元の表（テーブル）形式で表し、複数の表と表の間でデータ同士を関連付け（リレーションシップ）を行う
AWS Black Belt Tech シリーズ 2015 - Amazon Redshift
This document provides an overview and agenda for an AWS webinar on AWS Glue. It introduces AWS Glue as a fully managed and serverless ETL service that can manage metadata for various data sources. The webinar will cover the background of AWS Glue, its key features including being serverless and enabling secure development in notebooks, use cases, pricing, and a conclusion. It also provides detail
Apache Parquet - Wikipedia
Apache Parquet is a free and open-source column-oriented data storage format in the Apache Hadoop ecosystem. It is similar to RCFile and ORC, the other columnar-storage file formats in Hadoop, and is compatible with most of the data processing frameworks around Hadoop. It provides efficient data compression and encoding schemes with enhanced performance to handle complex data in bulk. The open-sou
arrow/csharp at master · apache/arrow · GitHub
Cannot read Arrow files containing tensors. Cannot easily modify allocation strategy without implementing a custom memory pool. All allocations are currently 64-byte aligned and padded to 8-bytes. Default memory allocation strategy uses an over-allocation strategy with pointer fixing, which results in significant memory overhead for small buffers. A buffer that requires a single byte for storage m
Arrow: Physical memory layout
Arrow: Physical memory layout Definitions / Terminology Since different projects have used different words to describe various concepts, here is a small glossary to help disambiguate. Array: a sequence of values with known length all having the same type. Slot or array slot: a single logical value in an array of some particular data type Contiguous memory region: a sequential virtual address space
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache ORC - Wikipedia
[db tech showcase Tokyo 2015] B12:カラムストアデータベースの技術と活用法 by 日本電気株式会社 田村稔
はじめてのAmazon Redshift
[db tech showcase Tokyo 2015] A32:Amazon Redshift Deep Dive by アマゾン データ サービス ジャパン株式会社 八木橋徹平![[db tech showcase Tokyo 2015] A32:Amazon Redshift Deep Dive by アマゾン データ サービス ジャパン株式会社 八木橋徹平](https://cdn-ak-scissors.b.st-hatena.com/image/square/6ded6d00ccaa81e098cb5bc33ef992d566235544/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdbts-tokyo-2015a32amazon-redshiftamazondataservicejapan-150623010123-lva1-app6892-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
ARROW-3404: [C++] Make CSV chunker faster by pitrou · Pull Request #2684 · apache/arrow![ARROW-3404: [C++] Make CSV chunker faster by pitrou · Pull Request #2684 · apache/arrow](https://cdn-ak-scissors.b.st-hatena.com/image/square/836f25008eac0b0809856b1cbf823667f2ec6fd3/height=288;version=1;width=512/https%3A%2F%2Fopengraph.githubassets.com%2Ff11ed910d7971c87cede950d7eaecd6a755320aa68260e784ef7699b2bf5c618%2Fapache%2Farrow%2Fpull%2F2684)
GitHub - red-data-tools/red-arrow-pycall: A library that provides conversion method between Apache Arrow and PyCall
Christian Lopez Unleashes Infectious “Don’t Wanna Say Goodnight” Music Video
Google News
Google News