Glueでcsvファイルをparquet形式に変換してみた - Qiita
AWS DASの勉強で初めてGlueを触ったのでメモ Parquet形式とは AWSドキュメントより Apache Parquet や ORC は、データを高速に取得できるように最適化された、AWS 分析アプリケーションで使用されている、列指向ストレージ形式です。 列指向ストレージ形式には以下の特性があるため、Athena での使用に適しています。 列のデータ型に合わせて選択された圧縮アルゴリズムによる列ごとの圧縮で、Amazon S3 のストレージ領域を節約し、ディスク容量とクエリの処理中における I/O を削減します。 Parquet および ORC での述語プッシュダウンにより、Athena クエリが必要なブロックのみを取得できるようになり、クエリパフォーマンスが向上します。Athena クエリがデータから特定の列値を取得すると、データブロック述語からの統計 (最大値や最小値など)
Apache ORC • High-Performance Columnar Storage for Hadoop
ORC is an Apache project. Apache is a non-profit organization helping open-source software projects released under the Apache license and managed with open governance and privacy policy. See upcoming Apache Events. If you discover any security vulnerabilities, please report them privately. Finally, thanks to the sponsors who donate to the Apache Foundation.
列指向ストレージ形式 - Amazon Athena
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 列指向ストレージ形式 Apache Parquet や ORC は、データを高速に取得できるように最適化された、AWS 分析アプリケーションで使用されている、列指向ストレージ形式です。 列指向ストレージ形式には以下の特性があるため、Athena での使用に適しています。 列のデータ型に合わせて選択された圧縮アルゴリズムによる列ごとの圧縮で、Amazon S3 のストレージ領域を節約し、ディスク容量とクエリの処理中における I/O を削減します。 Parquet および ORC での述語プッシュダウンにより、Athena クエリが必要なブロックのみを取得できるようになり、クエリパフォーマンスが向上します。Athena クエリがデータから特定の列値を取得すると、データブ
ORC について最初に知っておきたかったこと - Qiita
数テラバイト越えあたり or パーティション数大量になったあたりで、ORC ファイルについて詳しくなったけど最初から知っておきたかった事。 がまとまったので書いておくけど、もう一桁増えると更に知っておきたかった事が増える気がする。随時更新。 BigData を扱うデータフォーマット ORC とは Hive / Spark / Presto 等と言った（以下 Hive 等）のビッグデータ基盤で使えるカラムナデータフォーマットだ。 MySQL では、実際のデータファイルは .idb ファイル等の形式で保存されるが、Hive 等ではフォーマットを複数選ぶことができ、ORC はデファクトスタンダートだ。次点に Perquet1 等がある。 HDFS に収納されて Hive 等 Query 対象となることが多い。 Reference Primary 公式サイト - https://orc.apach
HBase とは何か? - Apache Hbase の説明 - AWS
Apache HBase は、オープンソースの NoSQL 分散型ビッグデータストアです。ペタバイト規模のデータへの厳密に一貫したランダムなリアルタイムアクセスが可能です。HBase は、大規模なスパースデータセットの処理に非常に効果的です。 HBase は Apache Hadoop および Hadoop エコシステムとシームレスに統合され、Amazon Elastic MapReduce (EMR) ファイルシステム (EMRFS) を使用して Hadoop 分散ファイルシステム (HDFS) または Amazon S3 上で動作します。HBase は Apache MapReduce framework for Hadoop への直接の入出力として機能し、Apache Phoenix と連携して HBase テーブルに対する SQL のようなクエリを可能にします。 HBase は列指
カラム型データベースはなぜ集計処理が高速で、トランザクションが苦手なのか。インメモリとカラム型データベースの可能性を調べる（その4）
カラム型データベースはなぜ集計処理が高速で、トランザクションが苦手なのか。インメモリとカラム型データベースの可能性を調べる（その4） 現在主流となっているOracle、SQL Server、DB2などのリレーショナルデータベースは事実上すべて、行（ロー）指向で内部の処理を行っています。一方で、最近急速に注目されているのが、列指向で内部処理を行い、大量データの集計や分析処理に優れた「カラム型データベース」（あるいはカラム指向データベース、カラムナーデータベース）です。 カラム型データベースはSybase IQやNetezza、Verticaなどデータウェアハウス専用のデータベースで主に採用されています。また、SQL Serverには「ColumnStore Index」、Oracle Exadataには「Hybrid Columnar Compression」と呼ばれるカラム型データベースの
データベース事始め - Qiita
TensorFlowのような機械学習にはデータベースは必要不可欠です。ただ、このデータベースについての知識がゼロでしたので、まずはRDBMSからNewSQLまでの初心者向けの知識を簡単にまとめてみました。データベースに関わっている人からすれば当たり前の内容です RDBMS RDBMS(リレーショナルデータベース管理システム)は、下記のMySQLなどに代表されるRDB管理のための専用ソフトウェアです。RDBは、データを「行」と「列」からなる２次元の表（テーブル）形式で表し、複数の表と表の間でデータ同士を関連付け（リレーションシップ）を行うことができます。 MySQL PostgreSQL MariaDB Oracle Databasr SQL Server DB2 また、汎用的かつ高機能なSQLと呼ばれる言語が使用でき、ACIDなトランザクションが行えることが特徴です。ACIDとは、次の４つ
Apache Parquet - Wikipedia
Apache Parquet is a free and open-source column-oriented data storage format in the Apache Hadoop ecosystem. It is similar to RCFile and ORC, the other columnar-storage file formats in Hadoop, and is compatible with most of the data processing frameworks around Hadoop. It provides efficient data compression and encoding schemes with enhanced performance to handle complex data in bulk. History[edit
ARROW-3404: [C++] Make CSV chunker faster by pitrou · Pull Request #2684 · apache/arrow
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community. Pick a username Email Address Password Sign up for GitHub By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails. Already on GitHub? Sign in to your account
![ARROW-3404: [C++] Make CSV chunker faster by pitrou · Pull Request #2684 · apache/arrow](https://cdn-ak-scissors.b.st-hatena.com/image/square/836f25008eac0b0809856b1cbf823667f2ec6fd3/height=288;version=1;width=512/https%3A%2F%2Fopengraph.githubassets.com%2Ff11ed910d7971c87cede950d7eaecd6a755320aa68260e784ef7699b2bf5c618%2Fapache%2Farrow%2Fpull%2F2684)
Arrow: Physical memory layout
Arrow: Physical memory layout Definitions / Terminology Since different projects have used different words to describe various concepts, here is a small glossary to help disambiguate. Array: a sequence of values with known length all having the same type. Slot or array slot: a single logical value in an array of some particular data type Contiguous memory region: a sequential virtual address space
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache ORC - Wikipedia
[db tech showcase Tokyo 2015] B12:カラムストアデータベースの技術と活用法 by 日本電気株式会社 田村稔
はじめてのAmazon Redshift
[db tech showcase Tokyo 2015] A32:Amazon Redshift Deep Dive by アマゾン データ サービス ジャパン株式会社 八木橋徹平![[db tech showcase Tokyo 2015] A32:Amazon Redshift Deep Dive by アマゾン データ サービス ジャパン株式会社 八木橋徹平](https://cdn-ak-scissors.b.st-hatena.com/image/square/6ded6d00ccaa81e098cb5bc33ef992d566235544/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdbts-tokyo-2015a32amazon-redshiftamazondataservicejapan-150623010123-lva1-app6892-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
AWS Black Belt Tech シリーズ 2015 - Amazon Redshift
GitHub - red-data-tools/red-arrow-pycall: A library that provides conversion method between Apache Arrow and PyCall
arrow/csharp at master · apache/arrow · GitHub
Christian Lopez Unleashes Infectious “Don’t Wanna Say Goodnight” Music Video
Google News
Google News