Parquet Toolsをインストール - suzuki-navi’s blog
Parquet Toolsを使おうとするたびにコンパイルエラーに悩んでいる気がします。 現時点(2020/10/25)でコンパイル成功したパターンを書いておきます。 前提 ダウンロードとビルド 使ってみる catコマンド headコマンド schemaコマンド metaコマンド dumpコマンド mergeコマンド rowcountコマンド sizeコマンド 前提 Java 11 インストール済み Maven インストール済み $ java -version openjdk version "11.0.2" 2019-01-15 OpenJDK Runtime Environment 18.9 (build 11.0.2+9) OpenJDK 64-Bit Server VM 18.9 (build 11.0.2+9, mixed mode) $ mvn -version Apache M
Apache BeamでJavaのObjectをParquet形式でS3とGCSとローカルに出力する - YOMON8.NET
GCPのCloud Dataflowでも使われている、Apache BeamでJavaの内部で持っているデータをParquetに出力するやり方です。 サンプルコードの構成 元にしたMaven ArcheType 利用するPOJO GenericRecordへの変換 出力先の切り替え ローカルに出力してみる GCSに出力してみる AWS S3に出力してみる サンプルコードの構成 以下のリポジトリに今回書いているコードを置いておきました。 github.com こちらで補足書いておきます。 元にしたMaven ArcheType こちらのMaven ArcheType元に作成しています。バージョンは現在の最新の2.22.0を利用しています。 mvnrepository.com 利用するPOJO 以下の構造のデータをParquetに変換してみます。 static class PC { Strin
GCS の Parquet データを BigQuery から参照してみた ～ Parquet データのロードと外部テーブルによる参照～ | DevelopersIO
GCS の Parquet データを BigQuery から参照してみた ～ Parquet データのロードと外部テーブルによる参照～ こんにちは、みかみです。 やりたいこと GCS に配置した Parquet データを BigQuery で参照したい BigQuery に Parquet データをロードしたい BigQuery に Parquet データをロードする場合、意図通りのデータ型を自動検出してテーブル作成してくれるかどうか確認したい BigQuery に Parquet データをロードする場合の制限事項を知りたい パーティショニングされた Parquet データを BigQuery から参照するにはどうすればいいのか知りたい Parquet データを準備 以下のサイトで動作確認用の CSV データを作成しました。 TM - WebTools できたサンプルデータはこんな感じです
AthenaのCTAS (CREATE TABLE AS SELECT) でETLをするTips - Qiita
はじめに この記事はAWS Advent Calendar 2018の3日目の記事です。 今年の10月にAthenaがCTAS(CREATE TABLE AS SELECT)をサポートしました。 CTASサポート以前のAthenaではクエリの結果を無圧縮のCSVでしか残せなかったのですが、CTASを使うと結果を列指向やJSONなどのフォーマットにしたうえ圧縮をかけて残せるようになりました。 これによりAthenaを使ったデータ加工の芽が出たのでいくつかのデータ加工バッチをAthenaでできるか検討しました。 この記事ではAthenaのCTASを使ったバッチを作る際のTipsについて紹介します。 前提 AthenaでETLしたい理由 AthenaはETL無しでS3のデータに直接分析をかけれるよ、というコンセプトを謳っており、現状ETLをするために設計されたサービスな訳ではないように感じていま
Amazon Athena が待望のCTAS（CREATE TABLE AS）をサポートしました！ ｜ DevelopersIO
待望のアップデート、Amazon Athena がCTAS（CREATE TABLE AS）をサポートしました！これまでは、SELECTクエリ（いわゆる参照系クエリ）のみでしたが、CTASによる書き込みクエリがサポートされました。 はじめに 待望のアップデート、Amazon Athena がCTAS（CREATE TABLE AS）をサポートしました！これまでは、SELECTクエリ（いわゆる参照系クエリ）のみでしたが、CTASによる書き込みクエリがサポートされました。更新系クエリのご要望は多く、かなり大きなアップデートなのでご紹介したいと思います。 Amazon Athena adds support for Creating Tables using the results of a Select query (CTAS) 過去には、こんなブログも書きましたが、今後はこんなことは不要です
Amazon Athena: カラムナフォーマット『Parquet』でクエリを試してみた #reinvent | DevelopersIO
先日『AWS re:Invent 2016』にて発表された新サービス『Amazon Athena』は、マニュアルにもある通りAWSが提供するフルマネージドHiveサービスと言えるでしょう。DWH用途で考えるとレコードをフルスキャンするよりも特定のカラムを集計・フィルタするというユースケースが多くなりそうですので、カラムナフォーマット『Parquet』を試したみたいと思いました。Parquetファイルの変換や、一般的なCSVとの簡単な比較をしてみました。（意外な結果が...） カラムナフォーマット『Parquet』とは データ分析では大福帳フォーマットのテーブルデータに対して、特定の列の値を集計したり、フィルタリングすることが多いため、カラム毎にデータが連続して格納されていると必要なデータのみをピンポイントで読み込むことができるからです。また、列方向には同じ種類のデータが並んでいるため、圧縮
Embulk on DockerでCloudFrontログをParquet形式に変換する | DevelopersIO
ども、大瀧です。 CloudFrontのログをAthenaで効率良く見たいと思い、Parquet形式に変換する手段としてOSSのバルクローダ EmbulkをEC2上のDockerで実行してみました。その様子をレポートします。 Apache Drillで変換する様子は石川のエントリーを参照ください。 Amazon Athena: カラムナフォーマット『Parquet』でクエリを試してみた #reinvent ｜ Developers.IO Dockerイメージの設計、作成 Dockerイメージの作成はそれぞれのDockerfileをGitHubリポジトリにアップロードし、Docker Hub Automated Buildを利用しました。 作成されたDockerイメージは公開されているので、試したい方は記事後半の動作確認の手順に従い、イメージをダウンロードしてご利用ください。 Embulk実
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Can Google Dataflow generate Parquet files
parquet-format/LogicalTypes.md at cb4727767823ae201fd567f67825cc22834c20e9 · xhochy/parquet-format