【つないでみた】Amazon Redshiftにエクスペリメンタルビルドを使ってつないでみた｜データ連携ツール「ASTERIA Warp」｜EAI/ESB国内シェアNo.1 | アステリア株式会社
前回、エクスペリメンタルビルドで公開された「Redshiftコンポーネントの使いドコロ」をお伝えしましたが、今回は実際にフローを作って、つないでみたいと思います。 まず、この３つのフローを作成してみます。 データをS3にパラレルで転送するフロー Redshiftにコピーするフロー Redshiftのデータを絞り込んでExcelのピポッドテーブルに出力するフロー データをS3にパラレルで転送するフロー さっそく1つ目の「S3にパラレルで転送するフロー」です。 フローが2つありますが、パラレルで転送するので、1つずつ動くものはサブフローとして定義します。 今回は登録データとしてシステムのログファイルを使いました。1ファイルに何万行とあるファイルを分割で読み込み、指定した行数単位でパラレル実行しS3に保存しています。 この際、GZipで圧縮することで転送量を大幅に軽減することができます。 Red
Amazon Redshift コンポーネント エクスペリメンタルビルドで公開！｜データ連携ツール「ASTERIA Warp」｜EAI/ESB国内シェアNo.1 | アステリア株式会社
Amazon Redshiftに簡単に接続することができるコンポーネントがエクスペリメンタルビルドで公開されました。 ダウンロードはこちらからご利用ください。 ※AWSコンポーネント内にAmazon Redshiftコンポーネントが含まれています。 ▼Amazon Redshift コンポーネント ※ダウンロードしていただくにはユーザー登録とログインが必要です。 RedshiftLoadコンポーネント S3からRedshiftにデータをロードするためのコンポーネントです。 RedshiftへのデータロードはまずS3にデータを格納してからRedshiftにロードするのが常套手段として推奨されています。 このS3の内容を表示し、ロード先も画面で簡単に指定することができるコンポーネントです。 RedshiftCopyTableコンポーネント RedshiftからSELECTした内容を別テーブルへ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
