Amazon Redshift 分散キーの変更について試してみた | DevelopersIO
分散キー変更の際にVACUUMを実行する必要が不要になったというリリースを目にしました。正直、ALTERにて分散キーの変更が可能になったことに気づいていませんでしたので、この機会に分散キーの変更について試してみました。マニュアルに記載にない動作も確認できましたのでご紹介したいと思います。試したクラスタバージョンは、1.0.11116です。 Cluster Version History - Version 1.0.10013, 1.0.10221, 1.0.10393, 1.0.10480, or 1.0.10648 の抜粋です。 The ALTER TABLE ALTER DISTKEY command for tables with a sort key now performs an inline sort. Therefore, running VACUUM afterwards
[新機能] AWS Glue Visual ETL がネイティブ Amazon Redshift 機能をサポートしたので試してみました！ | DevelopersIO
[新機能] AWS Glue Visual ETL がネイティブ Amazon Redshift 機能をサポートしたので試してみました！ データアナリティクス事業本部のコンサルティングチームの石川です。AWS Glue Visual ETL がネイティブ Amazon Redshift 機能をサポートってなんだろう？、と最初思ったのですが、re:Invent2022で発表されたAmazon Redshift integration for Apache Sparkのことでした。当時、すぐに試したのですがうまくできなかったので自分にとってはリベンジブログとなります。 新しいネイティブAmazon Redshift機能とは 冒頭でも触れましたが、re:Invent2022で発表されたAmazon Redshift integration for Apache Sparkのことです。よりGlue
![[新機能] AWS Glue Visual ETL がネイティブ Amazon Redshift 機能をサポートしたので試してみました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1a9787910c80cfa6330ba76938cc339ce203e246/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-glue.png)
Amazon Redshift + dbt ユーザー必読の書「Best Practices for Leveraging Amazon Redshift and dbt」を読んでみた | DevelopersIO
Amazon Redshift + dbt ユーザー必読の書「Best Practices for Leveraging Amazon Redshift and dbt」を読んでみた データアナリティクス事業本部のコンサルティングチームの石川です。今日は、AWSが執筆した Amazon Redshiftとdbtを活用するためのベストプラクティスをまとめたホワイトペーパーを紹介します。 Best Practices for Leveraging Amazon Redshift and dbt™ リンクから誰でもダウンロードできます。 Redshift + dbtを導入しているけれど、果たしてこれが正しい使い方なのかモヤモヤしている方は少なくないと想像してます。筆者もその一人ですが、そのような方々の道標になれば幸いです。 目次 Abstract Introduction Amazon Reds
Glue DataBrewからRedshiftに接続してみた | DevelopersIO
データアナリティクス(DA)事業本部の川崎です。 先日、コードを書かずに「データ前処理」を実行できる、ビジュアルデータ準備ツール Glue DataBrewがリリースされました。 まずは、普段使っているRedshiftに接続してみよう、ということで試してみました。 事前準備 事前準備として、Redshiftでサンプルデータの「tickit」をロードしておきます。 また、GlueからRedshiftに接続するためには、「自己参照ルール」を作成したセキュリティグループを、Redshiftに設定しておく必要があります。 【参考】JDBC データストアに接続するための VPC の設定 Glueコンソールで「接続」「テーブル」を用意する DataBrewから、Redshiftに接続するためには、 Glueコンソール側で「接続」「テーブル」を用意しておきます。 「接続の追加」画面で、接続のプロパティを
Amazon Redshift auto-copy from S3を試してみた #reinvent | DevelopersIO
こんにちは、データアナリティクス事業本部コンサルティンングチームの八木です。 先週、AWS re:Invent 2022にて、Amazon Redshift auto-copy from S3という機能（プレビュー）が発表されました。 この機能はS3にアップロードしたファイルを、自動的にRedshiftにロードしてくれる機能です。 何が嬉しいの？ 元々、S3からRedshiftへのロードはCOPYコマンドを利用する手法がありました。 ただし、このコマンドはRedshiftで都度実行する必要があります。S3へのファイルアップロードをトリガーにRedshiftへのロードを自動化するには、S3イベント通知とLambda等を使い、自動実行環境を自分で構築する必要がありました。 今回の発表された機能により、これらのアーキテクチャが必要なくなりました。私たちが行うのはauto-copyの設定のみです。
[新機能] Amazon Redshift Data Sharing がGAになったので試してみました | DevelopersIO
データアナリティクス事業本部コンサルティングチームの石川です。先日、昨年のre:Invent2020で発表されたRA3インスタンスでクラスタ間でデータのコピーや移動することなくデータを共有するサービスData SharingがGA（Generally Available）になりました。本日はこの機能を試してみたいと思います。 Amazon Redshift data sharing とは クラスタ間でデータのコピーや移動することなくデータを共有するサービスで、AmazonRedshiftクラスタ間でライブデータを素早くデータアクセスが可能になります。Data Sharingはデータへのライブアクセスを提供するため、データが更新されてもユーザーは常に最新の一貫性のある情報を見ることができます。 コンシューマークラスタ（共有される側のクラスタ）の共有データにアクセスできるユーザーとグループは、
![[新機能] Amazon Redshift Data Sharing がGAになったので試してみました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/81eb02784729f6c36fc95bc45da4619b1a0480cf/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-redshift.png)
Amazon Redshift: クラスタのストレージ総容量を取得＆算出する | DevelopersIO
Amazon Redshiftではデータ(ファイル)のサイズや増分ペース(日・月・年単位でどれ位取込む必要が出てくるのか)と言った点を考慮してクラスタのスペックやサイズ(ノード数)を決める事になるかと思います。最初は容量も少ないのでクラスタのスペックやノード数も少なめに、そしてデータが蓄積されて行き、利用者も増えて来るに従いスペックやサイズを増やして行く...という流れが良くあるパターンです。 その過程で、データベースそのものの格納容量であったり、現時点での使用量がどんなもんであるかと言った情報を知りたいという局面も出てくる事と思います。当エントリではそんなタイミングで使える『情報の確認方法』についてまとめてみたいと思います。 目次 クラスタにおける総容量 現在の総容量に関する情報を取得 総容量を見積もる 現在使用中のストレージ総容量 まとめ クラスタにおける総容量 現在の総容量に関する情
【Redshift 入門】Redshiftのスキーマ別権限周りの検証をやってみた | DevelopersIO
みなさん、こんにちは。コンサル部のテウです。 ビックデータ分析をするなら一番先に検討するサービスは、恐らく Redshift じゃないかと思うほど、Redshift は便利ですし、有用ななサービスであることに間違いないですよね。なので、今日は Redshiftを入門してみたので、Redshiftの入門ブログとしてスキーマ別の権限付与について話させて頂きますー！ それでは早速始めます！ 目次 やってみた Redshift立ち上げ 最近Redshiftのマネコンが新しく変更されましたね。Dashboard メニューから右側の Create Cluster ボタンをクリックします。 今回は一番安い dc2.large を選択して Nodes は 1 に変更しました。Redshiftの価格は秒単位ではなく時間単位なので、一回実行しちゃうとすぐ消しても1時間の価格を請求されますので、こちらに関しては
【レポート】Redshift管理者必見！クエリ同時実行数問題を解決するWLMとConcurrency Scalingをフル活用したコーセーの事例 #AWSSummit | DevelopersIO
【レポート】Redshift管理者必見！クエリ同時実行数問題を解決するWLMとConcurrency Scalingをフル活用したコーセーの事例 #AWSSummit DA事業本部の春田です。 AWS Summit Online絶賛開催中！ということで、本記事では「CUS-63: SAP BusinessObjects向けクエリパフォーマンス向上の取り組みと、Amazon Redshift ConcurrencyScalingの活用による効果」の内容についてまとめていきます。 セッション情報 株式会社コーセー 情報統括部 小林 裕也 氏 BIツールである SAP BusinessObjectsは、多様な利用者が存在し実行されるクエリはユーザごとに異なります。利用者増大に伴いクエリパフォーマンス問題を長年抱えていましたが、その中で行った改善活動と、ConcurrencyScalingの登場・
Redshiftのデフォルト権限設定でハマったこと | DevelopersIO
はじめに DI部のおおたきです。Redshiftではユーザーにアクセス権限を設定することでテーブルへのアクセスを制御することができます。 テーブルへのアクセス制御はテーブル単位で設定する他にスキーマ単位で行うことができます。 テーブル単位でアクセス制限を設定すると管理が大変になるため、スキーマ単位でのアクセス制限をすることが多いです。 スキーマ単位でアクセス制限を行う場合、「xxxxスキーマ配下のテーブル全てに対して読取権限のみ付与する」と言った感じで権限を設定します。その際、現在作成されているテーブルに対してその権限を付与することが出来るのですが、新規で作成したテーブルに対しては権限が設定されません。 そのため、新規でテーブルを作成する度に権限を設定するとう作業が発生してしまい、面倒になってしまいます。それを解決する方法としてデフォルトで適用するアクセス権限のセットを定義することができま
psqlいらず？Redshift用CLIツールのAmazon Redshift RSQLを試してみた | DevelopersIO
データ・アナリティクス事業本部の森脇です。 先日、Redshift用のコマンドラインインターフェースであるAmazon Redshift RSQLされました。 従来RedshiftのCLIツールと言えばpsqlが定番でしたが、とうとうRedshift用のツールがリリースされました！ 発表によると Amazon Redshift RSQL は、Amazon Redshift 固有の機能の追加セットを備えた PostgreSQL psql コマンドラインツールの機能をサポートしています。 とのことなので、psqlの機能が使えつつ拡張でRedshift固有機能にも対応しているようです。 これであればpsqlからの乗り換えも容易そうです。 早速Amazon Linux2にインストールして試してみました。 インストール ユーザーズガイドを参照すると、まずはODBC関連ツールをインストール/設定する必
Amazon Redshiftでユーザー削除する際の各種権限・設定を取り除く | DevelopersIO
超小ネタです。 Amazon Redshiftで何らかの理由により使わなくなったユーザーを削除する際、コマンドとしてはDROP USERコマンドで対応出来ます。しかし、状況に拠っては以下の様にエラーメッセージが出てしまい、削除が遮られてしまう事もあります。当エントリではこのエラーが発生した際、どの部分を見て／対処して行けば良いのかについての備忘録を残しておこうと思います。 xxxxxxx=# DROP USER cm_user; ERROR: user "cm_user" cannot be dropped because the user has a privilege on some object テーブルの所有者 まずは所有テーブルから。削除対象となるユーザーが何らかのテーブル所有者であると、そのユーザーは削除出来ません。所定のユーザーがテーブルを所有しているか否かについては、以下の
Session ManagerとEC2でPrivate環境にあるRedshiftに接続する | DevelopersIO
はじめに データアナリティクス事業本部のkobayashiです。 Publicサブネットを用意することができないPrivateサブネットだけの環境で手元のローカルマシーンからRedshiftへの接続を行う方法を検討したところ、Systems ManagerのSession ManagerとEC2でポートフォワードを使って接続してみましたのでその内容をまとめます。 この内容は以下のAWS公式ドキュメントを参考にしました。 AWS Systems Manager 経由で SSH トンネルを使用してプライベート VPC リソースにアクセスする また弊社ブログでAWS Systems ManagerのSession Managerを利用したポートフォワーディングのエントリがありますのこちらも併せて読んでいただけると幸いです。 構成図 接続したいRedshiftは以下の構成図のようにPrivateサ
Amazon Redshift [新機能]マテリアライズドビューの徹底解説 | DevelopersIO
ユーザーの観点から見て、クエリの結果は、ソーステーブルから同じデータを取得に要する時間に比べて短時間で返ってきます。 マテリアライズドビューの基本操作 作成 マテリアライズドビューは、通常のビューと同じ様に作成可能です。追加のオブションについては後ほど解説します。 cmdb=> CREATE MATERIALIZED VIEW tickets_mv AS cmdb-> select catgroup, cmdb-> sum(qtysold) as sold cmdb-> from category c, event e, sales s cmdb-> where c.catid = e.catid cmdb-> and e.eventid = s.eventid cmdb-> group by catgroup; CREATE MATERIALIZED VIEW Time: 1128.05
Amazon Redshift の 可用性と耐久性について | DevelopersIO
はじめに 先日お客様よりRedshiftの構成や可用性、耐久性、データの復元などのご質問をいただきましたので 想定される障害についてどのような復旧対応が行われるのかまとめました。 引用はAmazon Redshift のよくある質問の 可用性と耐久性 から引用しています。 ドライブ障害 Q: 1 つのノードのドライブに障害が発生した場合、データウェアハウスクラスターの可用性とデータ耐久性はどうなりますか? Amazon Redshift データウェアハウスクラスターはドライブに障害が発生した場合でも継続して利用できますが、特定のクエリに対するパフォーマンスがわずかに低下します。ドライブに障害が発生すると、ノード内の他のドライブに格納されている障害ドライブのデータの複製が、透過的に使用されます。さらに、データを正常なドライブに移動させるか、移動できない場合はノードの交換が行われます。 単一ノ
気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 | DevelopersIO
始めに 私は8年ほど前に情報処理試験でデータウェアハウスというものがあるということを知りました。当時は4択問題で問題文に 意思決定支援 というキーワードが出てきたら何なのかよく分かんないけど選択してました。それからずっと興味がありながら実物に触ったことはなかったのですが、クラウド型のデータウェアハウスが登場し触る機会を得ることができました。以前に比べデータウェアハウスはかなり身近なものになってきたのではないでしょうか。弊社でもAmazon RedshiftというAWSのサービスを利用した案件が増えてきています。 クラスメソッド、POSデータ数十億件をリアルタイム分析する基盤を「Amazon Redshift」「Tableau」で開発 この記事ではデータウェアハウスの知識から分析ツールを使ってAmazon Redshiftに接続するところまで簡単にまとめています。実際にどんなものか、触ったこ
Python で Redshift の JDBC ドライバを使ってみる（JayDeBeApi） | DevelopersIO
Python から Redshift へ接続する方法で psycopg 以外の方法が無いものか探していた所 JayDeBeApi なるものを見つけました。Amazon 謹製の JDBC Driver を使えるかなということで試してみました。 テスト環境 OS X 10.11.6, Java 8u112, Python 3.6.1, JayDeBeApi 1.1.1, RedshiftJDBC42-1.2.1.1001.jar Windows 7, Java 8u131, Python 2.7.13, JayDeBeApi 1.1.1, RedshiftJDBC42-1.2.1.1001.jar ※環境変数 JAVA_HOME の設定が必要です。 ※本来 Python 3 の場合は JayDeBeApi3 を利用するようなのですが、エラーが発生してしまったので 1.1.1 で試しました。 R
【レポート】AWS Summit Tokyo 2017：Oracle Database から Aurora & Redshift に移行するための実践ガイド #AWSSummit | DevelopersIO
スピーカー： 柴田 竜典 アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューションアーキテクト セッション概要： 現在は Oracle Database を使っているものの、クラウドネイティブな Amazon Aurora や Amazon Redshift への移行を検討しているお客様向けに、AWS のマイグレーションサービスによってどこまで移行が簡易化できるのか、そして AWS のサービス以外のところでは、どのような点に注意する必要があるのかについて実践的な内容をご紹介します。 セッション内容目次 自己紹介 Oracleからの移行を検討しているお客様の声 移行にあたっての不安や悩み 移行にあたって決めなくてはいけないこと Oracle DBとの違い まとめ セッションレポート 自己紹介 柴田竜典 [シバタツ] @rewse データベース関連の相談事何でも担当 AWSへ
Amazon Redshift クラスタのリサイズ ７つのポイント | DevelopersIO
Amazon Redshift は、データの増加やパフォーマンスの増強に伴い、いつでも柔軟かつ安全にクラスタをリサイズできます。リサイズ自体はマネジメントコンソールから変更するだけで、全自動でリサイズできます。今回は Amazon Redshift クラスタのリサイズに関する疑問やよくある質問をまとめました。 １．リサイズ中・リサイズ後 リサイズが終わるまで参照であれば利用可能 リサイズを開始するとバックグラウンドで新しいクラスタをプロビジョニングして、バックグラウンドでデータが新しいクラスタにコピーされます。既存のクラスターは読み取り専用モードになり、リサイズ中もオンラインを維持するので、更新・削除はできませんが参照は可能です。 詳細については、Amazon Redshift Database Developer Guide の「Write and read-write operatio
Amazon AthenaでETLした結果をRedshiftにロードしてみる | DevelopersIO
先日の Black Beltオンラインセミナー「Amazon Athena」で、Athenaの想定ユースケースとして「開発者が、大規模でない生データに対して、低頻度でETL処理をする」という話を聞き、実際に Athena で ETL して Redshift にロードしてみることにしました。 サンプルデータ サンプルデータは下記データをダウンロードし、対象シートを[Orders]のみをS3ファイルに保存して、Athenaで orders_jp テーブルとして定義したものを利用します。 Superstoreサンプルデータ（不具合修正版） |Tableau Community シナリオ 日本国内の売上情報が含まれるデータファイルがS3上に存在する。データファイルから製品カテゴリ〜製品毎の売上と利益率のデータマートを作成して、BIツールから参照できるようにこのデータマートをRedshiftにロード
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
