Amazon Redshift テーブル設計詳細ガイド –分散スタイルとソートキーの決定方法–
© 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. アマゾン ウェブ サービス ジャパン株式会社 柴田竜典 2017/6/1 Amazon Redshift テーブル設計詳細ガイド 分散スタイルとソートキーの決定方法 自己紹介 柴田竜典［シバタツ］ • データベース関連の 相談ごと何でも担当 • AWSへの移行を機に RDBMSをAuroraに 乗り換えたい • オンプレミスOracleを AWSにフォーク リフティングしたい • 好きなAWSのサービス: S3 @rewse すでにRedshiftをお使いの方の悩み • クエリー性能をさらに向上させたい • 同時実行を上手にさばきたい • 料金を抑えたい などなど クエリー性能向上に大切なことは何か 最良のソートキーの選択 最適な分散スタイルの
PostgreSQLのdblink機能を使ってAmazon RedshiftとRDS(PostgreSQL)を結合する | DevelopersIO
先日、『AWS Big Data Blog』にて以下のエントリが公開されていました。Amazon RedshiftとRDS(PostgreSQL)を、dblinkという機能を使って結合するというものです。一体どの様な仕組みでJOIN出来るのか、とても気になったので早速試してみました。 JOIN Amazon Redshift AND Amazon RDS PostgreSQL WITH dblink - AWS Big Data Blog 目次 Amazon RedshiftとRDS(PostgreSQL)の違い PostgreSQL/Redshift間の接続を実現する2つの拡張 動作環境の準備 各種接続・動作確認 基本的なクエリ ビューの参照 ユーザー定義関数の利用 マテリアライズドビューでデータのキャッシュ Amazon RedshiftからRDS(PostgreSQL)へのデータコピ
【速報】Amazon Redshift：S3のデータを直接検索出来る新機能『Redshift Spectrum』が発表されました！ #awssummit | DevelopersIO
日本時間2017/04/20(木) 午前1:30(現地サンフランシスコ時間では2017/04/19(水) 午前9:30)から始まっていた『AWS Summit 2017 in San Francisco』。当イベントのキーノートにて、Amazon Redshiftの新機能として『Redshift Spectrum』なるものが発表されました！Amazon S3にある大量のデータに対して、Amazon Redshiftから直接クエリを投げる事が出来る、というものになるようです。 AWS Summits 2017 | San Francisco ちなみにこの機能については、本日から利用可能(Generally Available Today)となっているようです。 (※Amazon Redshiftの場合、例に拠って対応するクラスタバージョンのパッチが当たっている事が条件となります。詳細は後述)
国内最大級映画レビューサービスを支えるインフラエンジニア募集！ - 株式会社つみきのインフラエンジニアの採用 - Wantedly
つみきはインターネットサービスの開発・運用を手がけるベンチャー企業です。 自社事業の映画レビューサービス「Filmarks（フィルマークス）」は、「いい映画と出会おう。」というコンセプトのもと多くの映画ファンの皆さまにご利用をいただき、映画業界からも注目を集めるまでに成長しました。 2015年8月、カルチュア・コンビニエンス・クラブ株式会社（CCC）の 出資・業務提携により、TSUTAYAとの連携をスタート。 そして2017年3月には、国内最大級となるレビュー数3,000万件を達成し、映画好きの映画ライフを支えるサービスのひとつと呼べるまでに成長を遂げました。 現在、Filmarksは映画レビューサービスから “映画と人をつなぐプラットフォーム”を目指し、さらなる飛躍への一歩を踏み出しています。 ■映画レビューサービス「Filmarks（フィルマークス）」 https://filmarks
BigData-JAWS 勉強会#2 参加レポート（Embulk/DigdagとRedshift）#bdjaws | DevelopersIO
はじめに データインテグレーション部 大矢です。 2016年9月26日開催のBigData-JAWS 勉強会#2に参加してきました。 この記事はその前半、弊社川崎の発表した「EmbulkとDigdagで作るRedshiftデータマート」のレポートです。 EmbulkとDigdagで作るRedshiftデータマート 資料はこちらです。 発表者はクラスメソッド株式会社 川崎照夫。 参加者の比率の確認（挙手で） OLTP系の人 2名 情報系、DWH系の人 多数 ビッグデータの勉強会なので、やはり情報系の人がほとんど。 データマネジメント概説書 JDMC（日本データマネジメント・コンソーシアム）という団体があり、（川崎も）以前参加していた。 JDMC知っている方？（挙手で確認） ほぼゼロ 残念ながら、知名度が低い。 JDMCでは「データマネジメント概説書」という書籍を出版している。 「DMBO
AWS Casual 02: ふつうのRedshiftパフォーマンスチューニング
ふつうのRedshiftパフォーマンスチューニング @ AWS Casual 02, 2014-04-18Read less
これからAmazon Redshiftを始める技術者が注意すべき２２つのポイント | DevelopersIO
はじめに ２年ほど前にRedshiftを使う際に注意すべき点をまとめた記事を書いたのですが、その後Redshift案件をいくつか経験し、項目を追加したくなったのでもう一度まとめました。Redshiftを業務で使う方はぜひ読んでほしいです。1から11までは以下のページになります。 これからAmazon Redshiftを始める技術者が注意すべき１１つのポイント 注意事項一覧 ALTER TABLE RENAMEでテーブル名を変更するとViewの参照先が変わるので注意！ ALTER TABLE APPENDで移動したデータは未ソートになるので注意！ UDFのパフォーマンスに注意！ TO_TIMESTAMP関数がないので注意！ VARCHAR(65535)は推奨されていないので注意！ 統計情報の鮮度とソートされていない行の割合に注意！ 削除マーク付きのレコードが増えるとパフォーマンスが落ちるので
Amazon Redshift: UDF(User-Defined Functions:ユーザー独自の定義関数)の作成方法 | DevelopersIO
ANYELEMENTデータ型 ANYELEMENTはpolymorphic(多様な形を持つ事が出来る)なデータ型です。これは意味します。もし関数の中で引数のデータ型に対しANYELEMENTが宣言されていた場合、関数は実行時に引数としてどの(標準的な)Amazon Redshiftデータ型でも受け入れる事が出来ます。ANYELEMENT引数は関数が呼び出された際に、実際に渡されたデータ型に設定がなされます。 もし関数が複数のANYELEMENT型を使っていた場合、関数呼び出し時に同じ実際のデータ型に対して全て解決する必要があります。全てのANYELEMENT引数データ型は最初の引数のANYELEMENTに渡される実際のデータ型の種類に対して設定されます。 例えば、f_equal(anyelement, anyelement)と宣言された関数は、任意の2つの入力値を取りますが、それらは同じデ
MPP on Hadoop, Redshift, BigQuery - Go ahead!
Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，もっと良いアプローチとか詳細を教えてくれるかもしれません． オンプレミスの商用MPPは使ったことないのでノーコメントです． MPP on HadoopでPrestoがメインなのは今一番使っているからで，Impalaなど他のMPP on Hadoop的なものも似たような感じかなと思っています． もちろん実装の違いなどがあるので，その辺は適宜自分で補間してください． 前提 アプリケーションを開発していて，そのための解析基盤を一から作る． 簡単なまとめ データを貯める所が作れるのであれば，そこに直接クエリを投げられるPre
第4回 Amazon Redshiftにデータをロードしてみよう | gihyo.jp
前回は、Amazon Redshiftの起動から、ローカルマシンでAmazon Redshiftクラスタへ接続するまでの説明を行いました。今回は、Amazon Redshiftを実際に運用する上で重要となるデータのロードを中心に、例を交えて説明していきます。なお、チュートリアルの中で利用するデータはAmazon Redshift Getting Started Guideで紹介されているデータを利用しています。 本連載のチュートリアルは、AWSアカウント、起動中のAmazon Redshiftクラスタ、また接続するクライアントツールがすでに準備されていることを前提としています（※）。実際に試される方は、前回の記事を参考に環境準備をしておいてください。 ※） Hapyrusでは、RedshiftとFlyDataをお試しいただけるSandbox環境を無料で提供しています。また、ブラウザ上か
Redshift専用 Windows GUIツール『Aginity Workbench for Amazon Redshift』が便利かもしれない件 ｜ DevelopersIO
Redshift専用 Windows GUIツール『Aginity Workbench for Amazon Redshift』が便利かもしれない件 都内近郊、先週までは比較的涼しくて過ごしやすい気候でしたが、一気に暑さが到来し団扇や扇風機、クーラーが必須な感じになって参りました。暑さそのものもそうですが、脱水症状や熱中症にもくれぐれもご注意ください。 そんなわけで本題です。先日Mac OSXで扱うRedshift用のGUIツールとしてIntellij IDEA Ultimate版が良いよというエントリを投下しましたが、Windows環境でもRedshiftにアクセスする際の便利なツールが無いものか...と調べてみたところ、割と便利そうなものを見つけましたのでざっくり基本的な部分を含めてご紹介してみたいと思います。 Amazon RedshiftのMac OS X向けGUIツールとして『I
Redshiftの管理ツール決定版か？Aginity Workbench Beta for Amazon Redshift (1) | iret.media
cloudpackエバンジェリストの吉田真吾 （@yoshidashingo）です。 Redshiftの「管理ツール」といえば、Redshiftの公式ドキュメントでも説明がされている SQL Workbench/J が有名ですが、今日はAginity Workbench Beta for Amazon Redshiftというツールを教えてもらったのでご紹介です。 ちなみにいまはまだWindows版で、しかもベータ提供ということのようです。 Aginity — big data analytic solutions. | Aginity Workbench for Amazon Redshift 何ができるか 今までRedshiftの管理ツールとして使ってたSQL Workbench/Jに比べて以下のような機能差があるようです。
Redshiftを使って、もっとも幸福な青空文庫を判定してみる - Qiita
最近Redshiftを業務で使う機会があったので、概要や使い方などをまとめてみようかと思います。 今回はRedshiftの立ち上げからはじめ、青空文庫さんが公開してくださっている、形態素解析データをRedshiftにいれて解析してみます。 解析といっても、一番多く幸せそうなワードを使っている文庫はどれかを調べるだけ。 一番多く幸せそうなワードを使っていた文庫を、「もっとも幸福な青空文庫」と判定します。 また、今回使用する、6.1GB、8770万行のデータをデフォルト設定でどのくらいでさばけるかなども試してみたいと思います。 今回やること 今回は以下の様なことをします。 ・Redshiftとは何かをまとめ ・青空文庫のデータセットをダウンロードして、S3にアップ ・PostgreSQLが扱えるDBクライアントを用意する ・Redshiftを立ち上げる ・Redshiftにクライアントから接続
[よくわかるAmazon Redshift in 大阪]Amazon Redshift最新情報と導入事例のご紹介
Amazon Redshift is a fully managed petabyte-scale data warehouse service in the cloud. It provides fast query performance at a very low cost. Updates since re:Invent 2013 include new features like distributed tables, remote data loading, approximate count distinct, and workload queue memory management. Customers have seen query performance improvements of 20-100x compared to Hive and cost reductio
![[よくわかるAmazon Redshift in 大阪]Amazon Redshift最新情報と導入事例のご紹介](https://cdn-ak-scissors.b.st-hatena.com/image/square/d59d9fe0d8468b49b872498b5c0ee8c5d1a82999/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20140221redshiftupdatesv2osaka-140224010309-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例
2. 本日の登壇者紹介 山田 悦明 ( やまだ えつあき ) 株式会社リクルートテクノロジーズ ITソリューション部 ビッグデータグループ ・2008年リクルート入社。 ・広告配信サーバ導入や顧客企業の集客最適化などに従事。 ・『じゃらん』『ホットペッパービューティー』の会員分析 ・Hadoopを活用した『SUUMO』の集客モニタリング、アトリビューション 分析など 最近ではアクセスログを解析する独自のソリューション開発・展開を推進。 (C) Recruit Technologies Co.,Ltd. All rights reserved. 1 3. 本日のアジェンダ 1. はじめに～リクルートとリクルートテクノロジーズのご紹介～ 2. ビッグデータグループの取り組み 3. ビッグデータ解析におけるデータ基盤環境について 4. Redshift利用事例 1. 実装編 2. サービス活
![[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例](https://cdn-ak-scissors.b.st-hatena.com/image/square/457e5f1d849e23163f5a7eb88eb0885140fcc556/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20140117aws-140128175458-phpapp01-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Fluentd、Amazon RedshiftとTableauを用いたカジュアルなデータ可視化 | SmartNews開発者ブログ
ゴクロ改め、スマートニュース株式会社の大平です。 巷間では「bigdata」の活用が叫ばれて久しいですが、弊社はまだまだ小さい規模のスタートアップのため少なくともデータサイズとしてhugeなdataの活用が行える環境ではありません。 であればデータの活用に対する要求が低いか、というとそうでも無く、サービスサイドでも自然言語処理や機械学習を中心としたデータ解析処理がサービスの生命線となっていますし、サービスの裏側でも戦略を立てる上で効果測定や諸々のデータの分析は非常に重要な位置を占めています。 本記事では主にサービスの裏側で求められるデータ解析において、いかにカジュアルにデータを解析するか、の一例として、掲題のような組み合わせによるデータ可視化の事例を簡単にですがご紹介したいと思います。 データ解析基盤を作る側の視点からすると、システムとして求められる要件は以下のようなものだと理解していま
Amazon Redshiftではじめるビッグデータ処理入門 記事一覧 | gihyo.jp
第5回Amazon Redshiftのアーキテクチャ ～スケーリングとリストアを試してみよう 宮崎真，藤川幸一 2013-06-10
tableau-connect-redshift-on-vpc
目次 はじめに 環境構築 Amazon Redshift環境準備 Amazon Redshiftクラスタ作成 PostgreSQLクライアントツール接続確認 解析データの投入 Tableau Desktop経由で接続確認 まとめ はじめに 高速なデータ分析とわかりやすいビジネスダッシュボードを実現するビジネスインテリジェンス（BI）ソフトウェア | タブローソフトウェア Amazon Redshift （ペタバイト級の データウェアハウス サービス） | アマゾン ウェブ サービス（AWS 日本語） Amazon Redshift 以下エントリではAWS環境内のMySQLにTableau Desktopからの接続を試みるエントリを詳解しましたが、その第2弾としてVPC環境に構築したRedshiftにTableau Desktopからの接続を試みる内容を当エントリで詳しく見て行きたいと思いま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
STV_PARTITIONS - Amazon Redshift
AWS Black Belt Tech シリーズ 2015 - Amazon Redshift
