気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 | DevelopersIO
始めに 私は8年ほど前に情報処理試験でデータウェアハウスというものがあるということを知りました。当時は4択問題で問題文に 意思決定支援 というキーワードが出てきたら何なのかよく分かんないけど選択してました。それからずっと興味がありながら実物に触ったことはなかったのですが、クラウド型のデータウェアハウスが登場し触る機会を得ることができました。以前に比べデータウェアハウスはかなり身近なものになってきたのではないでしょうか。弊社でもAmazon RedshiftというAWSのサービスを利用した案件が増えてきています。 クラスメソッド、POSデータ数十億件をリアルタイム分析する基盤を「Amazon Redshift」「Tableau」で開発 この記事ではデータウェアハウスの知識から分析ツールを使ってAmazon Redshiftに接続するところまで簡単にまとめています。実際にどんなものか、触ったこ
Python で Redshift の JDBC ドライバを使ってみる（JayDeBeApi） | DevelopersIO
Python から Redshift へ接続する方法で psycopg 以外の方法が無いものか探していた所 JayDeBeApi なるものを見つけました。Amazon 謹製の JDBC Driver を使えるかなということで試してみました。 テスト環境 OS X 10.11.6, Java 8u112, Python 3.6.1, JayDeBeApi 1.1.1, RedshiftJDBC42-1.2.1.1001.jar Windows 7, Java 8u131, Python 2.7.13, JayDeBeApi 1.1.1, RedshiftJDBC42-1.2.1.1001.jar ※環境変数 JAVA_HOME の設定が必要です。 ※本来 Python 3 の場合は JayDeBeApi3 を利用するようなのですが、エラーが発生してしまったので 1.1.1 で試しました。 R
【レポート】AWS Summit Tokyo 2017：Oracle Database から Aurora & Redshift に移行するための実践ガイド #AWSSummit | DevelopersIO
スピーカー： 柴田 竜典 アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューションアーキテクト セッション概要： 現在は Oracle Database を使っているものの、クラウドネイティブな Amazon Aurora や Amazon Redshift への移行を検討しているお客様向けに、AWS のマイグレーションサービスによってどこまで移行が簡易化できるのか、そして AWS のサービス以外のところでは、どのような点に注意する必要があるのかについて実践的な内容をご紹介します。 セッション内容目次 自己紹介 Oracleからの移行を検討しているお客様の声 移行にあたっての不安や悩み 移行にあたって決めなくてはいけないこと Oracle DBとの違い まとめ セッションレポート 自己紹介 柴田竜典 [シバタツ] @rewse データベース関連の相談事何でも担当 AWSへ
Amazon Redshift クラスタのリサイズ ７つのポイント | DevelopersIO
Amazon Redshift は、データの増加やパフォーマンスの増強に伴い、いつでも柔軟かつ安全にクラスタをリサイズできます。リサイズ自体はマネジメントコンソールから変更するだけで、全自動でリサイズできます。今回は Amazon Redshift クラスタのリサイズに関する疑問やよくある質問をまとめました。 １．リサイズ中・リサイズ後 リサイズが終わるまで参照であれば利用可能 リサイズを開始するとバックグラウンドで新しいクラスタをプロビジョニングして、バックグラウンドでデータが新しいクラスタにコピーされます。既存のクラスターは読み取り専用モードになり、リサイズ中もオンラインを維持するので、更新・削除はできませんが参照は可能です。 詳細については、Amazon Redshift Database Developer Guide の「Write and read-write operatio
Amazon AthenaでETLした結果をRedshiftにロードしてみる | DevelopersIO
先日の Black Beltオンラインセミナー「Amazon Athena」で、Athenaの想定ユースケースとして「開発者が、大規模でない生データに対して、低頻度でETL処理をする」という話を聞き、実際に Athena で ETL して Redshift にロードしてみることにしました。 サンプルデータ サンプルデータは下記データをダウンロードし、対象シートを[Orders]のみをS3ファイルに保存して、Athenaで orders_jp テーブルとして定義したものを利用します。 Superstoreサンプルデータ（不具合修正版） |Tableau Community シナリオ 日本国内の売上情報が含まれるデータファイルがS3上に存在する。データファイルから製品カテゴリ〜製品毎の売上と利益率のデータマートを作成して、BIツールから参照できるようにこのデータマートをRedshiftにロード
Soracom Funnel + Amazon Kinesis Firehose + Amazon RedshiftでIoTデータを蓄積する環境をコードレスに構築する | DevelopersIO
Soracom Funnel + Amazon Kinesis Firehose + Amazon RedshiftでIoTデータを蓄積する環境をコードレスに構築する こんにちは、せーのです。 最近のIoT界隈ではクラウドサービスが非常に充実していまして、ほとんどコードを書くことなくデータの流れが出来てしまいます。 今回は大量のIoTデータをRedshiftに蓄積して分析したい、というソリューションをコードレスで構築する方法をご紹介します。 概要 今回想定しているソリューションはこのような感じです。 IoTデバイスから定期的にデータをクラウドに飛ばし、それをRedshiftに蓄積、BIツールにて解析する、というソリューションです。 この場合データの流れのポイントとしては どうやってデータをクラウドにあげるか どうやってデータをRedshiftに蓄積させるか 大量データを捌けるか というよう
これからAmazon Redshiftを始める技術者が注意すべき２２つのポイント | DevelopersIO
はじめに ２年ほど前にRedshiftを使う際に注意すべき点をまとめた記事を書いたのですが、その後Redshift案件をいくつか経験し、項目を追加したくなったのでもう一度まとめました。Redshiftを業務で使う方はぜひ読んでほしいです。1から11までは以下のページになります。 これからAmazon Redshiftを始める技術者が注意すべき１１つのポイント 注意事項一覧 ALTER TABLE RENAMEでテーブル名を変更するとViewの参照先が変わるので注意！ ALTER TABLE APPENDで移動したデータは未ソートになるので注意！ UDFのパフォーマンスに注意！ TO_TIMESTAMP関数がないので注意！ VARCHAR(65535)は推奨されていないので注意！ 統計情報の鮮度とソートされていない行の割合に注意！ 削除マーク付きのレコードが増えるとパフォーマンスが落ちるので
Digdag + EmbulkによるTSVファイルのS3→Redshiftロード #digdag | DevelopersIO
はじめに こんにちは、yokatsukiです。 先日6月18日、第五回ゲームサーバ勉強会に参加してきました。 そこで、トレジャーデータのサポートエンジニアマネージャー高橋様から、直前の6月15日にオープンソース化されたばかりのDigdagの説明がありました。その時の発表スライドは下記です。 Digdagは弊社でも何名かが既に触ってブログで公開(下記)しているので、名前と目的は知ってましたが、説明とデモを見るうちに自分でも試してみたくなりました。 Embulk界隈で話題になっている分散ワークフローエンジン「DigDag」について調べてみた #digdag Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag｜Developers.IO という訳で、簡単ではありますが共有します。 テーブル定義の無いTSVファイルをRedshiftへロードする 通
データウェアハウス再入門 | DevelopersIO
４月入社の川崎です。Redshiftに取り組むにあたり、改めてデータウェアハウス（DWH）の基本について確認しておこうと思います。 DBA（データベース管理者）歴20年の私の経験から言えるのは「同じデータベースでも、データウェアハウスはOLTP系とはまったく違う」ということです。ところが、DWHの教科書みたいな書籍が日本語ではほとんど無いので、書籍の代わりにSlideshareなどネット上のリソースを中心に検索してみます。 「10年戦えるデータ分析入門」青木峰郎 著 http://www.sbcr.jp/products/4797376272.html 著者はクックパッドの方で、元テラデータ出身のようです。（どうりでDWHに詳しい訳ですね）ネットの書評によると「分析の本ではなく分析のためのSQLの入門書」だそうですが、この「分析のためのSQL」が仕事の役に立ちそうな気がしています。（対象デ
Amazon API Gateway – API作成から動作確認までやってみる | DevelopersIO
Amazon API GatewayでAPIを公開する 先日開催された「AWS Summit 2015 New York」にて、「Amazon API Gateway」が発表されました。 このサービスを利用すると、Amazon lambda functionやインターネットで公開されているアプリケーションを利用して REST APIを公開することができます。 また、Amazon API Gatewayを使用して定義した情報からJavaScriptやAndroid、iOS用のSDKを生成することもできます。 いまのところアメリカ西部（オレゴン）リージョンとアメリカ東部(バージニア)リージョン、そしてEUリージョンの提供となっているようです。 Amazon API Gatewayをつかってみる では実際にAmazon API Gatewayをつかってみましょう。 この記事ではAWS Lambd
[SQL]データの縦持ち、横持ちを入れ替える | DevelopersIO
はじめに 弊社のデータ分析案件において、RedshiftにてSQLを実行してデータを抽出することが増えてまいりました。SQLはデータの抽出には強力なのですが、JavaやRubyなどのプログラミング言語と比べると独特であることも事実です。 例えば(PL/SQLなどは除いてですが) ループがない 変数に代入して次の処理に行くことができない メソッドやクラスに処理を分割できない などです。 これらの特徴からSQLでデータ抽出を行う為には、JavaやRubyなどとは異なった手法を取る必要があります。そこで「JavaやRubyとかでは・・・というやり方でやるのだけど、SQLではどうやるのだろう」というケースについて、シリーズ形式で何回かに分けて取り上げたいと思います。 尚、SQLの基本的な構文(select、join、group byなど)については説明しません。またデータベースの種類に関わらず使用
![[SQL]データの縦持ち、横持ちを入れ替える | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9d7a9e19a3c5979fc0b83efa7beeec666f705bb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F07%2Fsql.png)
Amazon Redshiftの性能改善について | DevelopersIO
今朝のAWS公式ブログにて、Amazon Redshiftの性能改善に関する以下のエントリが公開されていました。タイトルを見る限りだとかなり大きく出た感のある内容となっておりますが、利用者にとっては非常に嬉しい内容になるかと思います。ざっくりではありますが、当エントリではその内容について読んでみたいと思います。 Amazon Redshift – Up to 2X Throughput and 10X Vacuuming Performance Improvements | AWS Blog カラムナ(列)型ストア 大規模なDWH(データウェアハウス)は主としてI/0の問題を抱えています。そしてAmazon RedshiftはI/Oを最小化・並列化させる為に分散カラム型アーキテクチャを採用しています。カラム型ストアでは、それぞれのテーブル列が独自のデータブロックに格納されています。列の内容
Amazon Redshift新機能：ユーザーのパスワードにMD5ハッシュ値を設定可能になりました | DevelopersIO
G.W.がいよいよ始まりました！皆さんいかがお過ごしでしょうか。私は昨日映画『ズートピア』を観て来ました。ディズニーアニメを映画館で観るのって何気にあまり機会が無かったのですが、さすがディズニー、素晴らしいクオリティでとても楽しめました！個人的には2016年に鑑賞した映画の中で今のところ暫定1位です。 さて、昨日4/29付けでAWSから以下のAmazon Redshiftに関する機能追加のお知らせが告知されていました。当エントリではこの内容に含まれるもののうち、『MD5 hash password parameters』についてご紹介していきたいと思います。 Amazon Redshift announces Enhancements to Data Loading, Security, and SAS Integration 例によって、Amazon Redshiftの機能は告知から1〜
[レポート][TA-03]Amazon Redshift Integration Deep Dive #AWSSummit | DevelopersIO
AWS Summit Tokyo 2015のTA-03: Tech Deep Dive by Amazon:「Amazon Redshift Integration Deep Dive」のレポートです。 スピーカーはAmazon Data Services Japanの八木橋 徹平氏。 レポート このセッションの目的 このセッションはRedshiftの使い方がある程度わかっている人に自社システムやAWSの他サービスとの連携方法のコツを知ってもらうことにある。Redshift固有のクセや設定があるため、端的にいうとRedshiftにいかに効率よくデータを入れるためにETL(Extract + Transform + Load) + Uploadを行うか、というセッションである。 Redshiftおさらい Redshiftの特徴 →MPP(超並列演算)、論理的なリソースの括り「ノードスライス」
![[レポート][TA-03]Amazon Redshift Integration Deep Dive #AWSSummit | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/823f7aca4a5fc29780be05be8d6f7645655fcd6c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F05%2Faws_summit_tokyo_2015.png)
事例からAmazon Kinesisとは何なのかを学ぶ | DevelopersIO
はじめに 以前、Amazon Kinesisを使う案件があり技術調査の手伝いをしたことがありました。AWSのサイトには「大規模なストリーミングデータをリアルタイムで処理する完全マネージド型サービス」とありますが、その時は何のためのサービスなのか触ってもいまいちピンときませんでした。その後、分からなかった点を担当者にいろいろ聞いてみたのですが、案件が事例化されましたので教えてもらったことをブログに書いてみようと思います。株式会社あきんどスシロー様の案件です。以下が構成図になります。 「うまいすしを、腹一杯。うまいすしで、心も一杯。」 処理の流れ 事例の構成図からどのような処理が行われているかを担当者に確認しました。 回転寿司のすし皿に付いているICタグの情報を管理端末が読み取ります。 管理端末が読み取った情報はインターネットを経由してAmazon KinesisへPutされます。Putされる
Amazon Redshift クラスターの作成手順 | DevelopersIO
AWS上でデータ分析基盤を構築するのに欠かせないサービスのひとつ、Amazon Redshift。弊社ブログでもAmazon Redshiftに関する数々のノウハウが公開されていますが、今回は主にこれからAmazon Redshiftを使ってみようという方向けに、Amazon Redshift クラスターのベーシックな作成手順をご紹介します。 Amazon Redshift "クラスター" とは？ 冒頭でさらりとAmazon Redshift クラスターという言葉を使いましたが、Amazon Redshiftの環境を構築する前提知識としてこのクラスターについて簡単に触れておきたいと思います。 Amazon Redshiftの大きな特徴の1つとして、「分散並列データベース」であることが挙げられます。Amazon Redshiftでは複数のノード(コンピューティングリソース)に処理を分配しそれ
Amazon Redshiftで良く使いそうな便利系SQLをまとめてみた | DevelopersIO
Redshiftで色々環境構築や調査を進めて行くと、割とちょいちょい良く使うSQL等も出て来ます。そこでこのエントリでは、普段使っている便利系SQL、都度アクセスしてはコピペして使ってるようなSQL、更にはそれらにちょっと一手間加えたSQL等を集約し一覧としてみる事にしました。 必須なもの、また『これも使えるね』というようなものについては適宜追加更新を行っていこうと思ってますので、オススメのSQL文があれば是非教えて頂けると幸いです。 目次 S3からのCOPY処理エラーに関するログを確認する COPY処理時に出力させるエラー件数量を制御する 指定テーブルのテーブル定義を確認する(type1:psqlコマンドで簡易表示) 指定テーブルのテーブル定義を確認する(type2:distkey,sortkey等も表示) 指定テーブルのテーブル定義を確認する(type3:コメント文も併せて表示) テー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
