AWS News Blog
New — File Release for Amazon FSx for Lustre Amazon FSx for Lustre provides fully managed shared storage with the scalability and high performance of the open-source Lustre file systems to support your Linux-based workloads. FSx for Lustre is for workloads where storage speed and throughput matter. This is because FSx for Lustre helps you avoid storage bottlenecks, increase utilization of compute
第6回 Redshiftクラスタを運用してみよう | gihyo.jp
今回は、本連載の最後のトピックとして、Redshiftクラスタの運用に焦点を当て、アクセス管理、およびデータの管理と運用について説明します。これまでRedshiftクラスタの起動から拡張まで説明してきましたが、起動後も定期的にデータベースに対して必要なメンテナンス作業が存在し、高いクエリパフォーマンスを持続させるために、これらも押さえておくことは運用において非常に重要です。 なお、本連載のチュートリアルをご自身で試される場合には、Redshiftクラスタを起動し、Redshiftクラスタへ接続してSQLが実行可能である状態が必要です。これらの環境を構築するためには、この連載の第3回を参考にしてください。 アクセス権の管理 最初に、Redshiftクラスタのアクセス管理について説明します。 Redshiftでは、データベースやテーブル以外に、後述するスキーマという単位でテーブルのまとまりを管
Redshiftのworkload management - まめ畑
Redshiftのパフォーマンス検証記事は見かけるのですが、WLMに関して言及されているものをみないのと、ちょっと複雑なのでまとめておきます。 管理面については Redshiftの管理面 - まめ畑を参照下さい。 WLMの重要性 DWHでは往々にして、実行時間のかかるクエリからサクッと終わるもの、バッチがガリガリと長時間かけて実行するクエリまで様々なタイプのクエリが投げ込まれます。 これらクエリはリソースをガッツリ割り当ててさっさと思ってほしいものから、重要でないから気長に実行をまてるものまで要件は様々です。これら、クラスタリソースを管理してクエリ毎に割り当てることで1つのクラスタ内で様々な種類・用途のクエリを扱いやすくすることが出来ます。 Redshiftでは標準で1キュー・5並列とParameter Groupで設定されています。この状態では実行時間が長くかかるクエリが5本実行されてい
ムック「データベース徹底攻略」 - MySQL/Redis/MongoDB/Redshift
最近発売された技術評論社のムック「データベース徹底攻略」に寄稿しました。 この本は、データベースのための本ということで、データベース設計、SQL、MySQL、Redis、MongoDB、Redshiftという代表的な要素技術についてのまとめとなっています。各プロダクト(MySQL、Redis、MongoDB、Redshift)については、現場で実際に本格的に使われている方々による記事なので大いに参考になると思います。 私は冒頭のまとめ記事を寄稿しました。詳細はぜひお手に取って読んでくださればと思います。ここでも自分が各技術を現時点でどのようにとらえているか、本ではいささか書きづらい内容について、最近流行りの言葉でもある「技術的負債」という観点も踏まえて書いておこうと思います。 ・MySQL (RDBMS) 私はMySQLの中の人でもありましたし、これまで至るところで話してきたので省略します
＃3 JSONフォーマットをサポートしたAmazon Redshiftを使ってみる | gihyo.jp
Amazon Redshiftは非常に魅力的なクラウド・データウェアハウスですが、データをロードするところに苦労する部分が多く、我々FlyDataはデータインテグレーションサービスとしてRedshiftに関するWebサービスを提供しています。その中でも特に、JSONデータフォーマットのサポートがRedshiftユーザに好評で、FlyDataでも積極的に開発しています。そのJSONサポートが、ついにAWSによってRedshiftに提供され始めたということで、詳細を調べてみました。 まずその前に、JSONの基本から見ていきましょう。JSONは急速に、アプリケーションとサーバ間のデータ交換を行うためのデファクトフォーマットとなりつつあります。つまり、簡単かつ柔軟に扱えるその特性により、JSONログを生成・分析することが一般的になりつつあるのです。 より多くのデータがJSONフォーマットで生成・保
AWS Casual 02: ふつうのRedshiftパフォーマンスチューニング
ふつうのRedshiftパフォーマンスチューニング @ AWS Casual 02, 2014-04-18
MPP on Hadoop, Redshift, BigQuery - Go ahead!
Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，もっと良いアプローチとか詳細を教えてくれるかもしれません． オンプレミスの商用MPPは使ったことないのでノーコメントです． MPP on HadoopでPrestoがメインなのは今一番使っているからで，Impalaなど他のMPP on Hadoop的なものも似たような感じかなと思っています． もちろん実装の違いなどがあるので，その辺は適宜自分で補間してください． 前提 アプリケーションを開発していて，そのための解析基盤を一から作る． 簡単なまとめ データを貯める所が作れるのであれば，そこに直接クエリを投げられるPre
Window 関数 - Amazon Redshift
ウィンドウ関数を使用すると、分析的なビジネスクエリをより効率的に作成できます。ウィンドウ関数はパーティションまたは結果セットの「ウィンドウ」で演算し、ウィンドウのすべての行に値を返します。それに対して、ウィンドウ以外の関数は、結果セットの行ごとに計算を実行します。結果の行を集計するグループ関数とは異なり、ウィンドウ関数はテーブル式のすべての行を保持します。 戻り値はこのウィンドウの行セットの値を使用して計算されます。ウィンドウはテーブルの各行に、追加の属性を計算するために使用する行のセットを定義します。ウィンドウはウィンドウ仕様 (OVER 句) を使用して定義され、次の 3 つの主要な概念に基づいています。 ウィンドウのパーティション、列のグループを形成 (PARTITION 句) ウィンドウの並び順、各パーティション内の行の順序またはシーケンスの定義 (ORDER BY 句) ウィンド
Amazon RedshiftとTableauによるビッグデータ分析 〜 Tableau Desktopを使ってみた 〜 | DevelopersIO
お盆真っ盛り＆暑さ最高潮＆夏休みムード漂う今日この頃ですが皆様いかがお過ごしでしょうか。 最近はAmazon Redshiftに関して色々調査実践等を行なっているのですが、Amazon Redshiftで収集したビッグデータを扱う『分析ツール』もまた欠かせないものであると思います。今回、BI(ビジネス・インテリジェンス)ツールとして『Tableau』という企業の製品が良い感じですよ、という情報を得たのでトライアル版を導入し、動作確認やRedshiftとの連携等を試してみました。 目次 Tableau Softwareとは Tableau Softwareの製品一覧 Tableau Desktopを試しに使ってみる Tableau Desktop: オンライン無料入門トレーニング Tableau製品に関する各種ドキュメント Amazon Redshiftとの連携 まとめ Tableau So
無印良品の顧客動向をディープに探るRedshiftとトレジャーデータ (1/2) | ASCII.jp
「無印良品」を展開する良品計画は、実店舗と無印良品ネットストアの統合を目指した会員制サービス「MUJI passport」を昨年から展開している。両者の十億件におよぶデータ解析を実現するべく、良品計画では2つのクラウド型ビッグデータ解析ツールを使い分けている。 2つのクラウド型サービスでデータ解析を行なう 衣料品や家具、雑貨、日用品、食品などのオリジナル商品を販売する「無印良品」。自然の素材を活かし、生活になじむシンプルさを持った商品は、多くのファンを抱えている。無印良品の店舗は国内外ですでに640店舗に上っており、特に中国においては2013年度末に100店舗体制となっている。 このように「良品」へのあくなきこだわりと積極的なグローバル展開を続ける同社は、2013年に導入した新しい会員サービス「MUJI passport（ムジパスポート）」と無印良品ネットストアにおいて、数十億件におよぶビ
気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 | DevelopersIO
始めに 私は8年ほど前に情報処理試験でデータウェアハウスというものがあるということを知りました。当時は4択問題で問題文に 意思決定支援 というキーワードが出てきたら何なのかよく分かんないけど選択してました。それからずっと興味がありながら実物に触ったことはなかったのですが、クラウド型のデータウェアハウスが登場し触る機会を得ることができました。以前に比べデータウェアハウスはかなり身近なものになってきたのではないでしょうか。弊社でもAmazon RedshiftというAWSのサービスを利用した案件が増えてきています。 クラスメソッド、POSデータ数十億件をリアルタイム分析する基盤を「Amazon Redshift」「Tableau」で開発 この記事ではデータウェアハウスの知識から分析ツールを使ってAmazon Redshiftに接続するところまで簡単にまとめています。実際にどんなものか、触ったこ
POSデータ数十億件のリアルタイム分析基盤を開発、クラスメソッド
POSデータ数十億件のリアルタイム分析基盤を開発、クラスメソッド：Amazon Redshift、Tableauを使い約1カ月で構築完了 モバイルデバイスとクラウド環境でのシステム／サービス開発を手掛けるクラスメソッドは3月3日、すかいらーくグループのPOSデータを格納し、地図・天気・クーポンなどの周辺情報と組み合わせて、リアルタイムに分析を行う基盤を設計、開発、構築支援したことを発表した。クラスメソッドは構築後のインフラ運用や監視も行う。 クラスメソッドは相談を受けてから約1カ月で構築を完了。使用した主な技術・サービスは以下の通り。 データウェアハウス（DWH）：Amazon Redshift ビジネスインテリジェンス（BI）ツール：Tableau Desktop／Tableau Server データ格納先：Amazon S3（Amazon Simple Storage Service）
AWS News Blog
Unify DNS management using Amazon Route 53 Profiles with multiple VPCs and AWS accounts If you are managing lots of accounts and Amazon Virtual Private Cloud (Amazon VPC) resources, sharing and then associating many DNS resources to each VPC can present a significant burden. You often hit limits around sharing and association, and you may have gone as far as building your own orchestration layers
［号外］テラバイト級全件データを数秒で処理！ 新しいSSD版Amazon Redshiftインスタンスは“衝撃の速さ” | gihyo.jp
AWS・Amazon Redshift Monthly Updates ［号外］テラバイト級全件データを数秒で処理！ 新しいSSD版Amazon Redshiftインスタンスは“衝撃の速さ” 2014年1月24日にAmazon Redshift の新しいSSDインスタンスタイプがリリースされました。 AWS発表のブログ記事 【AWS発表】Amazon Redshiftにさらに高速で費用対効果の高いSSDベースの新しいノードが追加 リリース後すぐにそれぞれAmazon Redshiftが利用可能なリージョンで使えるようになったので、さっそくFlyDataチームでもこの新しいインスタンスタイプを試してみました。以前、Amazon Redshiftが最初に公開された時に私たちはHadoop＋Hiveとのベンチマークを実行し公開したのですが、その時と同じ前提で今までのHDDバージョンとSSDバージ
AWS News Blog
Subscribe to AWS Daily Feature Updates via Amazon SNS Way back in 2015 I showed you how to Subscribe to AWS Public IP Address Changes via Amazon SNS. Today I am happy to tell you that you can now receive timely, detailed information about releases and updates to AWS via the same, simple mechanism. Daily Feature Updates Simply subscribe to topic arn:aws:sns:us-east-1:692768080016:aws-new-feature-up
AWS News Blog
In the Works – AWS Region in Malaysia We launched an AWS Region in Australia earlier this year, four more (Switzerland, Spain, the United Arab Emirates, and India) in 2022, and are working on regions in Canada, Israel, New Zealand, and Thailand. All told, we now have 99 Availability Zones spread across 31 geographic regions. Malaysia in the Works Today I am happy […] New – Amazon Lightsail for Res
Tableau から Amazon Redshift につないでみた - 技術ノート
2013-08-22 Tableau から Amazon Redshift につないでみた Amazon Redshift は触ってないといけなさそうなご時世なので、かるく試してみた。 参考にしたページ: Amazon Redshiftではじめるビッグデータ処理入門 Amazon RedshiftとTableauによるビッグデータ分析 〜 Tableau Desktopを使ってみた 〜 ちょっと試すだけなら、あまりに簡単でびっくり。 公式のチュートリアルにある例をTableauで再現してみた。 Find total sales on a given calendar date. SELECT sum(qtysold) FROM sales, date WHERE sales.dateid = date.dateid AND caldate = '2008-01-05'; 一日だけ表示しても
Redshiftのことを話してきました - まめ畑
先日、cloudpack Night #7 - A New Hope - on ZusaarでRedshiftの話をしてきました。 今回のcloudpack nightは各社若手新卒のLTの初々しい感じで始まって、懇親会までAWSの深い話が続いていました。 そこで、Redshiftの利用事例を話してきました。 会場にはRedshiftユーザの方が少なかったのですが、それ以上にWLM周りを知っている方が少なかったです…特にdefault 5並列のため並列度のベンチマークをとる時に6並列を超えた当たりから性能が悪くなっていくというのはこちらに起因していることが多いです。 他に、ProductionとDevelopmentを同一クラスタで使う場合の事も話しました。 少し直したスライドを乗っけておきます。 USTはこちら Video streaming by Ustream 時間の都合で掲載出来な
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CloudFront、RedshiftなどAWSが支える動画広告の舞台裏～インフラのイノベーションがもたらす動画広告のイノベーション～
RedshiftはDWHだけじゃない
