AWS での分析サービスに関する意思決定ガイド
データは、アプリケーションやユーザーによって安全にアクセスおよび分析される必要があります。データは新しく多様なソースから得られており、その量は前例のない速度で増大しています。組織はデータの価値を抽出する必要がありますが、今日における先端的なビジネスによって生成されるデータをすべて取得、保存、分析するために苦戦しています。 これらの課題に対処するには、分析とインサイトを得るためにサードパーティーデータを含むすべてのデータサイロを解消し、エンドツーエンドのガバナンスを整えた上で、組織内の全員がそれらのデータを利用できるようにする、最新のデータアーキテクチャを構築する必要があります。また、分析と機械学習 (ML) システムを接続して予測分析を可能にすることもますます重要になっています。 この意思決定ガイドは、AWS サービス上に最新のデータアーキテクチャを構築するために適切な質問をするのに役立ち
無印良品の顧客動向をディープに探るRedshiftとトレジャーデータ (1/2) | ASCII.jp
「無印良品」を展開する良品計画は、実店舗と無印良品ネットストアの統合を目指した会員制サービス「MUJI passport」を昨年から展開している。両者の十億件におよぶデータ解析を実現するべく、良品計画では2つのクラウド型ビッグデータ解析ツールを使い分けている。 2つのクラウド型サービスでデータ解析を行なう 衣料品や家具、雑貨、日用品、食品などのオリジナル商品を販売する「無印良品」。自然の素材を活かし、生活になじむシンプルさを持った商品は、多くのファンを抱えている。無印良品の店舗は国内外ですでに640店舗に上っており、特に中国においては2013年度末に100店舗体制となっている。 このように「良品」へのあくなきこだわりと積極的なグローバル展開を続ける同社は、2013年に導入した新しい会員サービス「MUJI passport（ムジパスポート）」と無印良品ネットストアにおいて、数十億件におよぶビ
Amazon Redshift FAQs - Cloud Data Warehouse - Amazon Web Services
Tens of thousands of customers use Amazon Redshift every day to run SQL analytics in the cloud, processing exabytes of data for business insights. Whether your growing data is stored in operational data stores, data lakes, streaming data services or third-party datasets, Amazon Redshift helps you securely access, combine, and share data with minimal movement or copying. Amazon Redshift is deeply i
Amazon Redshift 新機能：『Elastic Resize』で短時間でのノード数変更(リサイズ)が可能になりました | DevelopersIO
日本時間の2018年11月16日、下記ツイートにありますようにAmazon Redshiftにて『Elastic Resize』なる機能・仕組みが新たに導入されました。 Today's #AWSLaunches! 3/5 ⭐ AWS Cost & Usage Reports add Athena integration, Apache Parquet Output & Report Overwrite ⭐ Amazon Redshift announces Elastic resize, so you can add & remove nodes in minuteshttps://t.co/r8ekyCt1bR pic.twitter.com/6469grjiY4 — Amazon Web Services (@awscloud) 2018年11月16日 Amazon Redshift
［号外］テラバイト級全件データを数秒で処理！ 新しいSSD版Amazon Redshiftインスタンスは“衝撃の速さ” | gihyo.jp
AWS・Amazon Redshift Monthly Updates ［号外］テラバイト級全件データを数秒で処理！ 新しいSSD版Amazon Redshiftインスタンスは“衝撃の速さ” 2014年1月24日にAmazon Redshift の新しいSSDインスタンスタイプがリリースされました。 AWS発表のブログ記事 【AWS発表】Amazon Redshiftにさらに高速で費用対効果の高いSSDベースの新しいノードが追加 リリース後すぐにそれぞれAmazon Redshiftが利用可能なリージョンで使えるようになったので、さっそくFlyDataチームでもこの新しいインスタンスタイプを試してみました。以前、Amazon Redshiftが最初に公開された時に私たちはHadoop＋Hiveとのベンチマークを実行し公開したのですが、その時と同じ前提で今までのHDDバージョンとSSDバージ
気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 | DevelopersIO
始めに 私は8年ほど前に情報処理試験でデータウェアハウスというものがあるということを知りました。当時は4択問題で問題文に 意思決定支援 というキーワードが出てきたら何なのかよく分かんないけど選択してました。それからずっと興味がありながら実物に触ったことはなかったのですが、クラウド型のデータウェアハウスが登場し触る機会を得ることができました。以前に比べデータウェアハウスはかなり身近なものになってきたのではないでしょうか。弊社でもAmazon RedshiftというAWSのサービスを利用した案件が増えてきています。 クラスメソッド、POSデータ数十億件をリアルタイム分析する基盤を「Amazon Redshift」「Tableau」で開発 この記事ではデータウェアハウスの知識から分析ツールを使ってAmazon Redshiftに接続するところまで簡単にまとめています。実際にどんなものか、触ったこ
Amazon Redshift Performanceビューから読み解くアクティビティと監視のポイント | DevelopersIO
Amazon Redshift が標準で提供している Redshift Console は 複数ノード構成のアクティビティの確認に便利な Performance ビューを提供しています。今回はメトリックスの読み解き方と、CloudWatchへのアラーム設定のポイントについてご紹介します。 Performance ビューとは Performance ビューとは Redshift メトリックスに対して、ノードごとのアクティビティをグラフ表示することで、Redshift の稼働状況をひと目で確認できる便利な機能です。また、メトリックスに対して、CloudWatchのしきい値とアラーム設定をすることで、これらアクティビティの監視を自動化できます。 メトリックスの目のつけどころ まずは各メトリックスの目的と、着目するポイントについて、ざっくりと解説します。 以下のメトリックスの例は、データをロード（
Cloud Data Warehouse - Amazon Redshift - AWS
Amazon Redshift Power data driven decisions with the best price-performance cloud data warehouse Tens of thousands of customers use Amazon Redshift every day to modernize their data analytics workloads and deliver insights for their businesses. With a fully managed, AI powered, massively parallel processing (MPP) architecture, Amazon Redshift drives business decision making quickly and cost effec
BigQuery vs Athena vs RedShift vs Hive - Qiita
オブジェクトストレージの料金 お金は大事ですね． まずはストレージの料金から比べます． 料金は各種操作にかかりますが，特にドミナントなのはストレージ代と転送量だと思うのでこれ以外はめんどくさいのでスルー． 料金系は変動が激しそうなので，まずリンクを貼ります． S3 GCS とりあえず検証時点では，こちらの想定するデータ量で以下の通りでした． (東京リージョン) S3 Storage料金: $0.025 / GB 転送料金: $0.14 / GB GCS Storage料金: $0.023 / GB 転送料金: $0.14 / GB よっぽどデータが大きくない限り大した差にはならないので，決め手にはならないでしょう． 後日談の方でも少し述べますが，ストレージの機能としては若干S3の方が優れている気がしたので，若干高いのもまぁ妥当だと思います． 料金 こちらもまずはリンクを. Athena R
Amazon Redshift Spectrumが新たにサポートした『ネスト化されたデータに対するクエリ』を実際に試してみました | DevelopersIO
はじめに 昨年2017年11月の re:Invent2017 にて紹介された Redshift Spectrum の Nested Data のクエリ実行がついにサポートされました。Nested Data サポートは、ファイル形式が Parquet、ORC、JSON、Ion のネストデータを struct、array、map の複合データ型を使用して外部テーブルを作成できます。Ionフォーマットのクエリと、要望の多いjsonのクエリについて、クエリを実際に試してみたいと思います。 JSONやIonフォーマットの対応については以前のブログを御覧ください。 Amazon Redshift Spectrum がスカラーJSONおよびIonデータ型をサポートしたので試してみました Nested Data サポート Nested Data サポートは、複合データ型（map、struct、map）とい
課題が山積みだったモンストのデータ分析は、ディメンショナル・モデリングでどう変わったのか？【デブサミ2018 夏】
世界累計利用者数4500万人を突破した大人気スマートフォンゲーム「モンスターストライク（以下、モンスト）」。本ゲームを提供しているのが株式会社ミクシィ XFLAG スタジオだ。かつて同社はデータ分析において大きな課題を抱えていた。その状態を解決すべく、データウェアハウスの設計手法 ディメンショナル・モデリングを導入したのだという。本セッションではXFLAG スタジオが取り組んだ分析基盤改善の軌跡を、データエンジニアの生島光氏が語った。 講演資料：データウェアハウスの設計手法『ディメンショナル・モデリング』のすすめ 株式会社ミクシィ XFLAG スタジオ モンスト事業本部 ゲーム運営部 解析グループ 解析チーム データエンジニア 生島光氏 データ分析の作業が、とにかく非効率的になっていた かつて、XFLAG スタジオではAmazon Redshift（AWSが提供するデータウェアハウスサービ
API Gateway + Lambda のCloudFormationテンプレート | DevelopersIO
渡辺です。 日本列島が酷暑とのことですが、札幌は23-4℃となっております。 書く機会があったので。 適当に修正してご利用ください。 /Lambda関数名 というリソースを定義し、POSTで対応するLambda関数を呼び出すテンプレートです。 --- AWSTemplateFormatVersion: 2010-09-09 Description: "API Gateway" Parameters: FunctionName: Type: String Description: "Lambda Function Name (ex: hello-world)" Resources: Api: Type: "AWS::ApiGateway::RestApi" Properties: Name: "api" Resource: Type: "AWS::ApiGateway::Resource"
Amazon API Gateway で Request/Response パラメーターと Status の上書きが可能に
Amazon API Gateway でバックエンド API コードを変更することなく、request/response パラメーターと response ステータスを上書きできるようになりました。 body のコンテンツをベースに response ステータスコードを再マップできるようになりました。また、response ヘッダーのほか request ヘッダー、クエリストリング、パスパラメーターなども、body、他のパラメーター、ステータスコードをもとに上書きできます。たとえば、レガシーのバックエンド API が「Input field out of range」の body コンテンツとともに 200 HTTP ステータスコードを返したとしたら、4xx のステータスコードを戻すよう、API を再マップできるようになります。request/response パラメーターとステータスの上
Amazon API Gateway Increases API Limits
Starting today, Amazon API Gateway has increased the number of APIs and the request rate limit for creating and importing regional and private APIs. These limit increase enable you to better develop, deploy, and scale your API Gateway APIs. The number of APIs per account has been increased to 600 regional APIs, 600 private APIs, and 120 edge APIs. Now, you can create and import regional and privat
Amazon API Gateway の使用量プランがメソッドレベルのスロットリングをサポート
Amazon API Gateway の使用量プランにおいて、メソッドレベルでスロットリングを設定することにより、個々のメソッドに対するリクエストを異なるレートで調整できるようになりました。 使用量プランでは、特定のリクエスト率とリクエストクォータで選択した API に対するアクセスを許可できるようになりました。メソッドレベルのスロットリングが使用量プランに含まれるようになったことにより、個別のクライアント API キーに異なる API メソッドでスロットリング (レートおよびバーストの制限) を設定できます。これで、ユースケースに基づいて API に対するより細やかなアクセス制限が設定可能になります。 API の使用量プランにおけるメソッドレベルでのスロットリングは、AWS マネジメントコンソール、AWS CLI、AWS SDK のいずれかを使用して設定できます。Amazon API G
【API Gatewayタイムアウト対策】Step Functionsを組み合わせて非同期処理にしてみる | DevelopersIO
API Gatewayにはタイムアウトの制限があるため、Lambdaで長めの処理を行い、処理結果をレスポンスとして返す場合は非同期の構成にする必要があります。Step Functionsと組み合わせることで、比較的簡単に非同期にできたのでご紹介したいと思います。 どうも！大阪オフィスの西村祐二です。 下記図のような、webサイト上のボタンをクリックし、API Gatewayを経由しLambdaで処理を実行し、その処理結果をブラウザに表示するといった構成はよくあるパターンかと思います。 このような構成で躓くところとして、API Gatewayのタイムアウト制限があります。遭遇場面としてはLambdaで時間のかかる処理をしたときに遭遇することがあります。現状（2018/7/3時点）、API Gatewayは最大29秒でタイムアウトする制限となっています。つまり、29秒以内にレスポンスを返し、裏
API GatewayによるMicroservices化
API GatewayによるMicroservices化 mercari.go#1 3 July 2018 Taichi Nakashima About me @deeeet / @tcnksm (GitHub) Blog on deeeet.com Tech lead at Mercari microservices platform team 2 Mercari Meetup for Microservices Platform 7/19 遊びに来てくれ！ https://mercari.connpass.com/event/92168/ 3 tl;dr Mercari Microservices化のために開発したAPI Gatewayについて紹介する． API Gatewayとは何か? API Gatewayの設計思想は? API Gatewayの機能の実装方法は? API Gate
API GatewayのMapping Templateの記法 - Qiita
はじめに API GatewayのMapping Templateは非常に強力なツールですが、その活用方法についてはまとまった資料が無いので以下に整理しました。 Apache VTL Mapping Templateの記法はApacheのVelocity Template Languageが用いられています。これ、Apacheのヘビーユーザーには慣れた言語かもしれませんが、僕のようなアプリケーションエンジニアには馴染みのないものでした。しかし、こAPI GatewayをHTMLのテンプレートエンジンとして活用してみようという僕の思惑にぴったりと当てはまるものだったので、きちんと把握するためにも以下に主な記法をリストアップしました。 変数の宣言と代入
API Gateway での REST API へのアクセスの制御と管理 - Amazon API Gateway
API Gateway は API へのアクセスを制御し管理する複数のメカニズムをサポートしています。 認証と認可に次のメカニズムを使用することができます。 リソースポリシーを使用して、特定のソース IP アドレスまたは VPC エンドポイントから、API およびメソッドへのアクセスを許可、または拒否するリソースベースのポリシーを作成できます。詳細については、「API Gateway リソースポリシーを使用して API へのアクセスを制御する」を参照してください。 標準 AWS IAM ロールとポリシーは、API 全体または個々のメソッドに適用できる柔軟で堅牢なアクセスコントロールを提供します。IAM ロールとポリシーを使用して、API を作成および管理できるユーザーと、API を呼び出すことができるユーザーを制御できます。詳細については、「IAM アクセス許可により API へのアクセス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大規模ログ分析におけるAmazon Web Servicesの活用
