AWS Glue – 一般提供開始 | Amazon Web Services
Amazon Web Services ブログ AWS Glue – 一般提供開始 本日、AWS Glue の一般提供開始がアナウンスされました。Glue はフルマネージドでサーバレス、そして、クラウド最適化された ETL(extract, transform, load) サービスです。Glue は他の ETL サービスやプラットフォームと、いくつかのとても重要な点で違いがあります。第1に、Glue はサーバレスです — リソースのプロビジョニングや管理を行う必要はありません。ジョブ、もしくは、クローリングを実行している間に Glue が使用したリソースに対する支払いのみで利用可能です(分単位課金) 。第2に、Glue のクローラです。 Glue のクローラは、複数のデータソース、データタイプ、そして、様々な種類のパーティションを跨いで、スキーマを自動的に検出・推測することができます。ク
Amazon AthenaでETLした結果をRedshiftにロードしてみる | DevelopersIO
先日の Black Beltオンラインセミナー「Amazon Athena」で、Athenaの想定ユースケースとして「開発者が、大規模でない生データに対して、低頻度でETL処理をする」という話を聞き、実際に Athena で ETL して Redshift にロードしてみることにしました。 サンプルデータ サンプルデータは下記データをダウンロードし、対象シートを[Orders]のみをS3ファイルに保存して、Athenaで orders_jp テーブルとして定義したものを利用します。 Superstoreサンプルデータ（不具合修正版） |Tableau Community シナリオ 日本国内の売上情報が含まれるデータファイルがS3上に存在する。データファイルから製品カテゴリ〜製品毎の売上と利益率のデータマートを作成して、BIツールから参照できるようにこのデータマートをRedshiftにロード
【祝】Amazon Athena が東京リージョンにやってきました | DevelopersIO
おはようございます。藤本です。 本日、うれしいアップデートがありました。ついに Amazon Athena が東京リージョンにやってきました。東京リージョンリリースを待っていた方も多いのではないでしょうか？ Amazon Athena is now available in Asia Pacific (Singapore) and Asia Pacific (Tokyo) Amazon Athena Amazon Athena は S3 にある CSV、JSONなどのテキストファイルから SQL によってデータの抽出や集計を行えるサービスです。弊社ブログでも色々なことを試していますので是非ご覧ください。 Athena – 特集カテゴリー – 東京リージョンにやってきたことで何が嬉しい？ 今までは US、ヨーロッパの 4リージョンでサービス提供されていました。Amazon Athena は別
Redash が Amazon Athena を正式サポートしたので試してみた | はったりエンジニアの備忘録
最近、個人事業のお仕事で Redash を使ったデータ分析をやっています。データ分析は「10 年戦えるデータ分析入門」を読んで興味を持っていたので、とてもいい機会をいただきました。 今回は RDBMS の他に S3 にあるログデータも分析したいので Athena を使うつもりですが、ちょうど Redash が Athena を正式サポートしたので試してみました。 Amazon Athena + Redash = ♥ ちなみに、2 月 7 日時点で Athena が使えるのは Hosted 版だけです。自分のサーバにインストールする OSS 版は v1.0.0 で対応するようなので、もう少し待ちましょう（OSS 版は v1.0.0-rc.1 までリリースされています）。 If you run Redash on-premise, you can either wait for the v1.
Amazon、AWS S3の料金体系をシンプルにして値下げ
また、クラウドアーカイブサービス「Glacier」の取り出し料金体系も変更し、「Standard」「Expedited」「Bulk」の3つのプランになる。Standardが従来のプランで、Expeditedはデータ取り出し速度が1～5分と高速になる分、1GB当たり3セント、1リクエスト当たり1セント掛かる。Bulkは取り出し速度が5～12時間で1GB当たり0.25セント、1000リクエスト当たり2.5セント。Glacierの新しいプランも12月1日から有効になる。 関連記事 「VMware Cloud on AWS」──VMwareとAmazonがハイブリッドクラウドで提携 2月にIBMとのハイブリッドクラウドでの提携を発表したVMwareが、今度はAWSとの提携で「VMware Cloud on AWS」を発表した。AWS上にvSphereベースの環境を作り、オンプレミスの環境とシームレ
AWS Solutions Architect ブログ
こんにちは、ソリューションアーキテクトの岩永です。 Principal Solutions ArchitectのIan MeyersがAWS Big Data Blogに投稿した A Zero-Administration Amazon Redshift Database Loaderを翻訳しました。AWS Lambdaを利用して、S3にファイルが上がったら自動でAmazon Redshiftにデータを投入できるようになります。DynamoDBを利用したジョブ管理なども参考になる部分があるかと思います！ この新しいAWS Lambda ファンクションによって、Amazon Redshiftへのデータロードが今までになく簡単になります！Amazon S3の好きな場所にファイルをpushするだけで自動的にAmazon Redshiftクラスタにロードされます。 AWS Lamda を Amaz
S3にアップロードしたCSVファイルをLambda経由でAmazon RedshiftにCOPYする – AWS Lambda Advent Calendar 2014：2日目 | DevelopersIO
S3にアップロードしたCSVファイルをLambda経由でAmazon RedshiftにCOPYする – AWS Lambda Advent Calendar 2014：2日目 先日米国ラスベガスで開催された『re:Invent 2014』にて発表されたAWS Lambdaに関するエントリを12/01から12/25まで毎日1本ずつ書いていくアドベントカレンダー『AWS Lambda Advent Calendar 2014』。このエントリは2日目の内容となります。 AWS Lambda Advent Calendar 2014 - Qiita AWS Lambda 先日1日目のエントリはharuyoshさんの『Lambdaからhttpリクエスト』でした。 Lambdaからhttpリクエスト - Qiita 本日2日目のエントリは『S3にアップロードしたCSVファイルをLambda経由でAm
Amazon CloudFront の障害に備えてフェイルオーバーを設定する - Qiita
日本時間 2014/11/27 の AM9時〜AM11時頃まで、全世界的に Amazon CloudFront に障害がありました。 CDNとして CloudFront を利用しつつ、障害時にはフェイルオーバーする方法をまとめました。 S3 CloudFrontのOriginがS3でない場合は、この項の設定は関係ありません。 CloudFrontのOriginとしてS3を使う場合、以下のようにします。 file.example.jp のような、使いたいドメイン名で S3バケット を作る Static Website Hosting を有効にしておく ドメイン名のバケットで Static Website Hosting が有効になっていないと、後述の Route53 の Alias Target に設定できません。 Health Check Route53 の Health Checks を
Amazon Glacier と AWS CLI 1.0 で格安バックアップ環境を作る - ほとラボ
Amazon Glacier 使ってバックアップ環境つくりたいなー でも rsync 的な使い方したいけどどうやってやったらいいかわからないなー と思っていたら、先日 AWS CLI 1.0 がリリースされて新しくsyncコマンドが使えるようになったので、これはチャンスと思い手を出してみた次第。 AWSまわりを軽く説明 知ってる人は読まなくていいです。 Amazon S3 Amazonのクラウドストレージ。 Dropboxのバックエンドなんかにも使われている、Web開発者にはお馴染みのアレ。 特筆すべきは 99.999999999%(イレブン・ナイン) の堅牢性。 なんだかよくわからないけどめっちゃ9が並んでるから多分すごい（小並感 Amazon Glacier 同じく、Amazonのクラウドストレージ。 価格が 1GBあたり1円/月(S3の約10分の1) とかなり安いが、データをダウンロ
Amazon CloudFrontのキャッシュファイルを削除する - Fragments of Works
CloudFrontなんかをなんか使っています Amazon CloudFrontはいわすと知れたコンテンツ配信サービス。Contents Delivery Networkってやつ。オリジナルファイルをAmazon S3などのストレージサーバー（オリジンサーバー）に格納すると、そこからデータを持ってきて、最良のパフォーマンスで配信できるようにしてくれる。まあなんか、いくつかのエッジロケーションを持ってて、ユーザーが最もストレスなくデータのやり取りができるところに自動的にルーティングしてくれたり、いい感じにやってくれる。リクエスト数がハンパないコンテンツ運用に便利！ってことらしい。転送量に応じて課金される。 詳しくはこちら。 Amazon CloudFront 私が運用しているサイトはAmazon S3とCloudFrontを組み合わせて使っていて、S3にオリジナルファイルをのっけると、Cl
Natural-wave.com
Natural-wave.com This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: Contact Lens find a tutor Best Mortgage Rates Credit Card Application Best Penny Stocks Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy|Cookie settings|Do Not Sell or Share My Personal Information
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
