Amazon RedshiftにJSONフォーマットのデータをインポートする ｜ DevelopersIO
Amazon Redshiftに於けるデータのインポートでは、代表的なところだとCSV(カンマ区切り)やTSV(タブ区切り)形式のものを取り込む事が多いかと思いますが、JSON形式のファイルインポートにも実は対応しています。 JSON 形式からの COPY - Amazon Redshift / COPY from JSON format - Amazon Redshift そこで当エントリでは、Amazon RedshiftへのJSONデータ取り込みについて紹介・実践してみたいと思います。(※上記リストにあるように日本語ドキュメントも整備されてますので、ポイントだけ掻い摘む形で) 目次 JSONとは Amazon RedshiftへのJSONファイルの取り込み方法 手順1.jsonpathsオプションを使い、取り込むファイルの内容・順番を テーブル項目名と一致した名前の指定で取り込む場合
S3 へのアクセスを TLS 1.2 に限定！ 新しく追加された IAM 条件キー s3:TlsVersion を使ってみた | DevelopersIO
S3 へのアクセスを TLS 1.2 に限定！ 新しく追加された IAM 条件キー s3:TlsVersion を使ってみた コンバンハ、千葉（幸）です。 2020年12月のアップデートで、以下の Amazon S3 の IAM 条件キーが追加されました。 s3:ResourceAccount s3:TLSVersion 前者は使い方がパッと分かったのですが、後者はいまいち分からず……。 手探りで確認した結果、大まかに使い方が分かりましたので、ご紹介します。 まとめ "s3:TlsVersion": "1.x"の書式で使用する 以下クライアントによる S3 アクセスは基本的に TLS 1.2 で行われる AWS マネジメントコンソール AWS CLI AWS サービス AWS 製エージェント 条件キーの想定される主な用途は S3 アクセスを TLS 1.2 に限定すること 「 TLS 1.
S3からGCSへのデータ転送（AWSのIAM情報もらうパターン）｜ucwork
普段はGCP(GCS)ばっかり使ってて 「別クラウドからデータ受領」みたいなことをしたことなかったので 社外のどっかの会社がAWS(S3)にデータを配置してる想定で 社内のGCP(GCS)にデータを転送するシチュエーションをやってみた データ転送パターン1. インターネット（https）経由 a. こちらからAWS(S3)にアクセスしてGCP(GCS)にデータ転送★ b. 相手の会社の担当がAWS(S3)からGCP(GCS)にデータ転送 2. インターネットVPN（IPsec）経由 a. インターネット経由はヤダって言われた時によりセキュアな提案 3. 専用線経由（Partner/Dedicated Interconnect） a. インターネットVPNすらダメで、専用線繋いでよ！と言われた場合 上記のようなパターンが考えられるが とりあえず、★の「インターネット経由＆こちらからAWSにア
S3を使ってファイルを共有したい｜NUMAGUCHI, Shigeru
WordやPowerPoint, PDFなどのちょっとしたファイルは、あまり良い方法ではないことを理解してはいるのですが、zipにしてメール添付で転送し、他のユーザーに送ることはあります。ただ、動画ファイルとなると、20-30MBは当たり前、1GB近くになるものも扱うようになり、これをメールに添付はさすがにダメだろう、、、となります。 同じ会社内であれば、ネットワーク上のファイルサーバーなどで共有しますが、外部の協力会社やパートナー、お客様と共有するとなると、何を使うべきか悩むところです。 クラウドベンダーのネットワークドライブサービスを使う人も多いですし、実際、個人のアカウントで使いなれているサービスが１つくらいはあるでしょう。Google ドライブや Microsoft の OneDrive などは使っている方も多いでしょう。 一方でAWSのストレージサービスといえばAmazon S3
S3アップロードをCircleCIで自動化して簡単Webサイト運用 - Qiita
ポートフォリオサイトを作りたいなと思い、S3のWebサイトホスティングで作りました。 折角なので、CircleCiを活用して、GitHubにコードやファイルをpushするとS3へ自動デプロイされる構成としました。以下にその流れを書いていきます。 1. IAMの設定 CircleCIの環境に設定する、IAMユーザーを作成します。 先ずは、IAMの画面からS3へのアクセスポリシーを作成します。 今回はIAMの画面の「ポリシー」の画面から s3-auth という名前のポリシーを作成しました。ポリシーは以下の通り記載します。 { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:PutObject", "s3:DeleteObject", "s3:ListBucket" ], "Resource
Amazon S3 バケットアクセスを特定の IP または VPC に制限する
特定の Amazon 仮想プライベートクラウド (VPC) エンドポイントまたは特定の IP アドレスから送信されていないトラフィックをすべてブロックしたいと考えています。または、Amazon Simple Storage Service (Amazon S3) バケットを使用して静的ウェブサイトをホストしています。ウェブサイトには、特定の VPC エンドポイントまたは IP アドレスからアクセスできる必要があります。 解決策 **警告:**この記事のバケットポリシーの例では、許可された VPC エンドポイントまたは IP アドレス以外のリクエストに対して明示的にアクセスを拒否します。バケットポリシーを保存するときは、事前に、内容をよく確認してください。 バケットポリシーを使用して、S3 バケットにアクセスできる VPC エンドポイント、VPC ソース IP アドレス、または外部 IP ア
5分でできるS3とCloudFrontを利用したセキュアな静的Webサイトの作り方 | DevelopersIO
5分強で設置できるセキュアなCloudFrontとS3の静的ウェブサイトの設定内容について紹介します。 AWSチームのすずきです。 CloudFrontとS3の静的ウェブサイトを採用する利点について、諏訪より紹介させて頂きました。 今回、実際の設置に利用しているCloudFormationテンプレートの紹介と、 主に非機能要件のため実施している設定内容について、紹介させていただきます。 設定 S3(静的コンテンツ) 静的ウェブサイト(WebsiteConfiguration)を有効としたS3バケットです。 S3Bucket: Type: AWS::S3::Bucket DeletionPolicy: Retain Properties: BucketName: !Sub '${AWS::StackName}' LifecycleConfiguration: Rules: - Id: Non
Amazon S3 でリダイレクトを扱う | DevelopersIO
試してみた それでは早速設定して動作を試してみましょう。 静的ウェブホスティングを有効化する まずはリダイレクト機能は S3 の静的ウェブホスティングの機能となりますので、S3 バケットの静的ウェブホスティング機能を有効化します。 マネジメントコンソールにログインし、S3 の画面から静的ウェブホスティングを有効化するバケットを選択します。 Properties から Static website hosting を選択します。現在は無効状態ですので、ステータスに Disabled が表示されています。 「Use this bucket to host a website」を選択し、Index document を設定します。今回は index.html で設定します。URL がフォルダへのアクセス時にフォルダの中の index.html を返す、という設定です。「Save」ボタンをクリック
CodePipelineでGitHub上のコードをS3にデプロイする - かべぎわブログ
概要 CodePipelineを利用してGitHub上のコードをS3にデプロイしてみたいと思います。 やりたいことはだいたい以下のようなかんじ。 手順 こんなかんじでできます。 マネジメントコンソールのCodePipelineから「パイプラインの作成」を選択します。 適当にパイプライン名をつけてあげて「次へ」を選択します。 ソースプロバイダをGitHubにし、「GitHubに接続」します。 新たにウインドウが立ち上がるので「Authorize aws-codesuite」を選択してAWSとGitHubを接続してあげます。 デプロイしたいリポジトリとブランチをえらんで「次へ」を選択します。 今回はビルドは行わないのでスキップします。 「ビルドステージのスキップ」を選択します。スキップしますか？みたいな確認メッセージが出ますが、かまわずスキップします。 デプロイプロバイダにS3を選択し、デプロ
Automate static website deployment from Github to S3 using AWS CodePipeline - sithum devops
Automatically deploy changes made to the GitHub repository of the static website to AWS S3. The change you make will be instantly available on live website yourdomain.com. You don’t need to clone the git repository to make changes. You can do it from the github.com website itself. After configuring the pipeline, you don’t need to login to AWS. Everything happens automatically under the hood. Aint
CloudFrontを使用してS3静的ウェブサイトを提供する手順 | DevelopersIO
S3静的ウェブサイトを、CloudFrontを通じて提供したいと思います。今回はいくつかの前提の元、実施してみました。 DNS管理者、AWS管理者、コンテンツ管理者がそれぞれ別の部などでわかれ、AWSにて提供するウェブサイトは随時増えていく想定です。 こんにちは、坂巻です。 S3静的ウェブサイトを、CloudFrontを通じて提供したいと思います。今回はいくつかの前提の元、実施してみました。 前提／構成 DNS管理者、AWS管理者、コンテンツ管理者がそれぞれ別の部等にわかれ、AWSにて提供するウェブサイトは随時増えていく想定です。イメージは以下となります。 DNS管理者 AWS外のネームサーバでDNSレコード設定等を行います。ドメイン、SSL証明書をAWS外で調達します。調達した証明書はAWS管理者に連携します。 AWS管理者 CloudFront、S3バケットなど、AWSの構築、管理を行
CloudFront を使用してプライベートコンテンツを供給する - Amazon CloudFront
インターネット経由でコンテンツを配信する多くの企業が、選ばれたユーザー (料金を支払っているユーザーなど) のドキュメント、ビジネスデータ、メディアストリーム、またはコンテンツに対して、アクセスを制限する必要があると考えています。CloudFront を使用してこのプライベートコンテンツを安全に供給するには、以下の方法を使用できます。 特別な CloudFront 署名付き URL または署名付き Cookie を使用してプライベートコンテンツにアクセスするようユーザーに要求します。 オリジンサーバー (Amazon S3 やプライベート HTTPサーバーなど) 上のコンテンツに直接アクセスするURLではなく、CloudFront の URLを使用してコンテンツにアクセスするようユーザーに要求します。CloudFront URL を要求する必要はありませんが、ユーザーが署名付き URL や
CloudFront+S3で署名付きURLでプライベートコンテンツを配信する | DevelopersIO
はじめに S3をWebコンテンツの置き場所として使う場合、Webアプリケーション側でそのS3上のコンテンツに対するPre-signed URLを生成することで、Webアプリケーションで認証されたユーザに限りコンテンツにアクセス可能とするような仕組みを作ることは良くあります。 ただしこのS3アクセス用として生成したPre-signed URLは、CloudFrontを経由した形では使えません。 CloudFront経由で、限られたユーザのみS3からコンテンツを取得出来るようにするためには、CloudFront用の署名付きURLを発行する必要があります。 そこで今回は、CloudFront+Amazon S3を組み合わせて、署名付きURLを使った制限されたコンテンツ(プライベートコンテンツ)の配信を試してみました。 やってみる 今回試したことは、以下のAWSのドキュメントを参照しながら行ってい
Amazon CloudFrontがIPv6に対応予定なのでウォッチするページを作ってみた | DevelopersIO
ども､大瀧です。 先日CloudFrontでアップデートがあり、IPv6対応がアナウンスされました。実際にIPv6アドレスが有効になるのは数週間程度かかるとのことなので、その状況をウォッチするページを作ってみました。 CloudFrontの設定 まずは、CloudFrontでIPv6を有効にする設定を確認しておきます。新規で作成するWeb Distributionでは、既定でIPv6が有効になります。既存Distributionでは、[Distribution Settings]の[General]タブに[Enable IPv6]という設定があるので、このチェックをオンにしましょう。 Route 53のエイリアスレコードをCloudFrontに設定している場合は、IPv6ホスト名に対応するAAAAレコードでエイリアスを追加します。 これでOKです。 ウォッチページのアーキテクチャ IPv6
S3でIP制限 - Qiita
S3でIP制限 静的なファイルの配置先としてS3を利用している場合、アクセス制限などを設けたい場合があります。どこからでもアクセスできるとセキュリティ的にもコスト的にもあれあので。 今回は特定のIPのみを許可する方法です。 実現方法 S3管理画面、特定のバケットの選択、プロパティを選択、 アクセス許可の欄より、バケットポリシーの編集をクリック 以下にてバケットポリシーを生成します。 http://awspolicygen.s3.amazonaws.com/policygen.html 説明は以下 Select Type of Policyは「S3 Bucket Policy」を選択 Effectは「Deny」 Principalは「*」アスタリスクですべて AWS Serviceは「Amazon S3」 すべてのアクセスに適用させたいなら「All Actions」にチェック Amazon
【AWS CloudFront + S3】Origin Access Identity を利用した S3 のアクセス制限 - クイック エンジニアリングブログ
こんにちは。クイックSREチームのみっちーです。 前回は、CloudFront+WAFを利用して、開発環境等のIP制限を実装する方法をご紹介しました。 引き続き今日は、S3へのアクセスを「特定のIPアドレス」または「CloudFrontからのみ」許可する設定をご紹介します。 CloudFront+S3のセットで利用する際は、 CloudFrontからのみ、S3へアクセス可能とする場合が多いのではないでしょうか。 ただその場合だと、同一名称でファイルを上げ直した時に、キャッシュが残って困る事があるかと思います。 （この点については、query stringを付けた運用をしているのであれば気にならないと思いますが・・・） そんなときは、今回ご紹介する方法を試してみて下さい。 S3へ直接アクセスが可能になるため、毎度キャッシュを消さなくても良いことが運用上のポイントです。 なお、今日ご紹介する方
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Terraformでdestroyするときに「BucketNotEmpty」が出たときの対処法 - Qiita
UI Testing using Selenium WebDriver and Chrome inside AWS Lambda
Amimoto サポート
AWS CloudFrontとS3、ALB(ELB)でSPAを構築する - ブロックチェーンエンジニアの備忘録