AWS S3, Athena, Glue を活用した統合データ分析基盤 - AWS RDS, Kintone, Freee のデータを一元管理 - Qiita
AWS S3, Athena, Glue を活用した統合データ分析基盤 - AWS RDS, Kintone, Freee のデータを一元管理AWSS3CloudFormationglueAthena 社内で RDS, Kintone, Freee など様々なサービスを使っていて、それらの情報をー箇所で集約し、分析するためのデータ基盤の必要がありました。 そのために以下の手順でデータ基盤を構築してみました。 データのまとめ：AWS Glue を用いてデータを S3 に抽出しカタログ化 データ加工：dbt-athena でデータ変換 クエリ実行：Athena でクエリ データ分析：Metabase でのデータ分析とお可視化 将来的に集めるデータ量が増加見込みなので、コスト効率と拡張性の面で S3 での保存は適切かと考えました。 また、開発チュー自体少人数なので、煩雑な管理作業を避けるためにサ
AWS認定ソリューションアーキテクト - プロフェッショナル更新時の記録 - Qiita
C01との大きな変更点として、第４分野だった「コスト管理」がなくなり、代わりに「複雑な組織に対応するソリューションの設計」の割合が上がっています。その他も分野の呼び方が変わったり少しずつ割合が変更されたりしています。 ※2024/01時点の最新バージョン(Ver.1.1)のものです。 バージョンアップで範囲等は変更されるので、受験時は公式サイトで確認してください。 AWS Certified Solutions Architect - Professional 認定 勉強開始前の状態 AWSで動いているアプリの開発/運用の業務を6年程度、現在も継続中。 AWS認定は昨年までに12個取得済み。前回のSAP(C01)受験から約3年。 AWS認定ソリューションアーキテクトを受験した時の話 AWS認定デベロッパーアソシエイトを受験した時の話 AWS認定SysOpsアドミニストレーターアソシエイトを
【Adjust AWS連携】AdjustのローデータをS3経由でRedshiftにエクスポートする - Qiita
スタートアップで働くRailsエンジニアです。 今回、Adjustローデータをユーザーの行動分析や広告効果の検証に活用しようということで、たまたまAdjust、S3、Redshiftを触る機会があったため作業メモとして残します。 Redshift、クエリの実行が早くて助かりますよね。Adjustローデータような大きなデータに対してクエリを実行して分析結果を得たいような場合、かなり良い選択肢ではないかと思います。 個人的にAdjust関連のドキュメントがとっつきにくかったため、アドテク分野そんなによくわからないけど急遽触ってみることになった、など私と同じ境遇の方の参考になれば幸いです。 やりたいこと Adjustローデータ ↓ csv形式で毎時自動アップロード S3 ↓ csvファイルのデータを1日1回コピー Redshift(サービス分析基盤) 前提 Redshift側は既存環境を利用(ク
gsutil で GCS から S3 にファイルを移動したい - Qiita
準備 サービスアカウント用意 該当するGCSにアクセスできるサービスアカウントを用意する。 鍵ファイル(JSON)を作成しダウンロード。/tmp にでも置いとく。
BigQuery・Glue・S3・QuickSightの連携 - Qiita
今回は、FirebaseAnalyticsからBigQueryにエクスポートしたデータをQuickSight上で、表形式で閲覧したいという要件を実現するための過程を記事にしました。 以前書いたこの記事の続きみたいな感じです。 なぜ、BigQueryのデータをわざわざQuickSightで見ようとするかというと、BigQuery上のデータとRDSのDBデータをガッチャンこして見たいという要件があり、少し回りくどく見えるような構成になっています。 要件を実現するための構成はこれ以外にも案はあると思いますが、考えた結果、これが最適と考えた末なので、何かいい案をお持ちの方がいれば優しく教えて欲しいです。（ここには出てこない隠れた要件も色々あるので最適な構成を考えるのはかなり難しかったです。） BigQuery・Glue・S3の連携について それぞれのツールについての概要の公式記事は以下です。 Bi
Amazon S3へのデータバックアップと世代管理設定 - Qiita
「重要なデータはクラウドバックアップ！」的なことが当たり前になりつつあるご時世ですが、バックアップデータのバージョン管理（世代管理）やライフサイクル設定の記事は意外と少ないです。今回はクラウドバックアップしているデータを復旧させるときにどの時点まで戻せるか（RPO）を考慮して、Amazon S3 へデータバックアップを行う場合の設定をお試ししたいと思います。 今回のゴール 毎日定時にサーバ内のデータをAmazon S3へバックアップし、５世代前まで保存する環境を構築する。（古い世代のデータは古い順に自動的に削除していく） 完成イメージ 前提条件 定期的にAmazon S3へデータバックアップできるサーバもしくはNAS がある ※今回はEC2を使います バックアップ先として利用するのはAmazon S3（Standard） 設定概要 [1] Amazon S3 のバケットの作成および世代管理
【AWS S3】S3 Presigned URLの仕組みを調べてみた - Qiita
はじめに S3上にあるファイルを一時的に不特定多数に公開したい場合や、IAM Userアカウントを持っていない人に対して一時的にファイルのダウンロード／アップロードさせたい場合があります。このような場合に用いることができる手段として「S3 Presinged URL」があります。 ググってみると、このURLの生成方法、利用方法についての説明はあるものの、その仕組みについて触れたものはほとんどなかったため、記事にまとめました。 TL;DR Presigned URLは特定のIAM Entity（IAM User/IAM Roleなど、AWS API操作主体となるもの）の権限で発行される Presigned URLによるファイルのダウンロード／アップロードは、このURLを発行したIAM Entityの権限で実行される Presigned URLは有効期限を持たせることができる Presigne
AWS CloudFormationでAmazon S3のブロックパブリックアクセスを設定するのに必要なアクセス許可設定 - Qiita
AWS CloudFormation(CFn)でAmazon S3(S3)のブロックパブリックアクセスを設定するのに必要なアクセス許可をCFnのエラーを信じたら騙されたのでメモ。 S3のブロックパブリックアクセスに関しては下記が参考になります。 Amazon S3 Block Public Access – アカウントとバケットのさらなる保護 | Amazon Web Services ブログ https://aws.amazon.com/jp/blogs/news/amazon-s3-block-public-access-another-layer-of-protection-for-your-accounts-and-buckets/ S3パブリックアクセス設定を試してみる - Qiita https://qiita.com/atsumjp/items/cb6ddf5e3df4bbf
AWSのみでサーバレスにURLリダイレクトする方法 - Qiita
よくあるケース あるサイト aaa.domain.com をとあるサーバで稼働しているが、bbb.domain.com というドメインに変更して、サーバも別インスタンスに移したい。 しかも、URL構造が変わっているので、単純にドメインごと転送、とかではダメだったりする。 こんな時どうするか？ よくあるのは、aaa.domain.com が動いているサーバのApacheとかにリダイレクトの設定を書くとかですよね。 でも、インスタンスをずっと動かしつづけないといけない。 AWSで全部できます できます。 route53でドメイン管理 まず、route53で、対象のドメインを管理するように設定します。 （もともと管理してあれば問題ないです。） サブドメイン単位でもroute53で管理対象にできます。こちら参照。 最初は、既存のDNSレコード設定をそのままroute53でも作ってから、NSレコード
AWS STSのAssumeRoleを利用してS3にアップロードしてみる - Qiita
AWS STSのAssumeRoleを利用して一時的セキュリティ認証情報を取得してS3にアップロードしてみたので内容をメモしておきます。 なお、IAMロール徹底理解 〜 AssumeRoleの正体 ｜ Developers.IOがロールを理解するためにとても参考になります。 一時的セキュリティ認証情報について 一時的なセキュリティ認証情報は利用期限があるAWSを利用するための一時的な認証情報である。 一時的であるのでたとえ外部に漏れたとしても時間がたてば使えなくなる。 アプリに埋め込みされた認証情報が漏れる場合に比べて安全になる。 ロールの継承とフェデレーショントークンの取得について 今回行ったのはロールの継承だが、以下のようなフェデレーショントークンの取得でも一時的セキュリティ認証情報は取得できる。 AWS - 一時的セキュリティ認証情報を使って、特定のS3バケットにアップロードする -
AWS Athena + QuickSightでS3に蓄積されたCSVデータを可視化 - Qiita
やりたい事 サービスの統計情報を取得するために、データベースの登録状況をバッチ処理でCSVに落として保存している運用をされている方は結構いらっしゃるのではと思います。そのS3データを簡単に可視化する方法として、AWS AthenaとQuickSightを利用してみました。 AWS Athena Amazon S3 内のデータを標準 SQL を使用して簡単に分析できるようになります。Athenaを利用の流れは以下のような形になります。 1.S3にバケットを作成して、分析したいCSVファイルを置く 2.AWS Athenaのコンソールでデータベースの作成 3.AWS Athenaのコンソールでテーブルを作成する 4.作成したデータベースに対して、SQLのクエリを発行して必要な情報のみ取得する。 SQLのクエリはPresto 0.172 に基づいていますので、通常のSQL文とは差分がありますので
HTTPSの静的コンテンツをホストするならs3よりNetlifyが俺の求めていたものだった - Qiita
事の発端 社内から静的コンテンツをホストしてHTTPS使える環境が欲しいんだよねー。と要望を受けた。 私はAWSが得意なので考えた。 「静的コンテンツならs3か」 「s3でHTTPSならs3の前段にCloudFrontでSSL証明書入れるか（ちょっと面倒だな）」 「CloudFrontにSSL入れるなら無料のACMだな」 「ACM使うならメール認証だしSES要るな（面倒くせぇ）」 「SESでメール受信するならs3・・・・・・・・・・」 ガシャーン！（ちゃぶ台の音） 「俺がしたいのはこれじゃない感」 ということで 何か上の環境を一発で作れるツールあるかなぁ。と調べているとNetlifyというサービスが引っかかった。 Netlifyってなに？ どうも静的コンテンツをホストしてくれて、SSLが使えるとな。Githubと連携して？ ふむふむ。使ってみよう。 ということでGithubにリポジトリを作
PHPアプリでファイルをクライアントからAWS S3に直接JavaScriptで送付する方法 - Qiita
こんにちはみなさん サーバサイドの実装やっていると、クライアントには一見すると容易いのに、サーバ側では困難な状況が発生している、ということがあります。 ファイルアップロードなんてまさにそれで、PHPだとアップロードしたファイルの分だけメモリを確保しよるので、下手に動画ファイルなんてあげられると、送信途中でメモリを使い尽くしてリクエストが落ちるなんて事態になります。 HD画質の長時間動画なんて送信された日には、数GBのメモリを使うので、使用するインスタンスのサイズもそれ相応に大きくしなければならなかったりして、費用効率もあまり良くないように思います。 というわけで、やり方を幾つか探ったところ、JavaScriptを使ってクライアントから直にS3へアップロードする技があったので、そいつを実現してみましょう。ミニマム実装なので、ダサい感じですが、例示するものとしては問題ないでしょう。 TL;DR
社WebをAWS s3 + cloudfrontなサーバーレス環境に移行した話 - Qiita
背景 社Webを今まではレンタルサーバでHostしていたのですが、フォーム以外は極めてStaticな内容なので今流行りのサーバーレスな環境に移行してナレッジを貯め込みながらもコスト削減したいというところです。なお、すでに過去の偉人たちが残してくださっているドキュメントが多数ございますので、本記事では具体的にハマりそうなポイントを中心に書いていきたいと思います。 Before 自分が契約しているさくらインターネットさんに置いていました。フォーム部はphpで社内のSlackに飛ばすというものになっておりました。 After 大枠で下記な感じで対応しました。1 Hostはs3 SSL証明書はAmazon Certificate Manager && cloudfront フォームはStacktodoで相変わらずSlackに飛ばす Route53からCNAMEをcloudfrontに向ける s3で
Github, CircleCI, S3, CloudFront, Middlemanを活用して、https対応のサーバレスで自動deployなWEBサイト構築 - Qiita
Github, CircleCI, S3, CloudFront, Middlemanを活用して、https対応のサーバレスで自動deployなWEBサイト構築AWSS3middlemanCircleCICloudFront この記事は リクルートライフスタイル Advent Calendar 2016 の15日目の記事です。 @MomokoAsai です。社内ではFirebaseの推進を行っております。 それではさっそく本題に。 実現すること 「Github, CircleCI, S3, CloudFront, Middlemanを活用して、https対応のサーバレスで自動deployなWEBサイト構築」です。 コーポレイトサイトなどの動的要素がないサイトは、簡単実装＆低コスト運用が出来るような構成にしてしまいましょう。 そして、https対応をしていると、SEO的な優遇があり、将来的に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Python】S3にアップロードされたCSVファイルをAWS LambdaでJSONファイルに変換する - Qiita
Amazon S3 Select を使ってS3オブジェクトの特定データを抽出する。 - Qiita
AWS CDKを使って ほぼ一撃で静的サイトを構築する - Qiita
Active Storage + S3 による添付ファイル機能を試してみる - Qiita
Laravel 5.4/5.5でS3ファイルアップロード - Qiita
