Amazon AppFlowでGoogleAnalyticsのデータ連携に苦戦している話 - Qiita
GMSでインフラエンジニアないしデータエンジニアをやっているみゅーみくすです。 ちょうどアドベントカレンダーの時期になったのでマイナーですがタイトルについて書きます。 記載する内容は執筆時点となります。 https://qiita.com/advent-calendar/2022/aws 結論：躓きポイント まだ中途半端な状態ですがご了承下さい。 マネジメントコンソールから作成するとエラーになるのでCLI等から作成する必要がある（解決） AppFlowをTerraformで記載するにはawsプロバイダのバージョンを4系にする必要がある（未実施） Google Analyticsのメトリクスについて理解が必要 Goal周りにハマった（未解決） データ連携後jsonをフラット化する必要がある（未実施） https://aws.amazon.com/jp/blogs/news/analyzing
dbt-athenaことはじめ - Qiita
この記事はスタンバイ Advent Calendar 2022の21日目の記事です。 Modern Data Stackの一つであるDBTについて、Amazon Athenaで利用できるかを検証してみることにしました。 DBTとは ELT処理 (Extract、Load、Transform) のTransformの工程を効率化できるツール、という位置づけです。 詳細は割愛しますが、以下の記事がわかりやすくまとめられています。 dbt-athenaとは dbtのAthena用Adapterです。 大前提として、Saas版であるdbt Cloudでは非サポートであるため、CLI版であるdbt-coreを利用することになります。 開発コミュニティ githubで開発が進められています。執筆時点での最新バージョンは1.3.3です。 以前はfork元である別repositoryで開発が行われていたよ
AWS S3, Athena, Glue を活用した統合データ分析基盤 - AWS RDS, Kintone, Freee のデータを一元管理 - Qiita
AWS S3, Athena, Glue を活用した統合データ分析基盤 - AWS RDS, Kintone, Freee のデータを一元管理AWSS3CloudFormationglueAthena 社内で RDS, Kintone, Freee など様々なサービスを使っていて、それらの情報をー箇所で集約し、分析するためのデータ基盤の必要がありました。 そのために以下の手順でデータ基盤を構築してみました。 データのまとめ：AWS Glue を用いてデータを S3 に抽出しカタログ化 データ加工：dbt-athena でデータ変換 クエリ実行：Athena でクエリ データ分析：Metabase でのデータ分析とお可視化 将来的に集めるデータ量が増加見込みなので、コスト効率と拡張性の面で S3 での保存は適切かと考えました。 また、開発チュー自体少人数なので、煩雑な管理作業を避けるためにサ
AWS Glue Flexオプションについて - Qiita
AWS Glue Flexオプション AWS Glueでは2022/08/09にFlexタイプのジョブ実行モードというのが追加されました。 FlexタイプのジョブはEC2のスポットインスタンスのような非占有型のコンピュートキャパシティ上で動作します。 そのため、リソースの使用状況に応じてジョブの開始に時間がかかる場合などがありますが、その分コスト的には通常のジョブに比べ安価になっています。 テスト用途のジョブや実行時間の制約の緩い夜間のバッチジョブなどでコストを安価に抑えながらジョブを実行できるオプションになります。 Flexオプションのコスト 2022年11月現在、東京リージョンではFlexオプションは通常のジョブに比べ最大34%のコスト削減効果があります。 通常 Flex Flexオプションの特徴 FlexオプションはGlue 3.0またはそれ以降のバージョンのETLジョブで利用可能で
AWS Glueとは何か？ - Qiita
こいつに入門します。 一言でいうと… マネージドETLサービスです。 ETLとは「Extract/Transform/Load」の略で、分析用に様々なデータを集める際に発生する「取り出す/変換する/取り込む」というプロセスを表しています。 Glueとは「糊」のことで、ETLにおいてAWSのリソースとリソースを繋ぐことの比喩になっているようです。 ※ややこしいですがDevOps Guruというサービスも最近出現しています。このGuruは「賢者」を表す別単語で、機械学習を活用した賢いサービスを比喩しているものと思われます。 Glueの概念図 データソースから取り込んだデータをETLジョブで加工し、ターゲットに格納して分析などに利用します。 Glueのコンポーネント データカタログ ETL処理をしたいデータのメタデータを管理するもの。元データ（データソース）からGlueのクローラーで抽出してきた
「Databricks とは？何ができるか」新入社員が感じたイケてる機能１０選 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 目次 はじめに 背景と目的 Databricksとは何か 機能紹介 共通 データエンジニアリング 機械学習 Databricks SQL おわりに はじめに こんにちは。Databricks の新井です。Qiita 初投稿です。 2022年の7月よりソリューションアーキテクトとして働き始めました。 お客様に弊社製品を知っていただき、導入いただく際の技術サポートを行う役割です。 本記事では Databricks にご興味がある皆様に弊社プラットフォームを理解いただくために、新入社員の目線から便利だと感じた10個の機能をまとめました。 今後
2023年版データ分析の100冊 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? わ、去年2023-08-26にこの記事書いたんだね。まる1年だね。2024年版機械学習・データ分析の必須10冊+ガチ90冊+Next5冊=105冊書きましたよ。 【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本がご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております。 本記事作者の青木はバイオインフォマテ
AWS Glue DataBrewを試してみた - Qiita
はじめに この記事は BeeX Advent Calendar 2020 の12/21の記事です。 == 今回は11/13に発表されたAWS Glue DataBrewを試していきます。 AWS Glue DataBrew の発表 AWS公式の以下ドキュメントを元にして進めます。 AWS GLue DataBrewの概要 AWS Glue DataBrewとは AWS公式には、Glue DataBrewとは「コードを記述せずにデータをクリーンアップおよび正規化できるビジュアルデータ準備ツール」と記載されています。 簡単に言うと、今までデータ分析などで行っていた前処理をノーコードで行うことができ、かつサーバレス構成でインフラの管理もAWSに任せてしまえるサービスになります。 便利。 今回のゴール Glue DataBrewの操作方法が何となくでも理解できること チュートリアルを元に構築ができ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
