LLM時代のデータ基盤 : 非構造化データを扱うETLプロセスの重要性 #ベッテク月間 - LayerX エンジニアブログ
こんにちは！LayerXのバクラク事業で機械学習・データ周りを担当しております、たかぎわ (@shun_tak) と申します。 みなさま、ChatGPTの登場に衝撃を受け、これを日々の生活やビジネスに活用されていることかと思います。わたしも社内でChatGPT活用の勉強会を開催したところ、大変大きな反響をいただきました。 tech.layerx.co.jp ChatGPTの登場以来、AIを前提としたユーザー体験の構築、すなわちAI-UXの実現を目指すことがLayerX社内の共通認識になりました。LayerXは、プロダクトだけでなくあらゆるビジネスプロセスにおいて、ユーザー体験をAIを前提に再構築するAI Transformation (AX) を推進することで、生産性革命を実現しようとしています。 comemo.nikkei.com AI-UXやAXの実現を通じて、仕事や暮らしの中にある摩
AWS、Aurora MySQLとRedshiftをほぼリアルタイムに同期する「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」正式版に。追加料金なしで利用可能
Amazon Web Services（AWS）は、Aurora MySQLとAmazon Redshiftのあいだでデータをほぼリアルタイムに同期する新サービス「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」（以下、zero-ETL）が正式版となったことを発表しました。 参考：［速報］Amazon AuroraのOLTPとRedshiftのDWHを統合する「Amazon Aurora zero-ETL integration with Amazon Redshift」発表。AWS re:Invent 2022 Amazon Auroraは高速なトランザクション処理を特徴とするリレーショナルデータベースであり、Amazon Redshiftは大規模データの高速分析を特徴とするデータウェアハウスのサービスです。ze
【GCP】BigQueryでのETL開発 ~DataformのPJ導入と運用方法~ - Insight Edge Tech Blog
こんにちは、k-kzkです。私はInsight Edgeに参画して早2年が経ちました。 今回の記事では、私が初めて取り組んだETL開発プロジェクトと、そこで選択したツールであるDataformについてお話しします。 目次 1. はじめに 1.1 ETL 開発とは 1.2 Dataform の選定理由 2. Dataform を利用した ETL 開発のライフサイクル 2.1 リポジトリ作成 2.2 ワークスペースの使い方について 2.3 ディレクトリについて 2.4 テーブル構成 2.5 Dataform のテストについて 2.6 リリース方法について 3. その他開発における Tips 3.2 データセット作成時のエラーについて 4. まとめ 1. はじめに プロジェクトに参画するまで、データをメインに扱う開発経験がほとんどなかった私にとって、「ETL」という言葉も聞き馴染みが無いものでし
Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now generally available | Amazon Web Services
AWS News Blog Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now generally available “Data is at the center of every application, process, and business decision,” wrote Swami Sivasubramanian, VP of Database, Analytics, and Machine Learning at AWS, and I couldn’t agree more. A common pattern customers use today is to build data pipelines to move data from Amazon Aurora to Amazon R
Amazon OpenSearch Service zero-ETL integration with Amazon S3 now available - AWS
Amazon OpenSearch Service zero-ETL integration with Amazon S3 now available Today, AWS announces the general availability of Amazon OpenSearch Service zero-ETL integration with Amazon S3, a new efficient way for customers to query operational logs in Amazon S3 data lakes eliminating the need to switch between tools to analyze data. Customers can quickly get started by installing out-of-the-box das
AWS、自然言語による指示で面倒だったETLスクリプトを自動生成してくれる「Amazon Q data integration in AWS Glue」プレビュー公開
AWS、自然言語による指示で面倒だったETLスクリプトを自動生成してくれる「Amazon Q data integration in AWS Glue」プレビュー公開 AWSは、ファイルやデータベースなどのデータソースからデータウェアハウスへデータを集積する際のデータ変換や転送処理などのスクリプトを、自然言語による説明から自動的に生成してくれる新サービス「Amazon Q data integration in AWS Glue」のプレビュー公開を発表しました。 Amazon Qは、昨年（2023年）11月に開催されたイベント「AWS re:Invent 2023」で発表された生成AIサービスです。このAmazon QをETLサービスであるAWS Glueと統合することも、AWS re:Invent 2023で予告されていました。 参考：［速報］AWS、Copilot対抗となる「Amazo
Aurora MySQLとRedshiftのゼロETL統合が本番導入出来るか検証しました - クラウドワークス エンジニアブログ
Aurora MySQL Zero ETL Integrations クラウドワークスのSREチームに所属しています@ciloholicです。 2023年11月にAurora MySQLとRedshiftのゼロETL統合がGAされました。この度、ゼロETL統合が本番導入可能かを検証する機会があったので、その検証結果を記載します。 aws.amazon.com 2024年7月時点での検証結果ですので、時間経過によって内容が変わっている可能性があります。その点は十分ご注意ください。 背景 まず、ゼロETL統合の検証しようと考えた背景について軽く説明したいと思います。クラウドワークスでは、MySQLのテーブルをDMS経由でRedshiftにニアリアルタイムで同期し、データ分析を行なっています。3年前は約30億レコードでしたが、現在では古いレコードの削減を行なったため、約25億レコードになりました
[速報] Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon RDS for MySQL で Amazon Redshift とのゼロ ETL が発表されました (Preview) #AWSreInvent | DevelopersIO
AWS事業本部の森田です。 本日より、Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon RDS for MySQL で Amazon Redshift とのゼロ ETL がプレビューで利用できるようになりました！ ゼロ ETL ゼロ ETLを利用することで、Amazon Redshift から各データベースのデータにアクセスして、ほぼリアルタイムの分析や機械学習が可能となります。 また、「ゼロ」と名前についているように ETL オペレーションを実行する複雑なデータパイプラインの構築なしで上記が実現可能となります。 ゼロ ETL については、昨年の reInvent で発表されたサービスととなっており、Aurora MySQL で一足先に一般提供を開始となっております。 プレビュー対象 以下のデータベース・リージョンで新たにプレビューでの利用
![[速報] Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon RDS for MySQL で Amazon Redshift とのゼロ ETL が発表されました (Preview) #AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c0c8f1dccd67ca316ff12f7da2a99cc2164a5d37/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Fimage-2-5.png)
Data Ingestion ETL の技術選定の変遷をADRで振り返る / Data Ingestion ETL ADRs at DataOps Night#4
DataOps Night#4 https://finatext.connpass.com/event/320643/
Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service を試してみた | DevelopersIO
Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service を試してみた Amazon DynamoDB と Amazon OpenSearch Service のゼロ ETL 統合が利用可能になったので試してみました。 CDKでやってみた版はこちらをご参照ください。 はじめに DynamoDBのクエリ柔軟性を補うために、OpenSearch Serviceの検索機能を利用するパターンは知られていましたが、以前はそのアーキテクチャのためにLambdaなどを用意する必要がありました。(参考1, 参考2) 参考1: 参考2: 今回のアップデートにより、Lambdaなどのグルーコードを用いずに、DynamoDBのテーブルをOpenSearch Serviceに同期することが可能になりました。 まずはDynamoDBを準備
Zero-ETL integrationの実用を試みた。 しかし、Aurora MySQLの中身の〇〇が多すぎて失敗した。 - KAYAC engineers' blog
SREチームの池田です。 Redshiftが大好きなバケツアイコンの人です。 先日、Aurora MySQL と RedshiftのZero-ETL integrationがGA(Generally Available、一般提供開始)しました。 aws.amazon.com この記事は、早速Zero-ETL integrationの実戦投入を試してみたという内容です。 なお、この記事は失敗事例になりますが、Zero-ETL integrationはとても素晴らしい機能ですので、皆様も是非お使いください。 はじめに Zero-ETL integrationは、Aurora MySQLのデータをニアリアルタイムでRedshiftに同期してくれる素晴らしい機能です。 マネージメントコンソールから数ステップでAurora MySQLの中の すべてのテーブルを Redshiftに同期してくれます。
生成AIにETLジョブ作らせてみた。-Amazon Q data integration in AWS Glue- - Qiita
生成AIにETLジョブ作らせてみた。-Amazon Q data integration in AWS Glue-AWSDatabaseglueETL生成AI 1. はじめに ※この記事は、慎重な検証を行った結果に基づくものではなく、参考情報として提供されています。そのため、内容を鵜呑みにせず、自身で確認や検証を行っていただくことをお勧めします。ご理解のほど、よろしくお願いいたします。 Amazon Q data integration in AWS Glueがプレビューされました(2024/01/30)。 Amazon Q とAWS Glueが統合されたことによって、ETLジョブ作成に関する学習時間や労力の削減が期待できます。具体的な機能としては以下の二つです。 i．生成AIに自然言語で質問すると、回答してくれる。 Bedrockベースの生成AIがAWSのドキュメントを参照してより専門的
[速報] OpenSearch ServiceのETLが簡単に。「Amazon OpenSearch Service zero-ETL integration with Amazon S3」リリース(preview) #AWSreinvent | DevelopersIO
せーのでございます。 ただいま、AWS re:Invent 2023 keynoteをラスベガス現地にて聞いております。 Amazon OpenSearch Service向けのZero-ETLサービス「Amazon OpenSearch Service zero-ETL integration with Amazon S3」が発表されたのでお伝えします。 昨日のキーノートでもZero-ETL関連のサービスが発表されていましたが、今回、OpenSearch ServiceとS3のzero-ETLが可能になった、という発表です。これは便利そうですね。 S3でのデータ分析が格段に便利に S3というサービスはそもそもデータストアとしての意義が強く、低コストで大量のデータを保管できるため、とりあえずデータはS3に放り込んで、分析が必要なデータはOpenSearch Serviceにコピーし、データ
![[速報] OpenSearch ServiceのETLが簡単に。「Amazon OpenSearch Service zero-ETL integration with Amazon S3」リリース(preview) #AWSreinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f099104aaa09df58f234f4f90b04b2f5cefbb675/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-newservice-update.png)
Amazon RedshiftへのAurora MySQL zero-ETLが一般提供を開始しました | DevelopersIO
Amazon Aurora MySQL zero-ETL integration with Amazon Redshiftが一般提供を開始しました！ データアナリティクス事業本部 機械学習チームの鈴木です。 Amazon RedshiftへのAurora MySQL zero-ETLが一般提供を開始しました。東京リージョンでも利用可能です！ Aurora MySQL zero-ETLとは Aurora MySQLからAmazon Redshiftへほぼリアルタイムの連携し、Redshiftでの分析と機械学習ができる、Amazon Aurora MySQL向けの機能になります。 この設定をしておくことにより、データがAuroraに書き込まれてから数秒以内に、そのデータはAmazon Redshiftで利用できるようになるという、非常に強力な機能です。 昨年のre:Invent2022で発表さ
クラウド利用が進む一方、円安の影響などでコスト増に悩む企業は多い。情報システム部門にはクラウドコストを抑えながら必要な機能を開発・運用することが求められている。そこで本特集では、SBI生命保険のITエンジニアが現場で編み出したAmazon Web Services（AWS）のコストを抑えるテクニックを紹介する。 ETL処理に便利なGlue まず紹介するテクニックがETL（抽出／変換／ロード）処理のコストを抑える方法だ。企業のDX（デジタル変革）においてデータ分析は重要な役割を果たす。SBI生命保険は、データ基盤として新DWH（データウエアハウス）を構築し、データ分析に取り組んだ。 データ分析では、適切なデータを抽出し、分析しやすい形に加工・整形しなければならない。これを可能にするのが、AWSが提供するETLサービス「AWS Glue」（以下、Glue）である。 Glueを活用すると様々なメ
Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service is now available | Amazon Web Services
AWS News Blog Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service is now available Today, we are announcing the general availability of Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service, which lets you perform a search on your DynamoDB data by automatically replicating and transforming it without custom code or infrastructure. This zero-ETL integration reduces the
【資料公開】AthenaとStep Functionsで簡単ETLオーケストレーション #midosuji_tech | DevelopersIO
Amazon AthenaとAWS Step Functionsで作る簡単なETLの仕組みのメリットと、さらに必要とされる要件に対してなにが求められるのかについて発表しました。 データアナリティクス事業本部 インテグレーション部 機械学習チームの鈴木です。 2024年6月12日にクラスメソッドの大阪オフィスで開催された勉強会Midosuji Tech #1で『AthenaとStep Functionsで簡単ETLオーケストレーション』というタイトルで話しましたので資料を公開します。 当日は淀屋橋の大阪オフィスでオンサイトでイベントが開催されました。発表後にはワイワイガヤガヤタイムということで、参加者の方も交えたディスカッションが大変盛り上がりました。 発表資料 ポイント Step FunctionsのAPI統合で、S3バケットに配置したSQLファイルをステートマシンから読み込み、Athen
AWS announces Amazon RDS for MySQL zero-ETL integration with Amazon Redshift (Public Preview)
Amazon Relational Database Service (Amazon RDS) for MySQL zero-ETL integration with Amazon Redshift allows you to access transactional data from Amazon RDS for MySQL to run analytics and machine learning (ML) on petabytes of data in Amazon Redshift. With the zero-ETL integration, you don’t need to build and maintain complex data pipelines to perform extract, transform, and load (ETL) operations. T
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
Amazon RDS for MySQL zero-ETL integration with Amazon Redshift, now generally available, enables near real-time analytics | Amazon Web Services
AWS News Blog Amazon RDS for MySQL zero-ETL integration with Amazon Redshift, now generally available, enables near real-time analytics Zero-ETL integrations help unify your data across applications and data sources for holistic insights and breaking data silos. They provide a fully managed, no-code, near real-time solution for making petabytes of transactional data available in Amazon Redshift wi
AWS Step Functions の Distributed Map と再実行機能を使用した効率的な ETL パイプラインの構築 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions の Distributed Map と再実行機能を使用した効率的な ETL パイプラインの構築 AWS Step Functions は、完全マネージドのビジュアルワークフローサービスで、AWS Glue、Amazon EMR、Amazon Redshift などのさまざまな抽出・変換・読み込み (Extract, Transform, Load; ETL) テクノロジーを含む複雑なデータ処理パイプラインを構築できます。個々のデータパイプラインタスクを繋ぎ、ペイロード、リトライ、エラー処理を最小限のコードで構成することで、ワークフローを視覚的に構築できます。 Step Functions は、データパイプライン内のタスクが一時的なエラーで失敗した場合、自動リトライとエラー処理をサポートしていますが、アクセ
Building an Efficient ETL/ELT Process for Data Delivery
“Data is the new oil” — a statement that has underscored our approach to data management over the past decade. We’ve dedicated ourselves to gathering, processing, and analyzing vast volumes of data to fuel our journey towards becoming a data-driven organization. However, with the rise of ChatGPT, collecting over 1 million users in just 5 days, the landscape has shifted. This phenomenon has sparked
モダンデータスタック カテゴリ紹介 #1 『ETL Tools(ETLツール)』 – Modern Data Stack Categories Overview Advent Calendar 2023 | DevelopersIO
モダンデータスタック カテゴリ紹介 #1 『ETL Tools(ETLツール)』 – Modern Data Stack Categories Overview Advent Calendar 2023 当エントリは『Modern Data Stack Categories Overview Advent Calendar 2023』 1日目のエントリです。 Modern Data Stack Categories Overviewのカレンダー | Advent Calendar 2023 - Qiita Modern Data Stack Categories Overview Advent Calendar 2023 の記事一覧 | DevelopersIO データ分析、データを扱う世界では昨今『モダンデータスタック(Modern Data Stack/MDS)』という考え方、サービス
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSのETLコストは9割削減できる、カギはGlueからあのサービスへの置き換え
ZIOでサクッとFunctionalにETL