株式会社ディー・エヌ・エーが Amazon Redshift Serverless と dbt を活用して匿名化データの品質テストを最大100倍高速化を実現 | Amazon Web Services
Amazon Web Services ブログ 株式会社ディー・エヌ・エーが Amazon Redshift Serverless と dbt を活用して匿名化データの品質テストを最大100倍高速化を実現 本ブログは 2024 年 12 月 17 日に公開された「How DeNA Co., Ltd. accelerated anonymized data quality tests up to 100 times faster using Amazon Redshift Serverless and dbt」を翻訳したものです。 本ブログは株式会社ディー・エヌ・エー（以下 DeNA）と Amazon Web Services Japan が共同で執筆しました。 DeNA は「一人ひとりに想像を超える Delight を」というミッションのもと、ゲーム、ライブコミュニティ、ヘルスケア・メディ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事はBeeX Advent Calendar 2024の5日目の記事です。 遅刻しました。(12/5投稿予定だった) ※本記事には一部AWSのプレビュー機能も含まれており、一般公開された際には記事の内容から変更される可能性がありますので、認識の上ご覧ください。 はじめに 先日アメリカのラスベガスで開催された AWS re:Invent 2024では多くのAWSアップデートが発表されました。 本記事ではその中でもAmazon S3 Tablesにフォーカスして検証してみましたので、記録として書いていきます。 ざっくりどんなことをする
Amazon Bedrock Knowledge Base の構造化データ取得はどこまで複雑なクエリに対応できるか - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） この記事は Amazon Bedrock Advent Calendar 2024 23日目の投稿です。 Amazon Bedrock Knowledge BaseのデータベースとしてRedshiftを指定して、構造化データを検索し、その結果を元に回答を生成することができるようになりました。 現在のところ、データベースとしてはRedshiftのみに対応しています。 Redshiftであれば、Serverless版、クラスタ版いずれも選択が可能です。 この記事ではRedshiftにサンプルとして用意されているTICKITデータセットを用いて、複雑なテーブルに対してどのよ
dbtでRedshiftのCOPY JOB (S3 auto copy) を管理したい。 - KAYAC Engineers' Blog
この記事はdbt Advent Calendar 2024および、Kayac Group Advent Calender 2024の4日目の記事になります。 こんにちは、その他事業部SREチーム所属の@mashiikeです。 背景 2024/10/30にAWS からAmazon Redshiftの素晴らしいUpdateが発表されました。 aws.amazon.com 自動コピーを使用して Amazon S3 から Amazon Redshift へのデータ取り込みです。 Redshift では、COPY コマンドを使用してデータを Amazon S3 から 効率的にデータをロードできますが、 このUpdateが来るまでは継続的な取り込みは Amazon Data Firehose を使用する方法が一般的でした。 しかし、カヤックでは「Firehoseの取り込みはメンテナンス時に一時停止でき
Announcing general availability of auto-copy for Amazon Redshift - AWS
Announcing general availability of auto-copy for Amazon Redshift Amazon Redshift announces the general availability of auto-copy, which simplifies data ingestion from Amazon S3 into Amazon Redshift. This new feature enables you to set up continuous file ingestion from your Amazon S3 prefix and automatically load new files to tables in your Amazon Redshift data warehouse without the need for additi
[AWS]猫でもわかった気になるRedshift Serverless(更新系限定) 追加情報 - Qiita
はじめに 記事内容について NTTテクノクロス株式会社のメガクラチームに所属している加藤です。AWS関連の業務をしています。 この記事は私が2024年8月JAWS-UG朝会 #60 セッション枠において発表した「[更新系限定]猫でもわかった気になるRedshift Serverless」おいて時間の関係で省略した内容について補足する記事になります。 目次 JAWS-UG 朝会 #60 セッション枠発表資料の抜粋＋簡単な説明 セッション枠発表から漏れた内容(本記事の主たる内容) Redshift Serverlessスナップショットの別リージョンコピーについて Redshift Serverless DR環境構築について 記事の元ネタ 本情報は、私が2023年11月から2024年3月まで担当したプロジェクトで得たRedshift Serverlessの更新系処理に限定したノウハウをまとめたも
![[AWS]猫でもわかった気になるRedshift Serverless(更新系限定) 追加情報 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b972c6d3967d59fa925c250d49c3ddac91697515/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRmxoMy5nb29nbGV1c2VyY29udGVudC5jb20lMkZhLSUyRkFPaDE0R2ptRy1YMUpjcllhaXpnVGw5dWoxRExnS1JuRTEwUUoycTI3TFUwU1ElM0RzNTA_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9MDk5MGFjNzMyODc1YzFlYTAzMjUzYjRiNDUxYWRjOTg%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D97454c6696dea27dd6f72575bb7801a2%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCQVdTJTVEJUU3JThDJUFCJUUzJTgxJUE3JUUzJTgyJTgyJUUzJTgyJThGJUUzJTgxJThCJUUzJTgxJUEzJUUzJTgxJTlGJUU2JUIwJTk3JUUzJTgxJUFCJUUzJTgxJUFBJUUzJTgyJThCUmVkc2hpZnQlMjBTZXJ2ZXJsZXNzJTI4JUU2JTlCJUI0JUU2JTk2JUIwJUU3JUIzJUJCJUU5JTk5JTkwJUU1JUFFJTlBJTI5JTIwJUU4JUJGJUJEJUU1JThBJUEwJUU2JTgzJTg1JUU1JUEwJUIxJTIwJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9YTRlMDc1N2FjNDIzMmY2ZWQ4NmE0OWNiZGFhZmM4NWQ%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBrYW1vZ2FzaGlyYSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTQxYjk0OWM4NDM2YjkyMTAzMmY3YjdjMTI0ZGU0NzEx%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D4750f183c1d80214a45e85c4d2f8ffc5)
AWS announces Amazon Redshift integration with Amazon Bedrock for generative AI - AWS
AWS announces the integration of Amazon Redshift with Amazon Bedrock, a fully managed service offering high-performing foundation models (FMs) making it simpler, and faster for you to build generative AI applications. This integration enables you to leverage large language models (LLMs) from simple SQL commands alongside your data in Amazon Redshift. With this new feature, you can now easily perfo
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon S3 Tablesにデータを投入してAthenaとRedshiftからクエリしてみた - Qiita