「ベクトル検索 vs 全文検索」〜Amazon Bedrockの埋め込みモデルを用いたプロトタイピング〜 - コネヒト開発者ブログ
※ この記事は、AWS (Amazon Web Services) の技術支援を受けて執筆しています。 はじめに この記事はコネヒトアドベントカレンダー 8日目の記事です。 コネヒト Advent Calendar 2023って？ コネヒトのエンジニアやデザイナーやPdMがお送りするアドベント カレンダーです。 コネヒトは「家族像」というテーマを取りまく様々な課題の解決を 目指す会社で、 ママの一歩を支えるアプリ「ママリ」などを 運営しています。 adventar.org こんにちは！コネヒトの機械学習エンジニア y.ikenoueです。 突然ですがみなさん、Amazon Bedrockをご存知でしょうか。 aws.amazon.com Amazon Bedrock(以下、Bedrock)は、テキスト生成AIをはじめとする基盤モデル (Foundation Model)*1を提供するAWS
自然言語からSQLのクエリ生成ができるAmazon Q generative SQLを触ってみた（プレビュー）
eventid venueid catid dateid eventname starttime 4410 7 9 1836 Linkin Park 2008-01-10 14:00:00 3044 245 7 1843 The Frogs 2008-01-17 15:00:00 2428 243 7 1854 The Frogs 2008-01-28 19:00:00 2360 238 7 1856 Macbeth 2008-01-30 19:30:00 8596 112 9 1859 Missy Higgins 2008-02-02 15:00:00 2911 231 7 1873 November 2008-02-16 19:30:00 1278 247 6 1889 High Society 2008-03-04 20:00:00 6583 123 9 1891 Black Eye
Amazon Redshift MLが一般公開、SQLでAIモデルの学習や予測が可能に
Amazon Web Services（AWS）は2021年6月1日、「Amazon Redshift ML」（以下、Redshift ML）を一般公開した。データウェアハウスサービス「Amazon Redshift」（以下、Redshift）のクラスタから、機械学習モデルの作成や学習、デプロイができる。 これまでRedshiftのデータを処理して機械学習モデルに与え、データウェアハウス内のデータを基にこのモデルに予測させるには手間がかかっていた。学習データをRedshiftから「Amazon S3」にエクスポートし、「Amazon SageMaker」などの学習プロセスを設定する必要があったからだ。Redshift MLを利用すると、これらの処理をSQL文で指定でき、自動実行が可能になる。 処理の流れはどうなっているのか Redshift MLのSQL文を実行すると、Redshift M
AWS、SQL文で機械学習のモデル作成、トレーニング、推測まで実行できる「Amazon Redshift ML」正式リリース
AWS、SQL文で機械学習のモデル作成、トレーニング、推測まで実行できる「Amazon Redshift ML」正式リリース Amazon Web Servicesは、データウェアハウス機能などを提供するAmazon Redshiftの新機能として、SQL文を記述することで機械学習のトレーニングから推測まで実行できる「Amazon Redshift ML」の正式リリースを発表しました。 一般に、機械学習のモデルを作成し、トレーニングを行い、それを基に推論を行うには、機械学習のために用意されたサービスの使い方を覚え、学習データをローディングするといった操作が必要です。 AWSにも機械学習のためのサービスとして「Amazon Sagemaker」があり、データの準備やラベル付け、特徴抽出、モデル作成や選択、トレーニングなどのさまざまな機能を利用可能です。 例えばデータウェアハウスに格納されたデ
Amazon Redshift ML が一般公開されました — SQL を使用して機械学習モデルを作成し、データから予測を行う | Amazon Web Services
Amazon Web Services ブログ Amazon Redshift ML が一般公開されました — SQL を使用して機械学習モデルを作成し、データから予測を行う Amazon Redshift では SQL を使用して、データウェアハウス、運用データベース、データレイク全体で、エクサバイトの構造化データと半構造化データをクエリし、組み合わせることができます。AQUA (Advanced Query Accelerator) の一般提供が開始されたので、追加コストやコードの変更なしで、クエリのパフォーマンスを最大で 10 倍向上させることができます。実際、Amazon Redshift は、他のクラウドデータウェアハウスよりも最大で 3 倍優れたコストパフォーマンスを提供します。 しかし、さらに一歩進んで、このデータを処理して機械学習 (ML) モデルをトレーニングし、ウェアハ
SQLで機械学習モデルを作れる「Amazon Redshift ML」が一般提供に
Amazon Redshift MLは、Amazon Redshiftクラスタから直接機械学習モデルを作成、トレーニング、デプロイすることが可能で、単純なSQLクエリを使用してモデルのトレーニングに使用するデータと、予測する出力値を指定することで、機械学習モデルを作成できる。 機械学習モデルの作成後は、指定されたデータをAmazon RedshiftからS3バケットへエクスポートし、Amazon SageMaker Autopilotを呼び出してデータを準備し、適切なビルド済みアルゴリズムを選択してトレーニングを行う。 トレーニングやコンパイルなど、関連するすべての処理が、Amazon Redshift、S3、SageMakerの連携によって行われ、モデルのトレーニングが完了すると、Amazon Redshift MLはSageMaker Neoでモデルをデプロイ用に最適化し、SQL関数と
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
About AWS