はじめに こんにちは一史です。最近自動給水器を買い、ベランダで育てているバジルの水やりを自動化しました。テクノロジーは素晴らしいですね。 さて、AWSにはAmazon DataZoneという組織が蓄積した膨大なデータに対して、データの発見、アクセス制御、管理を簡素化するデータ管理サービスがあります。 データドリブンが重要視される昨今、今回はDataZone上にデータカタログの作成を行ってみます。 はじめに 概要 データレイクとは データカタログとは なぜAmazon DataZoneが必要か（AWS Guleとの違い） Amazon DataZoneとは サービス概要 DataZoneのデータカタログの完成像 Amazon DataZoneでデータカタログを作成してみる 構成概要 データ準備 ドメインとデータポータルの作成 プロジェクトの作成 環境の作成 データカタログの作成 データアセッ

はじめに 夏本番のこの時期、皆様のご様子はいかがでしょうか。新人エンジニアの木介です。暑さにも負けず、毎日一歩一歩成長しています。 今回は先日紹介したPrompt Flows for Amazon Bedrockを使ったAdvanced RAGの実装方法についての紹介を行っていきます。 Prompt flowsを用いることでDifyと同じようにLLMとプロンプトを組み合わせたフローをGUIで作成でき、また、AWS上の各種サービスへ簡単に組み込むことが出来ます。 aws.amazon.com acro-engineer.hatenablog.com はじめに 構築したアーキテクチャ 概要 Prompt Flows for Amazon Bedrockとは Advanced RAGとは Advanced RAGの構築方法 構築するワークフロー 1. クエリ拡張 2. Knowledge Bas

はじめに 夏真っ盛りのこの時期、いかがお過ごしでしょうか。日々の暑さに負けない、新人エンジニアの木介です。 今回は、2024年7月にプレビューとして発表された、「Amazon Bedrock Prompt Flows」を利用して、LLMワークフローを構築してみたいと思います。 aws.amazon.com はじめに Amazon Bedrock Prompt Flowsとは？ 1. 概要 2. 連携できるサービス 使い方 1. Prompt flow builderによるフローの構築 フローの構築 Prompt flowsの作成 Nodeの設定 2. 作成したフローを試す 3. APIとしてフローを呼び出す Knowledge Bases for Amazon Bedrockとの連携 まとめ Amazon Bedrock Prompt Flowsとは？ 1. 概要 Amazon Bedro

はじめに 昨日の記事に続き、新人エンジニアの木介が、Amazon Q Businness の紹介をしたいと思います。 この記事では、Amazon Q Businnessで、さまざまなデータソースを用いたRAGアプリケーションの作成方法と、guardrailsの機能を利用した回答を適切に制限する方法について紹介をしていきます。 acro-engineer.hatenablog.com はじめに Amazon Q Businessの概要 さまざまなデータソースで作成してみる 1. S3内のデータのQA 2. Webサイトの要約 guardrailsによる回答の制限 まとめ Amazon Q Businessの概要 Amazon Q BusinessとはRAGアプリケーションを各項目を設定するだけで簡単に作成できるサービスであり、その特徴については以下にまとめます。 1. 回答に利用された情報源

はじめに 7月に入り、急に蒸し暑さが増してきたように感じますが、皆さまいかがお過ごしでしょうか。 新人エンジニアの木介です。 今回は先月にAWS公式ブログより紹介のあったAmazon Qサービスの内、フルマネージドで生成AIアシスタントを作成できるAmazon Q Businessの紹介をしていきます。 aws.amazon.com はじめに Amazon Q Businessとは 1. Amazon Q Businessの特徴 2. Amazon Q Businessの料金 Amazon Q Businessの使い方 1. アプリケーションの作成 2. retrieverの作成 3. データソースの作成 4. ユーザー/グループの設定 5. Applicationの実行 まとめ Amazon Q Businessとは まずAmazon Q Businessとは、与えられたデータに基づいて

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 皆さんは、「前のプレゼン資料に使った、犬の画像はどこいったかな？あの画像が欲しいので、探してくれないかな？」と無茶振りされたことはありませんか？ そんな時でも、「舌を出して喜んでいる」と検索すれば画像がヒットし、こんな無茶振りにも応えることができるシステムを Amazon Kendra （以下、 Kendra ）で構築しました。 舌を出して喜んでいる犬 ちょっと待って Kendra は機械学習を利用した検索サービスで、ウェブサイトや S3 に保存したドキュメントなどをもとに、適切な検索結果を返します。 しかし、 Kendra で検索できるのはテキストだけで、画像を S

今度、寝台列車で旅行に行きたいな、と思って先日予約に挑んでみたのですが、残念ながら予約競争に敗北してしまった、菅野です。 寝台列車は、今も人気が高いんですね。 ChatGPTでもDALL·E 3を用いることが出来るようになるなど、生成AIでも画像生成や読み込みなど一般的に用いられるようになってきました。 Amazonで利用できる生成AIプラットフォーム、Amazon Bedrokでも、以前から画像生成モデルとして世界的にも最も有名なStability AIが提供するStable DiffusionSDXLモデルを用いた画像生成が可能でしたが、 AmazonオリジナルのモデルTitanからも画像生成を行えるモデル、Titan Image Generatorも利用できるようになっています。 今回は、Titan Image Generatorを用いて実際にどのような画像生成ができるのかを見ていき

Amazon Bedrock Advent Calendar 2023 13日、 および Anthropic Claude Advent Calendar 2023 18日の記事です。 こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 先日、 Bedrock 上で Claude 2.1 が使えるようになりました。 aws.amazon.com このモデルは精度が高いことはもちろんですが、 20 万（ 200K ）トークンを一度に扱うことができる という特徴があります。 200K のトークンがあれば、約 15 万単語もしくは 500 ページの本を一度に扱える、と言われています。 とは言いますが、これは実際どれくらいイン

肌寒い日が続き、ついに我が家でも毛布を引っ張り出してきました、菅野です。 AWS re:Inventが開催され、AWSでは、150件以上の新サービスやアップデートの発表がありました。 Amazon Bedrockにも新機能が発表され、実際のシステムにも導入していきたいというかたも増えているのではないでしょうか？ 今回のブログではGAになったAgents for Amazon Bedrockを実際に利用し EC2インスタンスを作成するエージェントを作ってみます。 aws.amazon.com Agents for Amazon Bedrockとは 生成AIのアプリケーション作成を助けるシステムです。 ユーザーは、自然言語を用いてAIアプリで実施したいタスクを入力します。 Agents for Amazon Bedrockは上記のタスクを推論モデルを用いて細分化、複数ステップのタスクに自動で分

こんにちは、肌寒い日が続くと南の島の暖かい海に行きたくなる菅野です。 AWS上で、 様々なAIモデルを利用できるようになるサービス、Amazon Bedrockがリリースされました。 Bedrockでは今までのブログで紹介してきた、テキスト生成以外にも、画像生成に利用できるモデルStable Diffusionも利用可能になっています。 Stable Diffusion自体はOSSとなっているので無料で利用できますが、自身のマシンにインストールして動かす必要があり、動かすマシンにはある程度の性能のGPUも必須になってきます。 手軽にStable Diffusionをオンデマンドで利用できるのは今までにないメリットなのではないでしょうか？ 今回は、BedrockのClaudeV2モデルを用いて作成したプロンプトを使って、Stable Diffusionで画像生成をしていこうと思います。 Be

こんにちは、最近久々にソロキャンプをしてきました菅野です。 AWS上で、 ChatGPTのようなテキスト生成AIを利用できるようになるサービス、Amazon Bedrockがリリースされました。 今回はBedrockで、LambdaのPythonコードを生成してもらいます。 利用するモデルは、ChatGPTと同レベルの性能を有しているClaudeV2を利用します。詳細はこちら。 Bedrockについて執筆した別記事もあわせてご覧ください。 acro-engineer.hatenablog.com acro-engineer.hatenablog.com S3に保存したCSVファイルの平均を求めるLambda関数を作成する 以下のようなcsvをS3からダウンロードし、一分毎、name毎の平均を返却するLambdaを作成してもらいます。 id,name,value,timestamp 1,da

こんにちは、最近はめっぽう冷えてきましたそろそろおでんが恋しくなりますね、菅野です。 AWS上で、 ChatGPTのようなテキスト生成AIを利用できるようになるサービス、Amazon Bedrockがリリースされました。 そこで今回はChatGPTとテキスト生成の結果を比較してみようと思います。 ChatGPTはGPT-4モデルを、Amazon BedrockではChatGPTより大きいトークンを受け取れ、安価で利用できるといわれているモデル、ClaudeV2を利用します。詳細はこちら。 Amazon Bedrockでのチャット生成方法は以下のブログで紹介しているので こちらのブログも参照ください。 acro-engineer.hatenablog.com 「RestAPIについての説明」の結果を比較する 生成AIではわからないものの質問をする機会が多いです。 それぞれのAIにRestAP