Amazon Bedrock、Amazon Auroraを組み合わせたRAGで回答精度の向上に取り組んでみた！①概要編AWSAuroraragbedrockLLM はじめに 今回はAWS上で実装できるRAGにおいて、回答精度を向上させる手法を調査、検証を行いました。 その際にたまったナレッジを共有いたします。 本記事では、①概要編として調査・検証した内容の概要を紹介いたします。 具体的な実装方法については②実装編として後日投稿予定です。 なお、本記事の内容は2月6日開催されたJr.Champions勉強会 -Top Engineers参観回で話した内容とほぼ同じなので、その際のスライドも共有します。 RAGとは何か？ RAGとは、LLMが外部のDBから情報を取得し回答を生成する仕組みのことで、 社内ナレッジに関する質問に回答できるAIチャットボットなどの用途として昨今注目されています。 R

はじめに 冬休みの宿題のとして Agents for Amazon Bedrock を使用した AWS アップデート解説くん Slack アプリを作成しました。あっという間にもうすぐ 2 月ですが、ここに課題を提出します。 Slack の RSS アプリで What's New with AWS? の RSS フィード を受信して、投稿に含まれる URL を参照し、要約を日本語で投稿します。 ソースコードは以下の GitHub リポジトリに置いてあります。 なお、Agent のアクショングループの設定や Lambda 関数は @nasuvitz さんの以下の記事を参考にさせていただいています。感謝。 全体像 次のような構成です。 ① Slack の 公式 RSS アプリに What's new with AWS? の RSS フィードを登録し、Slack チャンネルにアップデート情報が投稿

この記事の目的 2023/9/28 についに Amazon Bedrock が一般提供開始されました。自分の観測範囲で、Preview → GA のタイミングで API 周りでいくつか大きな変更が入っている様子です。 プレビュー期間中も LangChain などの周辺ライブラリでは Bedrock のサポート対応が進んでいました。GA 時の変更でメンテナー、コントリビューターの皆さんがすごい勢いで対応されています。 逆にいうと、現時点でサンプルコード等をググると Preview 時の古い情報がヒットする可能性も大いにあります。そのため賞味期限は短いと思いますが、変更点をまとめておくことで、自分や他のどなたかの参考になればと思います。 以降、2023/9/29 に確認した内容をもとに記載をしています。前述のとおり順次対応が進んでいるため、この記事を読んでいただいたタイミングによっては記載内容

はじめに 2023/9/28、ついに Amazon Bedrock が一般提供開始 (GA) されました🎉🎉🎉 Bedrock は Amazon や主要な AI スタートアップ企業が提供する基盤モデル (FM) を API を通じて利用できるようにするサービスです。2023/10/3 時点で以下のリージョンで利用できます。 us-east-1 us-east-2 us-west-2 ap-southeast-1 ap-northeast-1 (2023/10/3) Bedrock の魅力を体感するために Chanilit および LangChain を使用したサンプル Chatbot アプリケーションを作成しました。 画面イメージ: 特に Bedrock + Claude v2 組合せは日本の AWS ユーザーにとって強力な選択肢となるのではないでしょうか！複雑なことはできませんが、

S3 の Multipart upload とは マルチパートアップロードは、単一のオブジェクトを複数に分割してアップロードできる機能です。分割された個々の部分 (part) は並列でアップロードできるため、スループットの向上やネットワークエラー時の影響軽減といった効果が期待できます。 大きなサイズのオブジェクトをアップロードまたはコピーする際にはマルチパートアップロードの使用が推奨されます。AWS CLI の高レベルコマンド (aws s3) ではファイルサイズに応じて自動的にマルチパートアップロードを実行するため、意識せずお世話になっている方も多いのはないかと思います。 S3 のコスト最適化の文脈でも、不完全なマルチパートアップロードを削除するという設定でお目にかかるケースが多いですね。 複数ファイルの集約にも使える マルチパートアップロードは単一のオブジェクトを複数に分割し、アップロ

June 27, 2023 We have received customers reporting errors with Actions’ OIDC integration with AWS. This happens for customers who are pinned to a single intermediary thumbprint from the Certificate Authority (CA) of the Actions SSL certificate. There are two possible intermediary certificates for the Actions SSL certificate and either can be returned by our servers, requiring customers to trust bo

はじめに 5 年ほど前に AWS のメンテナンス情報を Slack 通知する という記事を書きました。 時間が経ち、通知できる内容や通知方法も増えていますので 2023 年 5 月現在の情報で再度まとめます。 EventBridge による AWS Health イベントのモニタリング Amazon EventBridge を使用して、以下のような AWS Health イベントを検出できます。 アカウント固有のイベント パブリックイベント アカウント固有のイベント アカウント固有のイベントは　EBS ボリュームの消失イベントやその他スケジュールされた変更イベントなど、特定のアカウントとリソースに影響するイベントを指します。 全アカウントに影響するサービスの障害情報などはアカウント固有のイベントには含まれません。 パブリックイベント パブリックイベントは　AWS サービスのヘルスイベント、

はじめに 社内のクラウドエンジニア育成を目的として、以前からハンズオンなどを企画し定期的に実施していました。限られたメンバーと時間の中で何か新しい取り組みができないかと考え、2022 年から「アウトプットを伴走する」育成を始めました。少しずつ成果がではじめていると感じているため、Qiita でも共有させてください。 きっかけ ありがたいことに私個人として APN AWS Top Engineers という日本独自の表彰プログラムに 2019～2022 年まで 4 年間選出いただいます。その間、所属会社から複数名選出されることはなく、どうにか社内で仲間を増やしたいなと考えていました。 また社内における私の役割としてもクラウドの専門性を個人だけではなく組織に波及させることが求められるようになってきました。 そんな中、社内の複数部門からクラウドエンジニアの育成について相談いただき、「仲間を増やす

セゾン情報システムズ 代表取締役社長の葉山誠氏（中央）、同社 取締役 事業推進管掌 兼 上席執行役員 DIビジネス統括の石田誠司氏（右）、執行役員 DevOps副統括 兼 NH2024プロジェクト担当の有馬三郎氏（左） データ連携に必要な幅広い機能を備える一方、必要なものだけ選択できる HULFT Squareは、セゾン情報が2019年11月の事業戦略説明会で開発意向表明を行い、2021年6月に具体的なサービス内容が発表されていたiPaaS。セゾン情報が今後事業拡大を図るデータプラットフォーム事業のなかでも中核製品と位置づけられており、同社にとってまさに「待望のリリース」（代表取締役社長の葉山誠氏）となっている。 HULFT Squareはデータ連携プラットフォームとして、クラウド上で「データ変換」および「データガバナンス」の多様な機能群を提供し、オンプレミス／クラウドにあるさまざまなデー

この記事は セゾン情報システムズ Advent Calendar 2022 の 19 日目の記事です。 Vantage とは Vantage とは VNTG, Inc が提供するクラウドコスト管理のためのプラットフォーム (SaaS) です。サービス使用料の管理をシンプルにし、料金の予測や今月はどのリソースにいくらかかったか、どのリソースの利用が多かったかなど、支出状況を把握できるツールです。 本記事では Vantage のようなサービスが必要となる背景や機能概要について紹介します。 なぜクラウドコストの一元管理が必要か メインで使用するクラウドサービスに加えて、複数のクラウドサービスプロバイダーへの依存するケースも増えてきています。 例えば以下のようなケースです。 AWS を主に使っているが、データ分析基盤には BigQuery や Snowflake を使用している AWS にアプリケ

この記事は AWS Community Builders Advent Calendar 2022 および セゾン情報システムズ Advent Calendar 2022 の 16 日目の記事です 2023/10/10 AWS Verified Access が東京リージョンでも利用可能になりました！ 2023/5/2 追記 2023/4/28 に AWS Verified Access が一般利用可能になりました。ただし、東京リージョンおよび大阪リージョンではまだ利用できません。 GA に伴い、以下の機能が追加されています。 Verified Access instance に対する AWS WAF のサポート 署名済み ID コンテキストをアプリケーションエンドポイントに渡せるように (x-amzn-ava-user-context ヘッダー) AWS Verified Access

この記事は AWS Advent Calendar 2022 12日目の記事です。 はじめに 先日開催された AWS re:Invent 2022 で新しいデータ管理サービスである Amazon DataZone が発表されました。 Amazon DataZone を使用すると AWS やオンプレミス、サードパーティのソースに保存されているデータのカタログ化、発見、共有、および管理が簡単に行えるようになります。 本記事では 2022/12/11 時点の公開情報と re:Invent 2022 のセッション内容 (ANT344: Democratize data with governance: Bring together people, data, and tools) をもとに Amazon DataZone が提供する機能について掘り下げていきたいと思います。 セッション資料 ブレイ

はじめに 2022/10/18 に AWS Parameters and Secrets Lambda Extension が利用できるようになりました。 AWS から提供される Lambda Extensions を使用して AWS Systems Manager Parameter Store からパラメーターを取得したり、AWS Secrets Manager からシークレットを取得したりできるようになります。 何が嬉しいのか これまでは Lambda 関数の処理内で AWS SDK 等を使用してパラメーターやシークレットを取得していました。今回の拡張機能を使用することでこれらの値をキャッシュし、Lambda 関数のライフサイクル内で再利用できるようになります。これによりパラメーターやシークレットを取得するためのレイテンシーとコストが削減されます。 基本的な使い方 以下のドキュメント

モチベーション AWS Support のケース履歴は最大 12 ヶ月保存されます。 Q: ケース履歴の保存期間はどくらいですか? ケース履歴情報は、作成後 12 か月間ご利用いただけます。 そのため、サポートケースの内容を社内 Wiki のようなところでナレッジとして長期的に蓄積したいというケースを想定しています。 構成 EventBridge のイベントルールでサポートケースのクローズを検知 AWS Lambda で AWS Support API を使用してケースの詳細を取得 Markdown 形式に整形して Wiki に投稿

はじめに 例えばこんな通知を こんな感じに クラスメソッドさんの以下の記事を参考にしています。Step Functions の実行完了について記載されていますが、他のすべてのイベントでも応用できます。 AWS Chatbot や EventBridge の設定方法には触れませんので、必要な場合は以下をご参照ください。 EventBridge イベントによる AWS Chatbot の通知 2021 年の 4月に Amazon EventBridge によって処理されるすべてのサービスイベントを AWS Chatbot で通知できるようになりました。 ただし通知の粒度はイベント内容によって異なるのが現状です。 いい感じに通知してくれるケース 以下は ECR の Basic Scanning の完了イベントのサンプルイベントと AWS Chatbot による通知結果の例です。 { "versi

はじめに Amazon Redshift には機械学習ベースで自動的にパフォーマンスを最適化する機能が複数あります。数が増えて追いきれなくなってきたので以下にまとめます。 Automatic Vacuum Delete デフォルトで有効 2018/12/19 に追加 UPDATE や DELETE オペレーションにより論理削除された行数にもとづいてバックグラウンドで自動的に VACCUM DELETE を実行します。これにより断片化で消費されていたスペースが解放され、ワークロードのパフォーマンスが向上します。 低負荷のときに実行するようにスケジュールされ、負荷が高い間は操作を停止します。 Automatic Analyze デフォルト有効 2019/1/18 に追加 バックグラウンドで自動的に ANALYZE を実行し、テーブルの統計情報を更新します。これにより最適なクエリの実行計画の作成

Steampipe とは 標準 SQL を使用して、対応するクラウドサービス (AWS, Azure Google Cloud, and more!) にクエリを実行できるオープンソース の CLI ツールです。マルチクラウドのガバナンスプラットフォームを提供する Turbot (Turbot HQ, Inc.) が中心となって開発しています。 類似するサービスに IaSQL などがあります。IaSQL は SQL でインフラ構成を管理する、つまりリソースの作成や維持も目的としています。 対して Steampipe は API やサービスからデータを調査、評価し、洞察を得るという参照に特化しています。また単に CLI ツールであるため、ローカルや AWS CloudShell などの環境にインストールし、認証情報を与えるだけで利用できます。ユーザー自身で別途データベースを用意する必要もあり

はじめに 2021/10/1 のアップデートで組織内のメンバーアカウントの代替連絡先を API 経由で管理できるようになりました。更に 2022/2/9 のアップデートで AWS Organizations コンソールでこれらの操作が簡単にできるようになりました。 代替連絡先とは アカウント情報からオプションで設定できる請求、操作、セキュリティに関するやり取りのための連絡先を指します。組織内で複数アカウントを運用している場合、適切な部門が AWS の通知を受け取るようにしたいケースがあります。例えばセキュリティの連絡先を CSIRT や CCoE が管理する連絡先に設定しておくことで、不正利用 (Abuse Report) などの重要な通知を受け取り、応答できるようになります。 以前は各アカウントで代替連絡先を更新する必要がありましたが、前述のアップデートにより組織の管理アカウントまたは委

何が嬉しいのか AWS SSO で委任された管理者として組織のメンバーアカウントを設定できるようになりました 🎉🎉🎉 AWS SSO は組織の管理アカウントに作成されます。そのためこれまではユーザーやグループの割り当てを操作する担当者に管理アカウントへのアクセス権限を与える必要がありました。このアップデートによりそれらの管理作業を組織のメンバーアカウントで実施できるようになります。管理アカウントへのアクセス権限を与える人数を最小限に抑えることが可能になり、最小特権の原則のベストプラクティスを実践しやすくなります。 留意点 委任された管理者アカウントでは以下のタスクを実行できません。 管理アカウントのユーザーアクセスの管理 管理アカウントでプロビジョニングされたアクセス許可セットの管理 AWS SSO の有効化、設定の削除 委任された管理者アカウントの登録、解除 特に組織の管理アカウン

2022/12/29 Kubernetes 1.24 に対応するよう情報を更新しました。 本記事の構成 やりたいことは主に以下の 2 点です。 プライベートアクセス専用の EKS クラスターで actions-runner-controller を動作させたい GitHub API との通信はオンプレミスのプロキシサーバーを経由する 以下の構成で検証しています。 Amazon EKS: Kubernetes 1.24 actions-runner-controller: v0.26.0 cert-manager v1.10.1 eksctl: 0.124.0 kubectl: v1.24.7 AWS CLI: 2.9.11 actions-runner-controller とは Kubernetes クラスター上で GitHub Actions の self-hosted runners