印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます NTTデータグループがAIを活用したビジネス変革に取り組み始めている。その1つがソフトウエア開発分野への生成AIの活用で、プロジェクト管理から要件定義／設計、コーディング／テスト、運用・保守までのライフサイクル全域の生産性を2025年度に30％、2027年度に50％向上させる目標を打ち出した。 同社 技術革新統括本部 Apps＆Data技術部 Global Program Lead部長の市川耕司氏によると、ソフト開発における生産技術は2000年代の開発プロセスの標準化、2010年代の開発ツールの自動化、2020年代のアジャイル開発、そして今、AI・データドリブン開発へと進んでいる。中でも生成AIを適用した事例は設計情報からソースコードの
【RAG】Amazon BedrockとConnect、Kendraを利用し、社内情報や社外の最新情報などの取り込んだデータをもとに回答するコールセンター向けAIチャットボットを構築してみた | DevelopersIO
はじめに Amazon BedrockとAmazon Connect、Amazon Kendraを利用し、電話での質問に対して、取り込んだ情報をもとに検索し、回答する（Retrieval Augmented Generation（以降、RAG））コールセンター向けAIチャットボットを構築してみました。 以前、Connectをインターフェースとして、BedrockのClaude V2に質問するチャットボットを構築しましたが、今回はKendraを採用したRAG版です。 最近、社内の業務効率化などの目的で、AIの言語モデル（以降、LLM）を用いて社内情報を活用するための手法として、RAGが話題になっています。 RAGとは、ユーザーからの問い合わせ（プロンプト）に基づいて外部データから関連するドキュメントを検索し、その結果をもとにLLMが質問への回答を生成するという手法です。 RAGの検索（Ret
Amazon BedrockのClaudeとAmazon Connectを利用し、電話で色々な質問に答えてくれるコールセンター向けAIチャットボットを構築してみた | DevelopersIO
Amazon BedrockのClaudeとAmazon Connectを利用し、電話で色々な質問に答えてくれるコールセンター向けAIチャットボットを構築してみた はじめに Amazon BedrockのClaudeとAmazon Connectを利用した、電話で様々な質問に対する応答が可能なコールセンター向けAIチャットボットを構築しました。 電話をかけて質問すると、BedrockのAPIを利用し、質問に答えてくれます。音声は、Amazon Connectが提供するものを活用しています。 以下は、電話をかけた際の対話の様子を示したイメージです： 実際に電話をかけたときのデモ動画です。Bedrockのモデルは、Claude Instant v1.2を使用しています。 構成図は、以下になります Connectのコンタクトフロー内で、Lexで質問内容を受け取り、音声から文字起こしされ(裏でAm
本書籍を全ての章を読み思ったこと。それはこの一冊があればとりあえず入門から今抑えなければならないことは大体網羅できる。そう感じました。 ChatGPT、正確にはOpen AIとLangChain本の紹介となります。私が知るにLangChainとOpen AIを用いたチャットシステム構築の本格的な実践入門書籍としては初になるんじゃないでしょうか。 今回は、そんな書籍のレビューと実際に書籍通りチャットシステム構築をする中で感じたこと、さらなるチューニングについてをご紹介していきます。 紹介する書籍 2023年10月18日発売(書籍/電子)の「ChatGPT/LangChainによるチャットシステム構築［実践］入門」になります。 下記にリンクを貼っておきますので、興味を持たれた方はぜひチェックをお願いします 著者の紹介 本書籍なのですが、今LLM界隈でも情報のキャッチアップとアウトプットの先頭に
![ChatGPT/LangChainによるチャットシステム構築[実践]入門](https://cdn-ak-scissors.b.st-hatena.com/image/square/49cb7277641a9e60d501a46a62f9793fe12e6193/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--G8Wuq7ng--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3AChatGPT%25252FLangChain%2525E3%252581%2525AB%2525E3%252582%252588%2525E3%252582%25258B%2525E3%252583%252581%2525E3%252583%2525A3%2525E3%252583%252583%2525E3%252583%252588%2525E3%252582%2525B7%2525E3%252582%2525B9%2525E3%252583%252586%2525E3%252583%2525A0%2525E6%2525A7%25258B%2525E7%2525AF%252589%25255B%2525E5%2525AE%25259F%2525E8%2525B7%2525B5%25255D%2525E5%252585%2525A5%2525E9%252596%252580%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Ayoshii0110%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzdmOTNhNWVlYjEuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS Certified AI Practitioner」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL SAP DOP SCS ANS MLS SAA DVA SOA DEA MLA AIF CLF 「AWS Certified AI Practitioner(AIF)」とは 「AWS Certified AI Practitioner(AIF)」は、AI/MLおよび生成AIテクノロジーに関する基礎的な知識を持ち、AWSのAI/MLサービスの適切な活用方法を理解しているこ
【速報】AWSの生成AIサービスであるAmazon Bedrock がリリースされたので朝イチで触ってみた | DevelopersIO
AWSにおける生成AIサービスであるAmazon Bedrockがリリースされました。生まれたばかりのAmazon Bedrockを実際に触って、どんな機能があるのか検証してみたいと思います。 はじめに おはようございます、おのやんです。 みなさん、Amazon Bedrockをご存知ですか？ Amazon Bedrockは、AWS内で使用可能な生成AIサービスです。私が朝５時に起床したタイミングでリリースされていました。 ということで、今回はいち早くAmazon Bedrockを触ってみたいと思います！ なお、機械学習に関しては門外漢であるため、技術的に不十分な説明になる可能性があります。またリリース直後の情報であるため、今後変更の可能性が十分にあります。そこはご了承くださいm(_ _)m Amazon Bedrockとは？ こちらがAmazon Bedrockの公式ドキュメントです A
【AWS re:Invent 2024】人の労力を減らす、Amazon Bedrock Agents によるイベントドリブンエージェント作成を体験してきた - カミナシ エンジニアブログ
はじめに カミナシでソフトウェアエンジニアとしてサービスの開発をしている Taku (X アカウント) です。 ラスベガスで開催されている AWS re:Invent に2年振り2回目の参加をしています。 その中で役立ちそうなワークショップに参加することが出来たので、今回はそのご紹介をさせていただきたいと思います。 公開されているワークショップのリンクも載せているため、最後までご覧いただけると幸いです。 参加したワークショップ 今回参加したのは「Automating technical support and workflows with Amazon Bedrock Agents」というワークショップです。 セッションの詳細 Applying generative AI and agentic solutions to event-driven workflows gives enter
無料のclaude.aiは本稿執筆現在、既に「Claude 3 Sonnet」になっている。月額20ドルの「Claude Pro」にアップグレードすれば「Opus」を利用できるようになる。 コンテキストウィンドウは、最大20万トークン（約15万ワード、または500ページ以上のドキュメント）を受け入れる。Anthropicによると、Opusは「AIシステムの一般的なベンチマークのほとんどで、米OpenAIのGPT-4や米GoogleのGeminiなどの競合するシステムを上回る性能を発揮した」という。また、「複雑なタスクでは人間に近い理解力の流暢さを示し、一般知能の最前線をリードする」としている。 昨年7月にリリースした「Claude 2」と比較して、分析と予測、微妙なコンテンツ作成、コード生成、スペイン語、日本語、フランス語などの非英語での会話能力が向上した。2023年8月までのデータでトレ
Amazon BedrockのKnowledge baseで簡単にRAGを構築 - Taste of Tech Topics
ポトフがおいしい季節ですね、菅野です。 Amazon BedrockのKnowledge baseがGAとなり、Amazon BedrockでもRAGが作成できるようになりました。 docs.aws.amazon.com 今回はKnowledgeベースを実際に作成して統計データを検索するRAGを構築してみます。 RAGとは RAGアーキテクチャ（Retrieval-Augmented Generation）は、自然言語処理において、Google検索のような検索技術と、ChatGPTのような文章生成技術を組み合わせた技術です。 このアーキテクチャを利用すると、生成AIが学習していないデータ、例えば自社の内部レポートのようなデータを用いて、ChatGPTライクな応答システムを構築できます。 具体的には、何か質問を受けると、質問に関連した文章を検索し、その検索結果を元に自然となるような回答を生成
Amazon Bedrock "Claude 2" と、ChatGPT "GPT-4" を比較してみる - Qiita
Amazon Bedrockとは? 2023/9/28にAWSが生成系AIのサービス「Amazon Bedrock」を正式リリース (GA) しました。 「Amazon Bedrock」は、様々な企業の基盤モデル(FM)を1つのAPIで利用できるようにするサービスです。 基盤モデルとは、大量のデータで事前訓練された大規模な機械学習モデルのことで、用途は幅広く、検索からコンテンツ作成、医薬品開発など、様々な分野で活用できます。 Amazon Bedrockは、この基盤モデルの利活用が容易にできるサービスとなっています。 ユーザーは、AIのスタートアップや著名な企業が開発した基盤モデルを簡単に試すことができ、また、自社のデータを使ってカスタマイズすることもできます。 「Amazon Bedrock」は言うまでもなくサーバレスであり、インフラの運用が不要であることに加え、ChatGPTとは異なり
AWS Location ServiceをCDKで構築して地図をカスタマイズしてみた - Taste of Tech Topics
こんにちは、igaです。 8月ももう終わりですが、まだまだ暑い日が続きますね。私は数年前から日傘を使うようになりましたが、晴れた日に外を歩く際、日傘があると少しだけ体感温度がましになるので、夏は日傘が手放せなくなりました。 今回は、AWS Location ServiceをCDKで構築して、地図のスタイルをカスタマイズしてみました。 AWS Location Service AWS Location Serviceとは AWS Location Service（以降、Location Serviceと表記します）はAWSが提供する、地図や位置情報、移動経路などが利用できるサービスです。 aws.amazon.com 今回の内容 今回は、次の2つを実施します。 Location ServiceをCDKで構築して、クライアントで地図を表示する 地図のスタイルをカスタマイズする 地図のスタイルの
AWS Certified Cloud Practitioner(CLF)／AWS認定クラウドプラクティショナーの学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS Certified Cloud Practitioner」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL SAP DOP SCS ANS MLS SAA DVA SOA DEA MLA AIF CLF 「AWS Certified Cloud Practitioner(CLF)」とは 「AWS Certified Cloud Practitioner(CLF)」は、AWSクラウドに関する総合的な理解を持ち、クラウドの基本概念、主要なサービス、セキュリティ、アーキテクチ
AWSでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版（運用編２） - Taste of Tech Topics
こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAWS編の記事になります。 AWSでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構築編 acro-engineer.hatenablog.com ②運用編1 acro-engineer.hatenablog.com 本記事では運用編２としてElastic Cloudにおいて以下を実施する手順を紹介します。 はじめに 1. バージョンアップ 2. 監査ログ設定 まとめ はじめに 本記事では、Elastic Cloud(Elasti
Stability AIが高性能画像生成モデル「SDXL 1.0」をリリース＆すぐに使えるウェブアプリも公開されたので使ってみた
画像生成AI「Stable Diffusion」の開発元であるStability AIが画像生成モデル「Stable Diffusion XL 1.0(SDXL 1.0)」を公開しました。SDXL 1.0は2023年6月に研究目的で公開された「SDXL 0.9」をさらに強化したもので、すでにモデルデータが公開されている他、SDXL 1.0をサクッと使えるウェブアプリも用意されています。加えて、AmazonのAIサービス「Amazon Bedrock」でSDXL 1.0のAPIが利用可能になることも発表されています。 ANNOUNCING SDXL 1.0 — Stability AI https://stability.ai/blog/stable-diffusion-sdxl-1-announcement Stability AI Announces Stable Diffusion X
AWS版「GitHub Copilot」な「Amazon CodeWhisperer」が正式版に 個人ユーザーは無料、VSCodeに対応
参考：AWSも、プログラミングを機械学習で支援する「Amazon CodeWhisperer」プレビュー公開。コメントを書くとコードを提案 コメントや書きかけのコードからコードを自動生成 Amazon CodeWhispererは、オープンソースリポジトリ、Amazon内部リポジトリ、APIドキュメント、フォーラムなどから収集した数十億行のコードを基にした機械学習から、プログラマが書き始めたコードの続きや、コメントの内容からコードを提案してくれるサービスです。 コードを生成してくれる代表的なAIサービスであるGitHub Copilotの、AWS版と言ってよいでしょう。 下記は、1行目と2行目に自然言語で書かれたコメントから、3行目以降のコードが自動生成された様子です。 特にAmazon内部のリポジトリを基に学習されているため、AWSのサービスを活用するコードの生成は得意とされています。例
2023年のプロダクトセキュリティを振り返る【各業界の開発・セキュリティエンジニア13人に聞く（前編）】 - #FlattSecurityMagazine
プロダクト開発・運用の現場では2023年のセキュリティ関連のトピックをどう受け止めているのか、また、今後のセキュア開発に関する潮流をどう予測しているのか。様々な業界で活躍する開発エンジニア・セキュリティエンジニアの方々13人に見解を伺いました。 今回は、「2023年のプロダクトセキュリティを振り返る」というテーマでお届けします！ ＜13人の方々による「2024年セキュリティトレンド予想」＞ flatt.tech 今回コメントをいただいた方々 CADDi CTO 小橋昭文さん サイボウズ Cy-PSIRT Finatextホールディングス 取締役CTO/CISO 田島悟史さん Google 小勝純さん グラファー 森田浩平さん IssueHunt 取締役 CTO Junyoung Choiさん カンム 金澤康道さん メルカリ IDP team kokukumaさん メルカリ Product
クラウド本部 クラウドソリューション部に所属(2024年入社) 主に社内向けのクラウド記事を書いてます。でかい鯉を見るのが好き。 はじめに どうもこんにちは、好きな料理漫画は「ミスター味っ子」、クラウドソリューション部の立木です。 ここ2か月間、おいしいので毎晩カレーを食べていましたが、流石に嫌気が刺してきたのでAIに献立を考えてもらうことにしました。 ただ、それだけだと面白味がないので、近所のスーパーのチラシを用いてOCRを行い、読み取った情報を元に献立を考えてもらいます。 それでは実際にやっていきましょう。 ※今回、たまたまいなげや様のチラシを使用していますが、本件はいなげや様とは無関係なのでお問い合わせされないようにお願いします。あくまで私個人が本ツールの検証として使用しただけです。 構成 今回の構成です。 まず、チラシをWebサイトから入手し、そのときの形式がPDFなのでjpegに
Amazon Bedrock をTeamsとノーコードで連携する - Taste of Tech Topics
はじめに 10月に入り、やっと秋らしい感じになってきました。 データ分析エンジニアの木介です。 先日、AWS Chatbotの新機能を利用して、BedrockがTeamsやSlackと簡単に連携できるようになったと発表がありました。 今回は、その内容を確認して、BedrockとTeamsを連携する方法について、説明していきます。 aws.amazon.com はじめに 概要 Amazon Bedrockとは？ 今回のゴール TeamsへのBedrockを使ったアプリの導入 構築環境 1. Agents for Amazon BedrockでAIエージェントを作成する 2. AWS Chatbotの設定 3. Teamsの設定 使い方 まとめ 概要 Amazon Bedrockとは？ Amazon Bedrock は、AWSが提供するマネージドサービスで、開発者が複数の大規模言語モデル（LL
Amazon Bedrock(ClaudeV2)でLambdaのコードを生成してみた - Taste of Tech Topics
こんにちは、最近久々にソロキャンプをしてきました菅野です。 AWS上で、 ChatGPTのようなテキスト生成AIを利用できるようになるサービス、Amazon Bedrockがリリースされました。 今回はBedrockで、LambdaのPythonコードを生成してもらいます。 利用するモデルは、ChatGPTと同レベルの性能を有しているClaudeV2を利用します。詳細はこちら。 Bedrockについて執筆した別記事もあわせてご覧ください。 acro-engineer.hatenablog.com acro-engineer.hatenablog.com S3に保存したCSVファイルの平均を求めるLambda関数を作成する 以下のようなcsvをS3からダウンロードし、一分毎、name毎の平均を返却するLambdaを作成してもらいます。 id,name,value,timestamp 1,da
[アップデート] Amazon SES に新機能 Mail Manager が追加されました | DevelopersIO
いわさです。 先日 Amazon SES を眺めていたら何やら見たことのない機能が追加されていました。 なんか新しいの登場したな。Mail Manager pic.twitter.com/6wIyviNuiB — いわさ (@Tak1wa) May 22, 2024 そして、つい先程アップデートのアナウンスと公式ブログも公開されました。 どうやら受信メールゲートウェイを担う機能のようです。 今までも Amazon SES ではシンプルにメールを受信して SNS への通知や Lambda の実行などは出来ていましたが、公式ブログによると受信メール機能が強化されたようなイメージでしょうか。 Amazon SES currently offers a way to receive incoming emails from the internet using its SMTP interface
![[アップデート] Amazon SES に新機能 Mail Manager が追加されました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/dc7b169c31f578b497e4c85d122a88c24b6c46ba/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-ses.png)
Today, we’re launching Claude 3.5 Sonnet—our first release in the forthcoming Claude 3.5 model family. Claude 3.5 Sonnet raises the industry bar for intelligence, outperforming competitor models and Claude 3 Opus on a wide range of evaluations, with the speed and cost of our mid-tier model, Claude 3 Sonnet. Claude 3.5 Sonnet is now available for free on Claude.ai and the Claude iOS app, while Clau
同社によると、Haikuは大部分のワークロードで競合製品より3倍高速で、3万2000トークン未満のプロンプトに対して1秒当たり2万1000トークンを処理するという。長文が多い企業のワークロード向けに、入力トークンと出力トークンの比率が1対5になっている。 つまり、業績発表書類、契約書、起訴状などの長文文書の分析に向いており、たとえば400件の最高裁判例を1ドルで処理・分析できるという。 Claude 3の料金は以下のとおり。 Opus：100万入力トークン当たり15ドル、100万出力トークン当たり75ドル Sonnet：100万入力トークン当たり3ドル、100万出力トークン当たり15ドル Haiku：100万入力トークン当たり0.25ドル、100万出力トークン当たり1.25ドル 米Amazon.comのAWSは同日、APIを通じて主要な基盤モデルを利用できるようにするフルマネージド型サービ
Amazon Kendra と Amazon Bedrock で構成した RAG システムに対する Advanced RAG 手法の精度寄与検証 | Amazon Web Services
Amazon Web Services ブログ Amazon Kendra と Amazon Bedrock で構成した RAG システムに対する Advanced RAG 手法の精度寄与検証 By Kazuki Motohashi, Ph.D., Partner Solutions Architect, AI/ML – AWS Japan By Kazuhito Go, Sr. AI/ML Specialist Solutions Architect – AWS Japan By Kenjiro Kondo, TELCO Solutions Architect – AWS Japan 生成 AI は会話、ストーリー、画像、動画、音楽などの新しいコンテンツやアイデアを作成できる AI の一種です。生成 AI によりアプリケーションが再発明され、新しいカスタマーエクスペリエンスが提供されます
Amazon Bedrock の Rerank API を活用してRAGの精度を向上させる - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） RAG（検索拡張生成：Retrieval-Augmented Generation）で正しい情報をユーザーに提供する際に特に重要になるのが検索精度です。 そして、検索精度を上げる方法のひとつが「リランク」です。 リランクを行い、検索で取得した結果を関連度で並び替えなおすことで、ユーザーの求めている情報を回答しやすくなります。 そんなリランクを行うモデルがAmazon Bedrockに追加され、 Bedrock Knowledge Baseと組み合わせて使用できるようになりました。 従来は自前でモデルをホストする、など手間がかかりましたが、Knowledge Baseへ
「Claude 2」at Amazon Bedrockと「GPT-4」at ChatGPTで生成結果はどのように変わるのか？ - Taste of Tech Topics
こんにちは、最近はめっぽう冷えてきましたそろそろおでんが恋しくなりますね、菅野です。 AWS上で、 ChatGPTのようなテキスト生成AIを利用できるようになるサービス、Amazon Bedrockがリリースされました。 そこで今回はChatGPTとテキスト生成の結果を比較してみようと思います。 ChatGPTはGPT-4モデルを、Amazon BedrockではChatGPTより大きいトークンを受け取れ、安価で利用できるといわれているモデル、ClaudeV2を利用します。詳細はこちら。 Amazon Bedrockでのチャット生成方法は以下のブログで紹介しているので こちらのブログも参照ください。 acro-engineer.hatenablog.com 「RestAPIについての説明」の結果を比較する 生成AIではわからないものの質問をする機会が多いです。 それぞれのAIにRestAP
AWSでElastic Cloudを利用する 2024年版（構築編） - Taste of Tech Topics
こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） 皆さんはElastic Cloudを利用されたことはあるでしょうか？ Elastic CloudはElastic社が提供しているSaaSサービスで、クラウドプロバイダはAWS、Azure、GCPをサポートしています。 最新バージョンのクラスタ構築や、既存クラスタのバージョンアップを数クリックで実施できるため、導入がお手軽です。 しかし実際に利用するとなると アクセス制限やCognito連携など、考慮すべきことが多くあります。 意外にハマりどころが多い所だと思うので、手順や注意事項などをまとめ
Amazon Bedrockの基本情報とRuntime APIの実行例まとめ － 参考資料、モデルの特徴、価格、使用方法、トークンと推論パラメータの説明 - NRIネットコムBlog
小西秀和です。 今回は2023-09-28にGeneral Availability(GA)になったAmazon Bedrockの基本情報、Runtime APIの実行例についてまとめました。また、トークンやパラメータのイメージをつかむための必要最小限の用語説明も所々入れています。 最終更新日：2024/06/21 ※AWS re:Invent 2024後の2024年末時点におけるAmazon Bedrockのモデル一覧は以下の記事で紹介しています。 Amazon Bedrock Models as of 2024 - An Analysis of the Comprehensive Model Catalog ※本記事および当執筆者のその他の記事で掲載されているソースコードは自主研究活動の一貫として作成したものであり、動作を保証するものではありません。使用する場合は自己責任でお願い致しま
【Bedrock×Lambda】高精度なハイブリッド検索RAGをサーバレスで実装（Slack連携も可） - Qiita
import base64 import boto3 import datetime import json import os import pytz import re from botocore.exceptions import ClientError from langchain.chains import LLMChain from langchain.prompts import PromptTemplate from langchain.retrievers import RePhraseQueryRetriever from langchain.schema import Document, HumanMessage from langchain.schema.embeddings import Embeddings from langchain.storage impo
【AWS re:Invent 2024】Generative AIを利用したこれからのセキュリティ対策に足を踏み入れてみた - カミナシ エンジニアブログ
はじめに カミナシでID管理・認証基盤を開発しているmanaty（@manaty0226）です。ラスベガスで開催されているAWS re:Invent 2024に初めて参加しています。今回はブレイクアウトセッションで開催された「Generative AI for security in the real world」を聴講したレポートをお届けします。 生成AIをどのようにセキュリティに利用するのか 彼らの主張の軸となっているのは、生成AIはセキュリティエンジニアを置き換えるものではなく、セキュリティエンジニアや開発者、テスターを面倒な仕事から解放し、生産性を向上してより能動的にセキュリティ対策をしていくことです。その上で、いくつかの具体的なユースケースに対して生成AIを使ったデモを見せながら、どのように生産性向上に寄与するのか説明されています。以下に記憶に残った2つのユースケースについて記載
手元にある LINE ボット環境のソースファイルが 1 ファイルにも関わらず 350 行超えたので、最近勉強したドメイン駆動設計を実践も兼ねてリファクタリングしてみました。 こんにちは、高崎＠アノテーションです。 はじめに 過去の拙記事にも何度か登場している自身の LINE ボットの環境ですが、cdk のスタック定義が約 100 行、Lambda のソースが約 370 行と注ぎ足し注ぎ足しでだんだんと大きくなってきました。 一方、業務で使用している環境はドメイン駆動モデルを元に設計・構築を行っているものが多いため、これらの環境やドメイン駆動設計を学んだことを実践すべく、この LINE ボット環境をリファクタリングしてみました。 この記事の対象 筆者と同じく「ドメイン駆動設計を始めたばかりの方」向けと考えております。 今回の内容は筆者個人が参考文献を元に記載した記事で、ドメイン駆動設計の正確
機械学習エンジニアの吉田です。今回は、LLM (Large Language Models) を活用して、機械学習モデルに必要なデータのアノテーション作業を効率化する取り組みについて紹介します。 なお、アノテーションにおけるLLMの利用に関しては、クラウドベンダー各社及び社内の法務確認のうえ進めています。この記事で登場するLLMがアノテーション用途で使えることを保証するわけではないのでご留意ください。 背景 LayerXで提供しているバクラクでは、帳票をアップロードするだけで支払金額や支払期日などを自動で読み取るOCRの機械学習モデルを開発しています。 このモデルのデータセットを作成するために、内製のアノテーション基盤を使って日々手作業でアノテーションを行っています。帳票の種類が多く、解釈が複数ある場合もあるため、アノテーション作業は簡単ではありません。モデルの推論結果やユーザーの入力値を
Building effective agents
Over the past year, we've worked with dozens of teams building large language model (LLM) agents across industries. Consistently, the most successful implementations weren't using complex frameworks or specialized libraries. Instead, they were building with simple, composable patterns. In this post, we share what we’ve learned from working with our customers and building agents ourselves, and give
Amazon Web Services ブログ FMOps/LLMOps：生成系 AI の運用と MLOps との違い 最近、多くのお客様は大規模言語モデル (Large Language Model: LLM) に高い期待を示しており、生成系 AI がビジネスをどのように変革できるか考えています。しかし、そのようなソリューションやモデルをビジネスの日常業務に持ち込むことは簡単な作業ではありません。この投稿では、MLOps の原則を利用して生成系 AI アプリケーションを運用化する方法について説明します。これにより、基盤モデル運用 (FMOps) の基盤が築かれます。さらに、Text to Text のアプリケーションや LLM 運用 (LLMOps) について深掘りします。LLMOps は FMOps のサブセットです。以下の図は、議論するトピックを示しています。 具体的には、MLOps
【Bedrock / Claude】AWSオンリーでRAGを使った生成AIボットを構築してみた【Kendra】 | DevelopersIO
はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 現地時間 2024/7/10 に開催されている AWS Summit New York 2024 で多くの生成 AI 関連のアップデートが発表されました。 以下の公式ブログに随時発表が更新されていくようですが、本記事では基調講演などでの発表も踏まえて日本語で概要をまとめています。 Amazon Bedrock 関連 Claude 3 Haiku のファインチューニングが可能に (Preview) これまで Bedrock でファインチューニング可能なモデルは Titan や Cohere Command、Llama 2 のみだ
LLMとコンピュータビジョンでブラウザベースのワークフローを自動化できる「Skyvern」を使ってみた、コードと違ってウェブサイトが変わる度に書き直す必要無し
SkyvernはテキストでAIに指示することでブラウザを使用するワークフローを自動化してくれるツールです。コードで自動化する場合と異なり、多少ウェブサイトの構造が変わっても問題なく対応可能なのが特徴です。有料のサービスであるものの、記事作成時点ではアカウントを作成すると5ドル(約770円)分のクレジットが付与されるとのことだったので、実際に使い勝手を確かめてみました。 Skyvern - Automate Browser-Based Workflows with AI https://www.skyvern.com/ GitHub - Skyvern-AI/skyvern: Automate browser-based workflows with LLMs and Computer Vision https://github.com/Skyvern-AI/Skyvern Skyvernは
データマイニングの国際学会KDD2024＠スペインでは、やはりLLM関連の話題が豊富 - Taste of Tech Topics
皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） KDD主催のコンペティションKDDCupで入賞したことより、昨年に引き続き、KDDに参加しましたのでそのレポートを記載させていただきます。 今年はスペイン・バルセロナでの開催だったため、ヨーロッパへ初渡航でした。楽しかったです！ 会場写真※昨年のレポートはこちら acro-engineer.hatenablog.com KDD2024 KDDは正式名称、30th ACM SIGKDD CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MININGです。 8月25日（日）〜29日（木）主なテーマとしてデータマイニング
1時間ほどで漫画風の絵コンテ生成アプリを制作してみた ～そして来るべき未来を予感した（窓の杜） - Yahoo!ニュース
画像生成AIが誰でも使えるようになってだいぶ時間が経過し、一般化、産業化が進んでいます。先日はAmazon Web Service（AWS）のAIフルマネージドAPIホスティングサービス「Amazon Bedrock」で、Stability AIの画像生成AIモデル「Stable Image Ultra」、「Stable Diffusion 3 Large」、「Stable Image Core」が利用できるようになりました。時代はAI活用の方向へ加速しています。 【画像】「漫画風の絵コンテを作ってくれるAIアプリ」が生成した絵コンテ このような流れの中で、我々もAIを使ってもっと楽しく、もっと創造的になっていけるのではないでしょうか？ 今回はAIを使ったアプリ制作を通じて感じた未来について語りたいと思います。 ■ 多様なモデルとAPI 従来はゲーミングPCのようなGPU搭載PCを使って利
AWS、API経由で生成AIを利用する「Amazon Bedrock」正式リリース。コード生成AIのCodeWhispererのカスタマイズも可能に
AWS、API経由で生成AIを利用する「Amazon Bedrock」正式リリース。コード生成AIのCodeWhispererのカスタマイズも可能に Amazon Web Services（AWS）は、API経由で生成AIなどの基盤モデルが提供される新サービス「Amazon Bedrock」の正式リリースを発表しました。 生成AIなどを実現する基盤モデルをマネージドサービスとして提供する機能は、Microsoft Azureが「Azure OpenAI」で、Google Cloudが「Vertex AI」で提供しています。Amazon Bedrockはこれら生成AIの本格的な競合サービスといえるでしょう。 Amazon Bedrockが提供する基盤モデルを利用することで、生成AIを用いたテキストの生成やテキストの要約、チャットボット、画像生成、検索、パーソナライズなどの機能を構築できます。
【AWS re:Invent 2024】Amazon S3 Metadata と Amazon S3 Table Bucket は名前だけ見ると誤解しそうなので整理しました - カミナシ エンジニアブログ
はじめに こんにちは、「カミナシ 従業員」開発チームの a2 (@Atsuhiro_tim) です。5日間の AWS re:Invent を終え、帰国しました。 今年の re:Invent は Amazon S3 Table Bucket, Amazon S3 Metadata という新機能が発表されましたね。 Amazon S3 Table Bucket というサービス名を聞いた時、「Relational Database インターフェースのプロビジョニング不要の DB（主に OLTP 用）で、個人開発サービスに使える？」や、「S3 の csv ファイルに対して Athena を経由せずに S3 上でクエリを書けるようになったのか？」 などと思ったのですが、実際は全く違いました。 現地で関連セッションに参加して話を聞き、document も読み、一緒に re:Invent に参加したメン
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NTTデータグループがソフト開発の生産性を70％向上させる理由
ChatGPT/LangChainによるチャットシステム構築[実践]入門
AWS Certified AI Practitioner(AIF)の学習方法 - NRIネットコムBlog
Anthropic、AIチャット「Claude 3」を3サイズで 日本語力も向上
スーパーのチラシをOCRで読み取らせてAIに献立を提案してもらう | IIJ Engineers Blog
Introducing Claude 3.5 Sonnet
Anthropic、「Claude 3」の最小で手頃価格の「Haiku」リリース AWSなどで利用可能に
ドメイン駆動設計を実践して自分の LINE 環境をリファクタリングしてみた | DevelopersIO
LLMを活用した機械学習モデルのアノテーション効率化 - LayerX エンジニアブログ
FMOps/LLMOps：生成系 AI の運用と MLOps との違い | Amazon Web Services
AWS Summit New York 2024での生成AI関連の新発表まとめメモ - Qiita