Amazon Q DeveloperがGAされたのでVisual Studio Codeから使ってみる - TECHSTEP
今回は2024年4月の終わりにGAとなったAmazon Q Developerを使ってみました。 aws.amazon.com 背景 以前Amazon CodeWhispererからCloudFormationコードの開発を試しましたが、つい先日Amazon Q DeveloperがGAとなり、CodeWhispererもAmazon Q Developerの機能の一部として変更されました。 なお今回は触れませんが、GAになって以下のような機能が追加されています。 AWSアカウント上のリソース情報の提供: S3バケットやLambda関数といったリソースの個数などをチャットから質問できます。 AWSコスト情報の提供: アカウント上で利用料金の大きいリソース種別などを質問できます。 Software development: /dev コマンドと自然言語を組み合わせて、コードを生成します（Co
GPT-4oを使って手書きの図からHTMLを出してもらった件
驚異のGPT-4o はじめにこんにちは。ネクストビートでエンジニアをしている水島です。 今回は、5月14日（火）にOpenAI社によって発表された、新しいモデルGPT-4oについての紹介記事となります。 既にXなどをはじめ多方面でその驚くべき能力が知られ始めているGPT-4oですが、筆者も昨日に試してあまりの凄さに驚いてばかりです。ちなみに昨日意図せずバズったポストの著者でもあります。 GPT-4oはOpenAIが従来から提供してきたGPT-4-Turboの後継とも言えるモデルです。5月14日（火）のデモで発表された内容ではリアルタイムでの音声認識・応答などが目玉になっていましたが、こちらはまだ未公開です（数週間以内には提供されるようですが）。ですので、今回は即日リリースされたチャットボットとしてのGPT-4oの話になります。 GPT-4oについてはこの記事を読まれている皆さんも色々試され
RAGを用いた社内情報検索システムを導入した話
はじめに こんにちは、助太刀バックエンドチームの市川です！ 助太刀では、2024 年 2 月に以下の生成 AI の活用した社内情報検索システムに関するプレスリリースを発信しました。 助太刀、生成 AI を使った社内 Wiki を開発。生成 AI の活用により社内業務の効率化を強化 今回は、その社内情報検索システムに関する LLM(大規模言語モデル)、RAG(Retrieval-Augmented Generation) を用いた検索システムの構築について紹介したいと思います。 上記プレスリリースにも記載がありますが、主に社内業務効率化を目的とし開発・導入しました。 RAG とは RAG（Retrieval-augmented Generation） とは、質問やプロンプトに対して出力する答えを作る過程で、あらかじめ用意された外部データベース内の既存情報を参照（Retrieval）することで
Slack経由でRAGにコードレビューを依頼するBotを作成 〜 AWS SAM編 - Qiita
はじめに 前回の記事では、リーダブルコードの原則に従ったコードレビューを自動化できないものか・・と考えた結果、『RAGにリーダブルコードの原則を取り込ませてコードレビューをしてもらおう！！』という検証をしてみました。 検証環境の構築は AWSマネジメントコンソール を使用していましたが、今回は AWS SAM を使用して、より簡単に環境構築する方法の解説を行います。 使用するリポジトリは以下になります。 事前準備 リージョン切り替え 全ての手順は「東京リージョン」で実施することを前提としているため、AWSのマネジメントコンソールからリージョンを「東京」に変更してから手順を進めてください。 Cloud9 ローカルマシンの環境を汚さないために、Cloud9 を使用して環境構築を行います。Cloud9 には、今回の作業に必要な以下のツールが事前にインストールされているため、環境構築がスムーズに行
軽量LLMをGoogle ColabでPPO ファインチューニング - Qiita
超軽量LLMのflan-t5-baseをPPO(Proximal Policy Optimization)でファインチューニングしてみました。今回の目的はプログラムを動かすことなので訓練のハイパーパラメータやモデル改善度など基本的に見ていません。いずれ本格的に実行する時の足がかりに、と思ってやりました。 CPUでは実行できませんでしたが、Google Colabで無料でも使えるT4 GPUで実行できました。動かすことを目的としているので、精度などはあまり見ていません(時間制限を気にせず使えるようにColab Pro契約してます)。 実行環境 2024/4/14時点のGoogle Colab で、Python3.10.12で、以下のパッケージを主に使っています。numpyなど少しだけ使っているやつは省略。 Package Version 備考
LLMの事前評価のシステムアーキテクチャを紹介します
この記事の概要 こんにちは。PharmaX でエンジニアをしている諸岡（@hakoten）です。 この記事では、「YOJO事業部のプロダクト内で使用されているLLM（Large Language Models）の機能の性能を事前評価するための仕組み」について、システムのアーキテクチャをご紹介しています。 LLMを用いて実現している具体的な機能については詳しく触れていませんので、その点ご理解ください。 LLMにおける事前評価とは何か まず、プロダクトにおけるLLM（Large Language Models）機能の評価がどのようなものかについて簡単に説明します。 LLMの特徴の一つとして、「出力が確率的である（毎回異なる）」という点があります。そのため、LLMで生成された文章や出力に対しては、出力結果の良し悪しを定量的に計測する方法が必要になります。 弊社における定量的な計測は、大きく次の2
ChatGPTとデバッグ：落とし穴から抜け出す方法 - アイソモカ
プログラミングの9割はデバッグだ。いや、さすがにそれは言い過ぎか。それでも、デバッグ（うまく動かないプログラムを修正すること）がプログラミングの大切な一部であることは間違いない。先日SNSを見ていたら、ChatGPTをプログラミングに活用することについて「うまくプロンプトを与えても、生成されたプログラムが自分の要求仕様通りになることはまずなく、自分で修正する必要がある」と言っている人がいて、ちょっと驚いてしまった。自分で修正するなよ、ChatGPTに「思い通りに動かない」と説明して直してもらえばいいのに。 でも、考えてみると、公開されているChatGPTの使い方（プロンプト集や活用事例）は、仕様を説明してプログラムを書いてもらう方法や、アーキテクチャに関する相談……デバッグ以外の部分が圧倒的に多い。 ChatGPTにデバッグの相談をしないなんてもったいないと思う。私は趣味のプログラミングプ
StepFunctionsとCommandR+でコードもプロンプトも書かずにRAGを作る - Qiita
"result": "Anthropic Claude 3にはいくつかのモデルIDがあります。その一部を次に示します。\n\n - anthropic.claude-3-haiku-20240307-v1:0\n - anthropic.claude-3-opus-20240229-v1:0\n\n Cohere Command RのモデルIDは次のとおりです。\n\n - cohere.command-r-v1:0" 1ステップ目 1ステップ目ではユーザー入力を元にRetrieverの検索クエリを生成します。 Bedrock の InvokeModelを配置し、設定タブを以下の様にします。 基盤モデルとして Command R+ を指定し、モデルパラメーターを以下の様にします。
Cohere Command R+ のクエリの書き換え機能を確認する - Qiita
Cohere の Command R+ は RAG に最適化しているとかなんとかで幾つかの機能があります。 このうち、クエリの書き換え機能について動作を確認していきます。 Command R+とは？ 以下の記事をご参照。 RAGのクエリの書き換えとは？ RAGを実装する際に、ユーザーからのクエリ内容をそのままRetrieveに使うと検索効率上あまりうれしくないのは良く知られた事です（多分）。 Amazon Bedrock + Anthropic Claude 3 開発体験ワークショップ RAG編 次のステップ これを回避する為には抽象化して書くと以下のような処理が必要で、Command R+は以下の「①」「③」に適した生成モードを具備しています。 ① ユーザーの問い合わせを Retrieve に適した形に書き直す（正しく書くと、Retrieveに適したクエリを生成する） ② Retriev
LLMを利用したテキストアノテーションのツール化 - BASEプロダクトチームブログ
本記事は BASE アドベントカレンダー 2023 の15日目の記事です。 はじめに こんにちは。BASEのデータ分析チーム（Data Strategy Team）で不正対策を行ったり、機械学習を触ったりしている竹内です。 ChatGPT（GPT-3.5 Turbo）が2022年の11月に公開されてから、だいたい1年以上が経ったことになります。 そしてこの1年近くでChatGPTに匹敵する多数のLLMの公開や国産LLM作成の動き、拡散モデルを主軸とした画像生成AIの台頭など様々なムーブメントがあり、それを経て「生成AI」という単語は2023年の流行語大賞に選ばれるほど人口に膾炙する結果となりました。 生成AI、特にChatGPTをはじめとする対話用にチューニングされた大規模言語モデル（以下チャットLLMと表記します。）の実応用という面に関していうと、人の代わりに文章を作成させたり、知りたい
[アップデート] Amazon Bedrockで新モデル「Cohere Command R/R+」が利用可能になったので、RAGで使ってみた | DevelopersIO
[アップデート] Amazon Bedrockで新モデル「Cohere Command R/R+」が利用可能になったので、RAGで使ってみた みなさん、こんにちは！ 福岡オフィスの青柳です。 Amazon Bedrockの基礎モデル (FM) で、新しいモデル「Cohere Command R」「Cohere Command R+」が利用可能になりました。 Cohere Command R and Command R+ now available in Amazon Bedrock どのようなものなのか、さっそく使ってみました。 Cohere Command R/R+ってどんなモデル？ リリースノートでは、次のように説明されています。 Command R+ は、RAG やマルチステップ ツールの使用など、長いコンテキストのタスク向けに最適化された Cohere の最も強力な生成言語モデルで
![[アップデート] Amazon Bedrockで新モデル「Cohere Command R/R+」が利用可能になったので、RAGで使ってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5fc5d99a3e7a01fd348d908da8951bc0b3ca082b/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Famazon-bedrock.png)
LangGraphで作ったAgentアプリケーションをChainlitで利用できるようにしました。 - CCCMKホールディングス TECH Labの Tech Blog
こんにちは、CCCMKホールディングスTECH LABの三浦です。 いつの間にか桜が散って、街の中で緑が目立つようになってきました。外に出るのが心地よい時期なので、ベランダでのんびり出来るようにしようとこの前の休みにベランダの掃除をしました。半日くらいかけてきれいにし、なんだか部屋に入ってくる空気もきれいになったように感じました。ベランダの掃除はついつい後回しにしがちだったのですが、家全体の雰囲気が良くなるので、もっと定期的にベランダの掃除をしようと思いました。 前回LangGraphを使ってPDFファイルとBing Searchを使って質問に回答してくれるAgentアプリケーションを作った話をご紹介しました。 techblog.cccmkhd.co.jp これまではNotebookで開発をし動作を確認していたのですが、GUIを通じてチャット形式で使えるようにしたいな・・・と考えました。そ
ライブコーディングで GitHub Copilot を使うべきかどうか - TechとPoemeの間
TL; DR 場合による "How to" を教えるライブコーディングの場合は、切ったほうが良い 設計議論を中心に行うライブコーディングの場合は、使うと良いことがある 文脈 最近の仕事の中で、プログラミングを学んでいる人々の前で、オーディエンスのスキルアップを目的としたライブコーディングを実施したり、ライブコーディングセッションのアレンジをしたりファシリテーションをしたりしている。少々性格の異なるライブコーディングを数パターン行うなかで、「ライブコーディングで GitHub Copilot を有効にするべきかどうか」という問いに答えるに当たって一つの指針が見えてきたので書き残しておく。 How to を教えるライブコーディングでは Copilot を切る 自分が担当したライブコーディングは、特定のテスティングフレームワークの使い方やテスト駆動開発の講義だったのだけど、このような「特定のツー
Amazon BedrockにCohere Command R と Command R+ が来たよ！RAGがすげーよ！ - Qiita
Amazon BedrockにCohere Command R と Command R+ が来たよ！RAGがすげーよ！AWSragbedrockCohereCommand-R+ GW真っ只中の4/30、Amazon BedrockにCohere Command RとCommand R+がやってきました！！🎊🎊🎊 Command R+はただのテキスト生成の枠を超えたAPIになっています！（と勝手に解釈しています！！） いろいろ特徴がありそうですが、まずは、RAGをやってみました。 なにがすごいの？ Command R+のInvoke ModelのBodyが特徴的で、 documentを渡す専用項目があります 。
Apple Silicon・CPUでphi-3（Phi-3-mini-4k-instruct-gguf）を動かす - nikkie-ftnextの日記
はじめに ユーフォ3期4話、めっちゃよかった。すっごいよかった😭 nikkieです 最近登場したphi-3、気になったので触りました。 目次 はじめに 目次 届いたphi-3の興奮 Phi-3-mini-4k-instruct-ggufを動かす ollamaで動かす llama-cpp-pythonを使って動かす 量子化前のモデルをtransformersで動かす 積ん読：Phi-3-mini-128k-instructもすごそう 終わりに 届いたphi-3の興奮 Llama 3が登場したばかりですが、phi-3への興奮の声を観測1 I can't believe microsoft just dropped phi-3 less than a week after llama 3 https://t.co/1EPzVKzhDi. And it looks good! pic.twitt
Arize Phoenixで始めるお手軽RAG実験管理 - Re:ゼロから始めるML生活
最近RAGアプリケーションの評価やその管理ツールについて調べることがありました。 今回はRAGアプリケーションでの実験管理に使用できるPhoenixを使ってみたのでそのメモです。 RAGアプリケーションと評価 RAGアプリケーションの評価 Arize Phoenix 類似ツール 使ってみる Tutorial ローカルでの管理 参考文献 感想 RAGアプリケーションと評価 Retrieval-Augmented Generation (RAG)は、LLMに外部の知識ソースからの追加情報を提供することで、LLM自体が知らない知識を補い、より正確で文脈に沿った答えを生成するアプリケーションです。 大まかには下記のような流れで動作します。 ユーザーからのクエリをもとに関連するドキュメントを検索 (retrieve) ユーザーのクエリ、関連するドキュメントを含めた形でプロンプトを動的に作成 (Aug
GitHub、「Copilot Workspace」テクニカルプレビューを開始。ほとんど全ての開発工程をAIで自動化
GitHub、「Copilot Workspace」テクニカルプレビューを開始。ほとんど全ての開発工程をAIで自動化 テクニカルプレビューは上記のCopilot Workspaceのページからウェイトリストボタンをクリックして申し込みます。 Copilot Workspaceはほとんど全ての工程を自動化 Copilot Workspaceは、自然言語で書かれたIssue（課題）を基に、Copilotが仕様案と実装計画を示し、コーディングや既存のコードの修正を行い、ビルドをしてエラーがあればデバッグも行うという、プログラミングのほとんど全ての工程をCopilotが自動的に実行してくれる、というものです。 人間は各工程でCopilotから示される内容を必要に応じて修正するか、そのまま見守ることになります。 GitHub CEOのThomas Dohmke（トーマス・ドムケ）氏は、Copilot
phi3とollamaを使ってローカルでデータ処理を行ってみる① 文章分類
ISSUE_SAMPLE = [ {"title": "Add support for dark mode", "label": "enhancement"}, {"title": "Fix crash when clicking on 'Save' button", "label": "bug"}, {"title": "Update README with new installation instructions", "label": "documentation"}, {"title": "Improve performance of data processing module", "label": "enhancement"}, {"title": "Error message not clear when login fails", "label": "bug"}, {"ti
[LangGraph] 自律的にプログラムを実行するLLM Agentを作るための60行スクリプト
60行スクリプトシリーズ第二弾。前回はこちら この記事はMultiAgent作成フレームワーク「LangGraph」に興味がある人が手っ取り早く動かしてみることを目標にした記事です。 この記事を見てできること 指定のお題に対して、関数で定義したツール実行（Web検索など）をする。 実行結果を元に答えを返す。答えがわかるまでツール実行を繰り返す。 このワークフローの拡張性も意識して、組み込みのワークフローは利用しない方針で作成しています。 まずはセットアップ # 必要なライブラリをインポート import argparse from langchain_community.tools.tavily_search import TavilySearchResults from langchain_openai import ChatOpenAI from langgraph.checkpoin
![[LangGraph] 自律的にプログラムを実行するLLM Agentを作るための60行スクリプト](https://cdn-ak-scissors.b.st-hatena.com/image/square/cb93b014e915816e18f67fbbcf590ed6f72ea843/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--CGAekK_6--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BLangGraph%25255D%252520%2525E8%252587%2525AA%2525E5%2525BE%25258B%2525E7%25259A%252584%2525E3%252581%2525AB%2525E3%252583%252597%2525E3%252583%2525AD%2525E3%252582%2525B0%2525E3%252583%2525A9%2525E3%252583%2525A0%2525E3%252582%252592%2525E5%2525AE%25259F%2525E8%2525A1%25258C%2525E3%252581%252599%2525E3%252582%25258BLLM%252520Agent%2525E3%252582%252592%2525E4%2525BD%25259C%2525E3%252582%25258B%2525E3%252581%25259F%2525E3%252582%252581%2525E3%252581%2525AE60%2525E8%2525A1%25258C%2525E3%252582%2525B9%2525E3%252582%2525AF%2525E3%252583%2525AA%2525E3%252583%252597%2525E3%252583%252588%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Ahikae%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2VmZjczZjNlODUuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IaCジェネレーターとBedrockで詳細設計書を生成してみた
