JOURNALについて データアナリティクスラボ株式会社では、ITやデータサイエンスに関する技術の研究活動を行っています。このブログでは、研究活動で得られた知見や検証結果についての情報を発信します。 本ブログで提供される情報は、可能な限り正確かつ最新の情報であるように努めますが、必ずしもその正確性を保証することはできません。場合によっては誤情報が含まれたり、最新の情報ではない可能性もあります。予めご了承いただけますようお願い申し上げます。 はじめに データソリューション事業部の宮澤です。 2024年に入って2ヶ月が経ちましたが生成AIの勢いは止まらず、日本国内でもGENIAC1をはじめとして、生成AIの開発と活用が加速しているように感じます。最近では、ビジネスでの実用を視野に入れ、既存のLLMを自社ドメインや特定の目的にカスタマイズする動きが活発になってきました。LLMのカスタマイズ手法と
🦜️🔗 LangChain
LangChain + Claude3(Amazon Bedrock) を動かしてみる 〜ローカル実行編〜 - Qiita
はじめに こんにちは！yu-Matsuです！ 皆さんBedrockしていますでしょうか。 3/4に Anthropic Claude3 が発表され、界隈はかなり盛り上がっていますね！ 特に Claude 3 Opus はあのGPT4を性能で上回るとのことですから、注目されています。それだけでなく、画像処理が出来るのもかなり魅力的です！ そんな Claude3 ですが、つい先日、PythonのLangChainからBedrockのClaude3 Sonnetが呼び出せるようになったので、試してみたいと思います！ なお、記事のタイトルを「ローカル実行編」としているのは、今回で検証した内容を LINE Bot に乗せて、画像情報も取り扱える AI LINE Bot を作ろうとしているからです。こちらは実装次第別途記事にしたいと思いますので、お楽しみに！ 事前準備 まずは何よりもBedrock上で
Research in artificial intelligence is increasing at an exponential rate. It’s difficult for AI experts to keep up with everything new being published, and even harder for beginners to know where to start. So, in this post, we’re sharing a curated list of resources we’ve relied on to get smarter about modern AI. We call it the “AI Canon” because these papers, blog posts, courses, and guides have h
LangChain と OpenAI API を使って Slack 用のチャットボットをサーバーレスで作ってみる - Qiita
LangChain と OpenAI API を使って Slack 用のチャットボットをサーバーレスで作ってみる TL;DR LangChainを使って Slack 用のチャットボットを作ってみました。AI/ML モデルは OpenAI API(text-davinci-003)を利用しています。LangChain の Memory 機能を利用しており、会話の履歴も考慮して返信することができます。この際、OpenAI 側のモデルの入力トークン制限が問題になりますが、ConversationSummaryBufferMemoryを利用することで、一定のトークン数を超える履歴は要約して保持するようになっています。 また、バックエンドの実装では AWS Lambda を利用しています。Lambda はサーバレスであるため会話の履歴をメモリ上に保持することができませんが、DynamoDB に La
GPT-4 と Guidance で記事の要約をしてバズるTweetを作成+投稿するbotの作成ガイド - Qiita
はじめに こんにちは、@ekusiadadusです。 今回は、GPT-4 を使って記事の要約をしてバズる Tweet を作成+投稿する bot の作り方を紹介します。 特に、GPT-4 を使用して Tweet の記事を要約する箇所に関しては、Microsoft が最近公開したGuidanceを使用しています。 一般的には、LangChain を使う人が多いと思いますが、興味で Guidance を使ってみました。 使用する主な技術は以下の通りです： OpenAI GPT-4 ChatGPT Plugins Python Tweepy Twitter API Guidance 手順 with ChatGPT Plugins 手順の解説 基本的には、ほとんど上の通りなのですが、一部記事にランキングを付けて、ランキングの高い記事を GPT-4 に要約してもらうようにしています。 この箇所は、今回
RubyKaigi 2024 - Let's use LLMs from Ruby 〜 Refine RBS types using LLM 〜 (Day1) - Techouse Developers Blog
Let's use LLMs from Ruby 〜 Refine RBS types using LLM 〜 こんにちは、クラウドハウス労務でバックエンドエンジニアをしているtitti-008です。 本記事では、1日目の@kokuyouwindさんによるセッション、Let's use LLMs from Ruby 〜 Refine RBS types using LLM 〜について紹介させていただきます。 セッション概要 @kokuyouwindさんは、LLM(大規模言語モデル)を使ってRBS(型構造)を推測するRBS Gooseというプロジェクトを作成しました。まだ実用段階には至っていないとのことですが、そのアイディアと実験結果について紹介されました。 それでは、セッションの内容を見ていきましょう。 LLMとはなにか LLMとは、Large Language Modelsの略称で、20
完全に知識ゼロから ChatGPT MeetUp Tokyo #0 をおっかけ視聴してみた - 電磁波に撃たれて眠りたい！
去る2023年4月28日(金)に虎ノ門の KDDI Digital Gateで開催された「ChatGPT Meetup Tokyo #0」 もともと会場側スタッフとして参加する予定だったんですが、先約があり参加できなかったため、Youtubeのアーカイブを通じて追っかけ視聴してみました。 chatgpt.connpass.com www.youtube.com オンライン/オフラインともに、参加された人たちが口を揃えて 「ヤバすぎる」 「我々はどのくらい周回遅れしているのか」 「エンジニアとして危機感を感じた」 と語られていたので身構えながら挑みましたが、それは本当でした。 自分がどれだけこの分野についての知見が浅かったのか、上辺だけの情報しか見てなかったのか思い知らされることになりました。 このブログ記事は、タイトルにあるとおりLLMに関して本当に何も知らない私が私なりに残したメモと所感
Date: June 23, 2023 | Estimated Reading Time: 31 min | Author: Lilian Weng Building agents with LLM (large language model) as its core controller is a cool concept. Several proof-of-concepts demos, such as AutoGPT, GPT-Engineer and BabyAGI, serve as inspiring examples. The potentiality of LLM extends beyond generating well-written copies, stories, essays and programs; it can be framed as a powerfu
LangChain Templatesを使って研究アシスタントをサクッと作る - Ahogrammer
最近はLangChain Templates[1]を使って、LangChainベースのアプリケーションを簡単に作れるようになっていますが、テンプレートのリストを何気なく見ていたら、GPT Researcher[2]を基にした研究アシスタント[3]のテンプレートがありました。仕事で似たような機能を作っていたこともあり、興味深い内容だったので、この記事ではLangChain Templatesを活用し、研究アシスタントを作成する方法を紹介します。 研究アシスタントの例。リサーチクエスチョンを入力すると、文書を検索し、レポートにまとめてくれる。 研究アシスタントのアーキテクチャは以下のとおりです。大きくは、ユーザーが入力したリサーチクエスチョンから検索クエリを生成し、各クエリで検索した情報を要約してから結合し、レポートを生成しています。要約を結合してからLLMに入力しているため、それなりに長いコ
背景 巷で流行りの生成AIを実験してみたく、csv形式のローデータを入れると自動で分析ステップを踏みながら出力してくれるツールを作りました。 グラフを表示するところなどで未完成な部分はありますが、大枠ができたので備忘録として公開します。 完成物 csvデータを入れるとこのように動作します。データはタイタニック号乗客者の生存状況に関するものです。 参考 使用技術 Python LangChain →LangChainAgentというものを使いました。 Streamlit →PythonベースでWebアプリケーションを作成するためのフレームワーク。簡易的なものであればめちゃくちゃ便利です。 コード import streamlit as st from langchain.llms import OpenAI from langchain.agents import create_pandas
GitHub - kyrolabs/awesome-langchain: 😎 Awesome list of tools and projects with the awesome LangChain framework
GPTCache: A Library for Creating Semantic Cache for LLM Queries Gorilla: An API store for LLMs LlamaHub: a library of data loaders for LLMs made by the community EVAL: Elastic Versatile Agent with Langchain. will execute all your requests. Auto-evaluator: a lightweight evaluation tool for question-answering using Langchain Langchain visualizer: visualization and debugging tool for LangChain workfl
From Theory to Reality: Explaining the Best Prompt Injection Proof of Concept
My thoughts on hacking, ai, faith, and more. © 2024 rez0. I’ve been theorizing and researching prompt injection attacks. They’ve mostly been theoretical, though. In this post, I’m going to break down and explain the best self-contained proof of concept for how indirect prompt injection can lead to plugin-hijacking with severe consequences. Definitions Before diving in, let’s clarify some terms: LL
はてなブログ独自の集計による人気記事のランキング。11月26日（日）から12月2日（土）〔2023年12月第1週〕のトップ30です*1。 # タイトル／著者とブックマーク 1 ゲームを趣味にしている人の割合が多いのはどのくらいの収入の人たちなのか調べてみた - nonameのノート by id:noname774300 2 【2食付き2万円以下】2022年に1人で泊まったコスパ最強の温泉宿ベスト10を今更ながら発表する - 温泉ブログ 山と温泉のきろく by id:happydust 3 韓国で発生している「手の形」が男性嫌悪（男性器が小さい）を示しているという騒動の歴史的背景 - 電脳塵芥 by id:nou_yunyun 4 日米でエンジニアの育成戦略が正反対だと気付いた話 - メソッド屋のブログ by id:simplearchitect 5 どうしてもドメインを永久保持できない企業
Amazon BedrockのAPIをPythonアプリから呼んでみよう。LangChainにも挑戦！ - Qiita
import boto3 import json bedrock = boto3.client(service_name='bedrock-runtime') body = json.dumps({ "prompt": "\n\nHuman:KDDIアジャイル開発センターってどんな会社？\n\nAssistant:", "max_tokens_to_sample": 300, "temperature": 0.1, "top_p": 0.9, }) modelId = 'anthropic.claude-v2' accept = 'application/json' contentType = 'application/json' response = bedrock.invoke_model(body=body, modelId=modelId, accept=accept, conte
はじめに 新規事業部 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えばある社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい情報に関して
DifyとGradioで作るPDF処理ワークフローアプリケーション ターゲット読者: Python開発者、特にDifyやLangchainなどのツールに興味があり、PDF処理ワークフローを自動化したいと考えている人 今日のビジネスでは、請求書の処理、契約書の分析、レポートの生成など、さまざまな場面でPDF文書が使用されています。これらのPDF文書を手作業で処理することは、時間と労力がかかり、ミスが発生しやすいため、多くの企業が自動化ソリューションを求めています。 この記事では、Dify、Gradio、Langchainという3つの強力なツールを組み合わせて、PDF処理ワークフローを自動化するPythonアプリケーションを構築する方法を紹介します。 1. はじめに Dify は、コードを書かずにAIアプリケーションを構築できるプラットフォームです。直感的なインターフェースを備えており、開発者
LangChainを使ってOSINTを自動化する
OSINTとは OSINT (Open-Source Intelligence) とは、インターネット上に公にアクセス可能な情報を収集・分析することを指します。サイバーセキュリティの分野では特に重要な役割を担い、情報収集から脅威の評価・対策までの業務をサポートします。特に、LinuxコマンドやGoogle検索を使った情報収集はOSINTにおいて重要な手法のひとつです。 LangChainとは langchainは、LLMと外部リソース（データソースや言語処理系等）を組み合わせたアプリケーションの開発支援を目的としてHarrison Chaseさんが開発したPythonライブラリです。langchainを使うことで、OSINTにおいて人間が手作業で行うタスクを自動化することができます。 例えば、サイバー脅威に関連する情報を収集したい場合、langchainを使って自然言語からLinuxコマン
GitHub - danny-avila/LibreChat: Enhanced ChatGPT Clone: Features OpenAI, Assistants API, Azure, Groq, GPT-4 Vision, Mistral, Bing, Anthropic, OpenRouter, Google Gemini, AI model switching, message search, langchain, DALL-E-3, ChatGPT Plugins, OpenAI Funct
🖥️ UI matching ChatGPT, including Dark mode, Streaming, and latest updates 💬 Multimodal Chat: Upload and analyze images with Claude 3, GPT-4, and Gemini Vision 📸 Chat with Files using Custom Endpoints, OpenAI, Azure, Anthropic, & Google. 🗃️ Advanced Agents with Files, Code Interpreter, Tools, and API Actions 🔦 Available through the OpenAI Assistants API 🌤️ Non-OpenAI Agents in Active Develop
2023年10月18日紙版発売 2023年10月18日電子版発売 吉田真吾，大嶋勇樹 著 B5変形判／280ページ 定価3,300円（本体3,000円＋税10%） ISBN 978-4-297-13839-4 Gihyo Direct Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle ブックライブ 楽天kobo honto この本の概要 本書は，ChatGPTのAPIとLangChainを使って，大規模言語モデル（LLM）を本番レベルのシステムに組み込むための知識をステップバイステップで学習し，手を動かしながら実践できる書籍です。 生成AIが登場し，APIやフレームワークのエコシステムが充実してきたことによって，これまで機械学習やプログラミングの十分な知識が必要だったことに対してアプリケーション開発者が挑戦し
AIチャットボットの回答にガードレールを用意する！NVIDIA製OSSツール「NeMo Guardrails」を試してみた | DevelopersIO
AIチャットボットの回答にガードレールを用意する！NVIDIA製OSSツール「NeMo Guardrails」を試してみた 2023年4月25日、NVIDIA社が「NeMo Guardrails」というOSSのツールを公開しました。 ひとことでいうと「ChatGPTなどのLLMベースのチャットボットにガードレールを追加できる」ツールのようなのですが、一体どういうものなのだろう？と気になったので触ってみました。以下、簡単にご紹介していきます。 公式のドキュメントをもとに試してみたのですが、ドキュメント上では英語でのチャットのやり取りが使用することが前提となるので、今回はとりあえず私もチャットでのやり取りなど英語ベースで試してみています。その点をあらかじめご了承ください。 概要 NeMo Guardrailsは要するに以下のようなツールです。 ChatGPTなどのLLMを利用するチャットボット
LangChainを触って動かしたときのメモ
LangChain何もわからないので、ChatGPTに解説してもらいつつ、さらっていきたい。 ※ ⚠️スピード重視でキャッチアップ & ちゃんとドキュメント精読してるわけではないので注意 まずはドキュメント読む 下記のような主要なモジュールがあるらしい。 Models（モデル）：LangChainがサポートする様々なモデルタイプとモデル統合 Prompts（プロンプト）：プロンプトの管理、プロンプトの最適化、プロンプトのシリアル化 Memory（メモリ）：チェーン/エージェントの呼び出しの間に状態を永続化する概念。LangChainは、メモリのための標準インターフェース、メモリの実装のコレクション、およびメモリを使用するチェーン/エージェントの例を提供する。 Indexes（インデックス）：言語モデルは、独自のテキストデータと組み合わせるとより強力になることがある。このモジュールでは、その
概要 1. Embeddingsとは Embeddingsとは単語やテキストをベクトルデータとして表現する技術 2. よくある要望 ChatGPTが知らないドメイン知識をベースとした回答をさせたい 3. Embeddingsを使ったソリューション あらかじめドメイン知識をEmbeddingsでベクトルデータにしてDBに保存する ユーザの質問に答える前に、関係のありそうなドメイン知識をDBから取得して、プロンプトに加える ChatGPTがそれをもとに回答するので、ドメイン知識に即した回答をしてくれる 4. このソリューションの課題 以下のような問題で正しくない回答をする可能性がある。 関連するデータが取れないから答えも違う 取得された関連データが不十分で答えが不十分 関連情報は取得できたが、答えが違う ※ 詳細は本文で記載しています。 実装方法 2ステップで実装をすることができます 1️⃣
GitHub - e2b-dev/awesome-ai-agents: A list of AI autonomous agents
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GPT Index のナレッジグラフ機能を試す｜npaka
GPT Index のナレッジグラフ機能を試したので、まとめました。 1. ナレッジグラフ「ナレッジグラフ」 (Knowledge Graph) は、さまざまな知識の関係をグラフ構造で表したものです。知的システムの基盤となるデータベースとして用いられます。 「GPT Index」は、RDF フレームワークと直接互換性のある「トリプル」 (主語、述語、目的語) として表されるナレッジグラフデータをサポートします。内部的には、グラフデータは有向グラフとして管理されます。 現在、「GPT Index」は、LLMがサポートするトリプルの操作を2つ提供しています。 ・グラフ抽出 (Graph extraction) : 与えられたテキストからトリプルを抽出 ・グラフQ&A (Graph Q&A) : グラフデータを応答合成のコンテキストとして利用 2. グラフ抽出Google Colabでの「GPT
Getting Started Quickstart Guide Modules Models LLMs Getting Started Generic Functionality How to use the async API for LLMs How to write a custom LLM wrapper How (and why) to use the fake LLM How (and why) to use the the human input LLM How to cache LLM calls How to serialize LLM classes How to stream LLM and Chat Model responses How to track token usage Integrations AI21 Aleph Alpha Azure OpenAI
IntroductionThis is a topic I really enjoyed researching and I was looking forward to writing this. Mostly because I wanted to demystify the idea of agents and what exactly constitutes an agent. Together I wanted to create a clear delineation between domain specific implementations and wide, general implementations which are referred to as AGI. Considering domain specific implementations, this is
Prompt Flowで評価Flowを自作してRAGのイケてるLLMOpsを実現してみた - ENGINEERING BLOG ドコモ開発者ブログ
TL;DR RAGアプリを運用するにあたってLLMOpsの考え方が重要になり、Azure OpenAI ServiceのPrompt Flowの活用を開始した。 RAGアプリの精度を担保するため、Prompt Flowに搭載されている評価Flowの性能を検証した。 回答内容の正確性の評価性能を上げるため、評価Flowを自作した。 自己紹介 NTTドコモ データプラットフォーム部（以下DP部）藤平です。 NTTドコモでは様々なサービスで機械学習を取り入れることでサービス価値の向上を目指しています。 データプラットフォーム部（以下DP部）ではこうした機械学習の適用を含め、全社におけるデータ活用をミッションとしています。 今年はIT領域に留まらず世界中の多くの人々に注目されることとなったAI領域のブレイクスルー、「ChatGPT」が登場した年で、これを発端として生成系AIが大いに盛り上がりました
【OpenAI】Function calling について LangChain Agent と比較しながら試してみた - Qiita
はじめに こんにちは！ yu-Matsu と申します。 皆さん、楽しいChatGPTライフをお過ごしでしょうか。昨今の生成AIを取り巻く環境の変化は目まぐるしく、私もついていくのが大変です... そんな中、ChatGPT界隈では先日、Function callingというものが発表されて話題になりましたね！ Function calling and other API updates 発表されてから10日以上経ってしまったため、既にバリバリ使いこなしている方には釈迦に説法かと思いますが、今回はこの Function calling について、LangChainと比較しながら試した内容を記事にしたいと思います。これから Function calling に触れる方の参考になれば幸いです。 本記事で紹介しているコードについて、Google Colaboratory を用意していますので、実際に
LLMOps：基盤モデルに基づくアプリケーション開発のワークフロー｜Weights & Biases Japan
Weights & Biases のnoteをフォローしてください大規模言語モデル（LLM）の可能性を引き出し、その機能を拡張してアプリケーションを開発・提供するためのワークフローは、どのようなものなのでしょうか。私たちはここ数ヶ月、様々な場所でこの課題を耳にしてきました。 これまで機械学習モデルの開発と運用を統合するMLOps（Machine Learning Operations）のワークフローの構築において最も信頼されてきたWeights & Biasesは、OpenAIやStability AIなど、生成AIの開発で最先端をいく企業に活用されてきました。 この経験をもとに、本稿ではMLOpsのベストプラクティスをレビューし、この概念がどのようにLLMOpsに適用されていくのか、現時点のベストプラクティスを示していきます。 特にLLMOpsにおいては、多くの場合社外で開発された基盤モ
GitHub - mayooear/gpt4-pdf-chatbot-langchain: GPT4 & LangChain Chatbot for large PDF docs
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
みなさん、こんにちは！ Twitterでも告知させていただきましたが、2024年7月18日に 「つくりながら学ぶ！生成AIアプリ＆エージェント開発入門」 を出版しました。今回は宣伝がてら、本書の特徴や執筆の経緯について少しお話させていただきます。 執筆の経緯 この本の原点は、昨年出版したWEB Bookにあります。このWEB Bookは、LLM初心者の方でも躓かないよう、ステップバイステップで解説し、実際に「作って動かす」という体験を重視した内容でした。 今回の書籍でも、この「つくりながら学ぶ」スタイルを大切にしています。技術的な詳細は必要最小限に抑え、実践を通じて理解を深められるよう工夫しました。 WEB Bookが予想以上に好評だったことがきっかけとなり、マイナビの編集者さんからTwitter DMでお声がけいただいたのが、この本の始まりでした。当初は、AIエージェントの章を追加するだ
「『生成AIを使ってこんなもの作ってみました』開発者LT大会」は、急速に発展しているChatGPTや生成AIといったAI技術を使って何かを作ってみた人たちがアイデアや成果を共有する、ログミーTech主催のイベントです。株式会社AppBrewの堀江氏が登壇。続いて、「LIPS AI バーチャルビューティーアドバイザー」の開発の流れと、開発で発生した諸問題の解決方法について紹介します。前回はこちらから。 「LIPS AI バーチャルビューティーアドバイザー」をどのように開発したか 堀江慧氏（以下、堀江）：ここからはどのように作ったか、Howの話に入っていきます。初めにLangChainの「QAシステム作れまっせ」みたいなものをサッとやってみて。質問に関連するドキュメントを引っこ抜いてきて、それをGPTに渡して回答を生成させるみたいなものをPoC（Proof of Concept）してみたんです
LLMを利用したRAGと個人データの第三者提供｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】
生成AIを用いた社内情報検索システムなどで、RAGという手法が用いられる例が増えています。前回のSTORIA事務所ブログでは、LLMを利用したRAG（Retrieval Augmented Generation）と著作権侵害について柿沼弁護士が解説しましたが、本稿では、RAGと個人情報保護法の論点（RAGと個人データの第三者提供該当性）について検討します。 RAGとは「ナレッジベースの外部化」 RAG（Retrieval Augmented Generation）とは RAGとは、一言でいえば「ナレッジベースの外部化」です1。 LLM（大規模言語モデル）は、主としてWeb上にある膨大なデータを学習用データとして用いているため、ある会社の内部規程について質問したり、Webで公開されていない専門知識について質問したりしても、答えることができないか、的外れな出力がされます。 上記のような通常のL
2023年8月30日から開催されているGoogle Cloudの技術発表イベント「Google Cloud Next '23」において、GoogleのPostgresSQL互換データベースサービスであるAlloyDBにAIを導入した機能セット「AlloyDB AI」が発表されました。 Helping developers build Gen AI apps with Google Cloud PostgreSQL databases | Google Cloud Blog https://cloud.google.com/blog/products/databases/helping-developers-build-gen-ai-apps-with-google-cloud-databases/?hl=en Google’s AlloyDB AI transforms databases
LlamaIndexを完全に理解するチュートリアル その１：処理の概念や流れを理解する基礎編（v0.7.9対応） | DevelopersIO
本記事から数回に分けて、LlamaIndexの中身を深堀していく記事を書いていこうと思います。 本記事の内容 初回は基礎ということで、サンプルコードを例にLlamaIndexで登場する処理を深堀して、カスタマイズのヒントになる知識を得ていきます。 基礎編とはなっていますが、結構長めの記事となっています。 基礎が最も大事ということで、LlamaIndexをただ単に使用するだけではブラックボックス化してしまいがちな概念や処理の流れを一通り洗い出しています。 これ以降の記事では、この基礎をベースにしてどのようなユースケースとカスタマイズが考えられるのかを記事にしていこうと思いますが、初回から重たいので完全理解するよりは、今後の拠り所とする感じにして頂けますと幸いです。 LlamaIndexとは LlamaIndexは大規模言語モデル(LLM)と外部データ(あなた自身のデータ)を接続するためのイン
2023年8月にリリースされたばかりの、元 Google の AI エンジニアが創業した LLM プラットフォーム「Fireworks.ai」に、日本語のオープンソース LLM モデル「ELYZA-japanese-Llama-2-7b-fast-instruct」が追加されました。 これが滅茶苦茶速くて、なんと現在はプロモーション期間で無料で使えます。急げ。 1. 高速＆格安で生成できる API エンドポイントFireworks.ai は、大規模言語モデル (LLM) のサービスに活用できる、超高速推論プラットフォームです。 以下はオリジナルの Llama2-7b と Fine-tuner Llama2-7b の推論にかかる料金を、Fireworks / Mosaic / Replicate / OpenAI それぞれのプラットフォームで比較したものですが、最大 120 分の 1 の料金
Python約30行で作る Bedrock x Claude3 のStreamingチャットアプリ - Qiita
これまで見て見ぬふりをしてきた「Streamlit上でStreaming出力させる」プログラムを作ってみます。 ライブラリのインストール いつのまにか「langchain-aws」なるものが生まれているので今回は最終的にはそれを使います。 import boto3 import json bedrock = boto3.client(service_name='bedrock-runtime') body = json.dumps({ "anthropic_version": "bedrock-2023-05-31", "max_tokens": 4000, "messages": [{"role": "user", "content": "カレーの作り方を説明してください"}] }) response = bedrock.invoke_model_with_response_stream
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LLMのファインチューニングを他手法との違いから理解する（Part 1） | データアナリティクスラボ
AI Canon | Andreessen Horowitz
LLM Powered Autonomous Agents
【GPT】LangChainで自動で分析してくれる簡易ツールを作った備忘録 - Qiita
今週のはてなブログランキング〔2023年12月第1週〕 - 週刊はてなブログ
ベクトル検索で欲しい情報が得られないときの問題点と改良方法を考えてみた | DevelopersIO
DifyとGradioで作るPDF処理ワークフローアプリケーション
ChatGPT/LangChainによるチャットシステム構築［実践］入門
【ChatGPT】Embeddingsでドメイン知識をChatGPTに理解させる - Qiita
Welcome to LangChain — 🦜🔗 LangChain 0.0.161
Five Levels Of AI Agents
GitHub - hwchase17/langchain-hub
「つくりながら学ぶ！生成AIアプリ＆エージェント開発入門」を出版しました
Amazon.co.jp: OpenAI GPT-4/ChatGPT/LangChain 人工知能プログラミング実践入門: 布留川英一 (著), 佐藤英一 (編集): 本
「LIPS AI バーチャルビューティーアドバイザー」開発で発生した諸問題をどう解決したか 回答の質向上には「OpenAI Playground」、見積り精度向上にはユーザーへの先行公開を活用
GoogleがAI対応のPostgreSQL互換データベースサービス「AlloyDB AI」を発表
超高速&格安LLMプラットフォーム「Fireworks.ai」に日本語モデルが追加されたよ｜さいぴ