【GPT】今日から使えるOSSライブラリまとめ - Qiita
はじめまして、sonesuke( https://twitter.com/sonesuke ) です。 LLMのニュースを追っかけ続けたので、これからキャッチアップする人用にまとめておきます。 各手法の説明を読む前に、「これだけは知っとけ用語」を読んでおくと意味がわかります。知っている人は飛ばしてください。 これだけは知っとけ用語 Retriever LLMの入力として含められる情報には上限があります。GPT-3.5で4k トークン。GPT-4でも、8K, 32Kトークンです。十分大きくなったとはいえ、本一冊分とかは無理なわけです。これをうまくチャンクに分けて、質問から、チャンク化された文章を検索できるようにしたものを、Retriverと言います。 詳しくは、下記のページが参考になります。 埋め込み(Embeddings) 簡単にいうと、LLMを使って、入力を固定長のベクトル表現にすること
百花繚乱の大規模言語モデル その現状まとめ【2023年4月末版】
昨年末から急激に話題を呼んだChatGPT、その内部的なバージョンアップであるGPT-3.5とGPT-4はいずれもMicrosoftから強力な支援を受けた米OpenAIという企業が独占的に提供する大規模言語モデル（LLM）だ。 それに呼応するかのように、Meta社からはLLaMA（ラマ）がリリースされ、LLaMAをChatGPTとの1万3千回の会話データで微調整したAlpaca（アルパカ）、AlpacaをShareGPT（GPTとの会話を有志がオープンにしたもの）のデータで微調整したVicuna（ビクーニャ）といった派生モデルが次々と登場した。 しかし、LLaMAはMeta社の意向により「アカデミック用途限定」という縛りがある。またGPTの出力にはOpenAIの利用規定で「GPTの出力結果を元にGPTに対抗できる強力なAIを作ってはいけない」という制約があるため、AlpacaもVicuna
BIOSとUEFIの違いが説明できない
「２TBの制限があって～～～」みたいな話しかできねえ。 そもそも別物っつ―かマジで容量不足で世代交代しただけだっつーのという話なんだが、それをどうやって言葉にしたら良いのかが思いつかん。 それこそアナログテレビと地デジ対応テレビみたいなレガシーから最新への世代チェンジでしかないわけだが、それを説明して「じゃあ結局UEFIって新型BIOSってだけの話じゃん。つーかBIOSって呼び方でどっちもよくね？つまりは使ってる機械ごとに決まってるんだろ？」みたいに返されたらもうそれ以上何も言えねえ。 実際そうだと言えばそうなんだけど、そこの切り分けちゃんと分かってないと設定ミスっちゃうことはあるので意識しておいて欲しいんだが
langchainのアップデートで追加された"Contextual Compression Retriever"を使用して,200ページ超のwebページを読みこませたQ&Aボットを作成する - Qiita
langchainのアップデートで追加された"Contextual Compression Retriever"を使用して,200ページ超のwebページを読みこませたQ&Aボットを作成するOpenFOAMOpenAIChatGPTlangchain記事投稿キャンペーン_ChatGPT TL;DR OpenFOAMというCFDライブラリのユーザーガイド(総209ページ)をopenai embeddingsを用いて埋め込み生成した。 生成した埋め込み生成をContextualCompressionRetrieverで圧縮した。 圧縮した埋め込みをRetrievalQAで指定し、Q&Aボットを作成した。 結果として、破綻なく回答できている印象 使用したホームページ 今回はCFDライブラリのOpenFOAMのユーザーガイドを使用しました。(https://doc.cfd.direct/openfo
三菱重工 | 社名変更のお知らせ
三菱航空機株式会社は、2023年4月25日を以て、「三菱航空機株式会社」から「MSJ資産管理株式会社」へ社名変更致しましたので、以下のとおりお知らせ致します。 【新会社名】 MSJ資産管理株式会社 （英語表記：MSJ Asset Management Company） 【社名変更日】 2023年4月25日 住所や電話番号に変更ございません。 三菱航空機株式会社のホームページについては同日2023年4月25日を以て閉鎖致します。 三菱重工グループについて 三菱重工グループは、エンジニアリングとものづくりのグローバルリーダーとして、 1884年の創立以来、 社会課題に真摯に向き合い、人々の暮らしを支えてきました。 長い歴史の中で培われた高い技術力に最先端の知見を取り入れ、カーボンニュートラル社会の実現 に向けたエナジートランジション、 社会インフラのスマート化、サイバー・セキュリティ分野 の発
【ChatGPT関連】（Llama を使って）簡単Webページ要約 - Qiita
はじめに OpenAIのGPTを使ったチャットボットを簡単に作成できる「LlamaIndex」を用いて、 テンプレート（プロンプト）を使ったWebページの要約を簡単に生成する方法 を整理しました。 モチベーションとして、Webページを読み込んでindexを作成しQueryに直接文字列を指定するサンプルはネット上にありましたが、テンプレートを活用するサンプルがなかったため独自に作成して検証してみました。 この方法を使えばテンプレートに渡すキーワードを変えるだけで様々な処理ができるようになると思います。 なお、動作確認はGoogleコラボを使いGPT3.5で検証しました。 以下に順を追って説明します。 必要なライブラリィのインストール !pip install llama-index !pip install langchain !pip install openai
３Ｄプリンターで指の神経再生 患者３人、仕事に復帰―京大病院：時事ドットコム
３Ｄプリンターで指の神経再生 患者３人、仕事に復帰―京大病院 2023年04月24日21時00分配信 細胞から人工的に組織を作る「バイオ３Ｄプリンター」で作製した神経導管（サイフューズ提供） 京都大付属病院は２４日、細胞から人工的に組織を作る「バイオ３Ｄプリンター」を使って、指などの神経を損傷した患者３人の神経再生に成功したと発表した。３Ｄプリンターで作ったチューブ状の「神経導管」を患部に移植する臨床試験（治験）の結果、３人とも知覚神経が回復し、仕事に復帰したという。 ｉＰＳ細胞で分子標的薬探し 希少がんなど創薬期待―東大など 研究チームは再生医療ベンチャーが開発した３Ｄプリンターを活用。勤務中のけがで指や手首の神経を損傷した２０～５０代の患者３人の腹部の皮膚細胞を約２カ月間培養して神経導管（直径２ミリ）を作成し、患部に移植した。 １年間経過を観察した結果、３人とも手の知覚神経が回復し、仕
ChatGPTで独自データを利用できるLlamaIndexはどんな仕組みで動いているのか？調べてみました | DevelopersIO
ChatGPTで独自データを利用できるLlamaIndexはどんな仕組みで動いているのか？調べてみました ChatGPT APIがリリースされて、すでにさまざまな試行錯誤が始まっていますね。 なかでも、「自社の独自のデータを使ってChatGPTに質問を答えさせたい」というのは興味を持っている方が多いのでは、と思います。しかしながら、この記事を書いている2023年3月12日現在では、最新のモデルであるgpt-3.5-turboに、標準機能で追加で独自のデータをユーザーが学習させることはできません。 この「独自のデータをChatGPTで使う」ことを簡単に実現させる手段の1つとして、LlamaIndex（旧GPT Index）に注目が集まっています。 このDevelopersIOでも、LlamaIndexを使ってブログ記事を読み込ませて質問してみる、という試みを紹介する記事がいくつか投稿されてい
ChatGPTの機能を拡張するLangChainを試してみた - NRIネットコムBlog
本記事は 2022年度 新人卒業記念Week 2日目の記事です。 🌸 1日目 ▶▶ 本記事 ▶▶ 3日目 📚 はじめに LangChainについて LangChainの機能 LLMs Prompt Template Document LoadersとIndexes Chains Agent まとめ はじめに こんにちは。新人の堤です。この1年はAWSを中心としたサービスの開発や運用を行っていました。最近はChatGPTなどのLLMを使って遊ぶのにはまってます。 今回は最近自分が色々試しているLangChainというライブラリについてご紹介したいと思います！ LangChainについて LangChainとはChatGPTなどの大規模言語モデル(LLM)を使ったサービスの開発を支援するためのライブラリです。LangChainを使用することで、LLM単独ではできないような他の計算や知識のソ
【Langchain】EmbeddingでChatGPTに自分専用Q&Aをしてもらう方法
Langchain, GPT-3.5-turbo, Google Search API を使って、ChatGPT相当のエンジンにGoogle 検索を読み込ませ、日本語で回答を得ることに成功しました。これは一般公開される、いわゆるコンシューマー向けのサービスとしては便利ですが、逆に ChatGPT や Bing と同様に、一般的になってしまいます（検索するドメインを絞ることはできますが）。 業務でチャットボットを使う場合にはどちらかというと、自社の知見に特化したチャットボットが欲しいと思うのではないでしょうか。顧客向けにしろ、自社向けにしろ、どこの誰が書いたか分からない一般的な答えを出しても、顧客価値につながりませんからね。 ということで、LangchainとGPT-3.5-turbo API, それから OpenAPI のEmbedding API を使って、ドキュメントを埋め込んだQ&A
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LlamaIndex - LlamaIndex