WebサイトをスクレイピングしてLLMで使いやすいデータにする「Firecrawl」をセルフホストしてみる
Firecrawl 以下で少し触れたFirecrawl。 https://www.firecrawl.dev/ Webサイトをクロールして、JSONやMarkdownなどLLMで使いやすいデータに変換するサービス。 オフィシャルではないけども以下で紹介されている。 https://www.youtube.com/watch?v=fDSM7chMo5E Jina.aiのReader APIと似たような感じかな？ https://zenn.dev/kun432/scraps/feec7e2370450c ソースはGitHubで公開（ライセンスはAGPL-3.0）されていて、docker composeでセルフホストできるらしい。 一応READMEには以下とある。 このリポジトリは開発初期段階にある。まだmonoリポジトリのカスタムモジュールをマージしているところだ。完全なセルフホストデプロイの
OpenAIがJSON出力の際に100％の精度で特定のスキーマに従わせる機能をリリース
AIにデータを構造化させる際に、指定したスキーマに確実に従わせることが可能なモードをOpenAIがリリースしました。 Introducing Structured Outputs in the API | OpenAI https://openai.com/index/introducing-structured-outputs-in-the-api/ 構造化されていないデータを読み取り、構造化されたデータを出力するのはAIの主要なユースケースの一つです。これまでもOpenAIのAPIでは「JSONモード」という設定が存在しており、指定した構造を持つJSONをAIに出力させることが可能でしたが、必ずしも指定した構造通りのデータが出力されるとは限りませんでした。 今回リリースされた「gpt-4o-2024-08-06」モデルでは、strictを「true」に設定することで100％の精度で指定
社内ナレッジ共有GPTの作り方を動画で徹底解説【GPTsハッカソン＠GMO Yours最優秀賞作品】｜ChatGPT研究所
前書き本記事では、2/27に開催されたGPTsハッカソン @GMO Yours で優勝した社内ナレッジ共有GPT『Share Knowledge In Your Company』と『FAQ collector』の作り方をご紹介します。 ※本記事は、本GPT作成者のArai Motokiさんに寄稿していただきました 2024/02/27 に行われたGPTsハッカソン＠GMO Yoursの最優秀賞作品です。 私（製作者自身）が動画で解説し、作り方も全文公開します。できる限りみなさまのお役に立てるように解説をいたします。 長文なので大変だと思いますが、解説動画までを見るだけでも学びはあると思います! 想定している読者申し訳ございませんが、すべてを説明するにはかなりの長文になってしまうため、想定している読者は何度かGPTsを作ったことがあり、より深くGPTsを理解したい人、GPTsの精度を上げてい
OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試す｜npaka
OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試したのでまとめました。 1. GPT-4 から GPT-3.5 への蒸留「LlamaIndex」で、OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留のColabが提供されてたので、それをベースに独自データで試してみました。 具体的には、「GPT-4」で学習データを生成し、「GPT-3.5」でファインチューニングすることで、「GPT-3.5」に「GPT-4」相当の知識を習得させます。 We successfully made gpt-3.5-turbo output GPT-4 quality responses in an e2e RAG system 🔥 Stack: automated training dataset creation in @ll
OpenAI API の ファインチューニングガイド｜npaka
1. ファインチューニングの利点ファインチューニングの利点は、次のとおりです。 (1) プロンプトよりも高品質な応答 (2) プロンプトに収まりきらないより多くの例の適用 (3) プロンプトの短縮によるトークン数 (コスト) の節約 (4) プロンプトの短縮による処理時間の短縮 モデルは膨大な量のテキストで事前学習されており、このモデルを効果的に利用するため、プロンプトに手順や応答の例を指定する手法が使われます。この例を使用してタスクの実行方法を示すことを「Few-Shot」と呼びます。 ファインチューニングで、プロンプトに収まりきらないより多くの例で学習することにより、さまざまなタスクでより良い結果を達成できるようになります。プロンプトに多くの例を指定する必要はなくなります。これによりトークン (コスト) が節約され、処理時間も短縮されます。 2. ファインチューニングの使用料金ファイン
#Slack から #ChatGPT を使うためのアプリを作り込んで公開してみた Party on Slack - Qiita
そういえばQiitaに書いてないなと思いたち、この一ヶ月くらいの取り組みについて紹介します。 何を作ったのか Slackから OpenAI APIを通して ChatGPTを使うためのアプリ 誰でもインストールできるようにしてあります アプリ詳細 GPT Party DeepL Translator TimeLine 以上の3つです。TimeLineだけ、すべての公開チャンネルにjoinする機能と、特定のチャンネルに投稿を転送する機能を有していますが、基本的に全部同じアプリです。 複数アプリをリリースしている理由は後述しますが、アプリ同士で会話を進めるために必要だからです。enjoy! Slackにアプリをインストールする アプリのインストールは以下のURLからどうぞ。 https://lne.st/pt 利用した技術等 API： OpenAI, DeepL, Pinecone の設定が可能
Googleアナリティクスの過去データをMatomoにインポートして移行し解析結果を保存する手順まとめ
Googleが提供するアクセス解析サービスのGoogleアナリティクスでは、2023年7月1日に「Google アナリティクス 4(GA4)」への完全移行が実施され、前世代のGoogleアナリティクスである「ユニバーサル アナリティクス(UA)」でのデータ処理が終了しました。完全に更新が止まったUAのデータをそのうちGoogleが消したりアクセス不能にしたりする前に、別のアクセス解析ツールであるMatomoへとインポートしてみました。 Import Google Analytics User Guide - Analytics Platform - Matomo https://matomo.org/guide/installation-maintenance/import-google-analytics/ Matomoはクラウドサービスが提供されているほか、セルフホストも可能で一切外部
【ChatGPT】データサイエンティストが読むべきChatGPT関連の記事・動画まとめ - Qiita
データサイエンティストにとって、ChatGPTはうまく利用することで非常に強力なツールになることは間違いありません。 近い将来、データサイエンティストの中でもChatGPTをうまく使いこなせる人とそうでない人の間には、大きな差が生まれるでしょう。 そこで、今後ChatGPTを上手に活用できるようにデータサイエンティストが必ず読むべき記事を紹介します！ ChatGPTの公式プラグイン「code interpreter」 データサイエンティストの業務を大きく変える可能性のある、ChatGPT公式プラグイン「code interpreter」について解説している記事です。 ファイルのアップロード機能を使うことで、チャット上にデータをアップロードし、そのデータに対してコードを実行することができるようになります。 また、作業の結果をcsvなどでダウンロードすることが可能です。 つまり、code in
APIを呼び出すコードの生成に特化した大規模言語モデル「Gorilla」、APIの更新にリアルタイムで追従可能＆オープンソースでモデル・トレーニングデータが公開済み
GPT-4のような高性能なモデルでも、APIの呼び出しコードを生成させるとかなりの確率で間違ったコードを生成してしまいます。「Gorilla」はAPIを呼び出すコードの生成に特化するようにファインチューニングが行われており、精度の高い呼び出しコードを生成できるだけでなく、情報検索器(Information Retriever)と一緒に利用するとAPIの更新にリアルタイムで追従できるという驚異的な機能が付いたモデルです。 Gorilla https://shishirpatil.github.io/gorilla/ Gorillaのトレーニングにおいては、「Torch Hub」「TensorFlow Hub」「HuggingFace」という3つのソースから収集した1645個のAPI呼び出しコードをもとにAIが1万6450個の命令とAPIのセットを作成し、その1万6450個の命令セットでファイ
ChatGPTのWebUIをローカル環境で実現できる「Chatbot UI」を試してみた | DevelopersIO
データアナリティクス事業本部のueharaです。 今回は、ChatGPTのWebUIをローカル環境で実現できるChatbot UIを試してみたいと思います。 本家WebUIとの相違点 まず一番大きな違いとして、Chatbot UIはOpenAIのAPI経由でGPTを利用することから、「オプトインしない限りユーザーが送信したデータが学習に利用されることはない」ということが挙げられます。 逆に言うと本家のWebUIを使う場合、入力情報を学習データとして使用させないようにするためにオプトアウトの申請が必要になります。 ChatGPTのAPIリリースに伴う、OpenAIのAPIデータ利用ポリシーの改定は以下でも紹介されているので、気になった方は読んでみて下さい。 また、細かい点は後述しますが、APIならではのパラメータ設定が可能な点や、会話履歴をJSONでエクスポートできる機能など、本家WebUI
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
