Difyで複数のLLMを切り替えるチャットを実現する - Taste of Tech Topics
こんにちは、新人エンジニアの前田です。 最近、南海トラフ地震の臨時情報や台風などもあったりして、自衛のための事前準備は欠かせないなと思いました。 さて、今回はDifyを使って複数の大規模言語モデル（LLM）を切り替えるチャットチャットボットを作ってみたいと思います。 なぜ、この内容をやってみようかと思ったかというと、Difyは、複数のLLMを利用できるのですが、 それらは、事前に設定を行って利用するもので、ユーザーが実行時に切り替えて指定ができなかったのですよね。 とはいえ、これもノーコードで実現できるのが、Difyの強みです。 1. 概要 1.1.Difyとは 1.2. この記事で実現すること 2. アプリ作成 2.1. モデルの定義 2.2. モデルの選択 2.3. 変数の集約 3. 作成したアプリを動かしてみる 4. まとめ 1. 概要 1.1.Difyとは Difyは、大規模言語モ
Difyをローカルで動かしてRAGまで試してみる
Difyを試してみました Difyが話題だったので、少し試してみました。一言でいうとOSS版の高機能ChatGPTのカスタムGPT（GPTs）でしょうか。より詳しくはnpaka先生の記事を参考にしてください。 ChatGPTの有料版でできること以上のことができます。機能も多機能で、少し触った感じでは完成度も高いように感じました。 クラウド版を使うこともできますし、ローカルで自前でサーバーを立てることもできます。GPTsに比べた分かりやすいメリットある使い道は、容量制限なく手軽にローカルでRAGをクラウドにデータをアップロードできる点でしょうか。 それ以外には、GPT4以外のClaude 3 OpusなどのLLMも使えたり、細かい設定を切り替えたりできるので、手軽に色々できそうです。ただ、結構できること多いので少し詳しい人向けかもしれません。 Difyのローカルセットアップ方法 クラウド版は
GPT-4oをOCRとして使う - Re:ゼロから始めるML生活
OpenAIからChatGPT-4oが発表されましたが、皆さんガンガンつかっていますでしょうか？ さて、このChatGPT-4oですが、テキスト以外のデータも使用できるようになっているという特徴があります。 普通にテキストでのやり取りをしつつも画像データを扱えるということで、「実はこれいい感じのOCRとして使えるんじゃね？」って思っちゃったわけです。 ということで、今回はChatGPT-4oを使ってOCRを使うとどんなもんなのかやってみたいと思います。 やりたいこと やってみる とりあえずやってみる 請求書 名刺 参考文献 感想 やりたいこと 今回やりたいことはOCRです。早い話が画像ファイルを突っ込んでテキストを読み取りたいって感じです。 ただ、当たり前のようにOCRって言葉を使用していますがOCRって結構奥が深いです。 mediadrive.jp 単純に画像から文字を見つけて対応するテ
生成AIの誤りを生成AIが見抜く、OpenAIの「CriticGPT」 その実力とは
OpenAIは2024年6月27日（米国時間）、同社の生成AI（人工知能）「ChatGPT」における応答の誤りを発見する「CriticGPT」を発表した。CriticGPTは、「GPT-4」をベースとするモデルで、ChatGPTが出力するコードの誤りを発見できるという。 OpenAIは「ChatGPTが生成したコードの人によるレビューにおいて、CriticGPTを使えば、使用しない場合よりも60％の確率でパフォーマンスが向上すると判明した。OpenAIはCriticGPTのようなモデルを私たちのRLHF（Reinforcement Learning from Human Feedback：人間のフィードバックによる強化学習）パイプラインに統合する作業を開始した。これは、AIの学習にAIのサポートを提供することを意味する」と述べている。 生成AIの誤りを生成AIが見抜く意義とは 関連記事 R
万能系Artifacts登場。「Poe Previews」ならGeminiもGPT-4もClaudeもAI共同開発者にできる（CloseBox） | テクノエッジ TechnoEdge
このところプログラミングの楽しみを覚えて毎日Claude ArtifactsとChatGPT Artifactsで遊んでいる筆者ですが、またまた新しいツールに出会ってしまいました。 それは、PoeのPreviewsという新機能。 Poeは、ChatGPT、Claude、Gemini、Mistralといった複数の最新LLM（大規模言語モデル）を呼び出して対話ができる総合窓口的AIエージェントサービスです。AIアグリゲーターという人もいます。似たようなサービスに、先ごろソフトバンクが利用者に1年間無料で提供し始めたPerplexityがありますね。 個別のLLMと契約をしなくても、Poeと月額契約（3000円から）を結ぶと、それぞれの最新モデルが使えるというメリットもあります。 そんなPoeが投入したPreviewsは、Claude 3.5 Sonnetで使えるようになったプログラミングコンパ
GPT-3.5ベースのChatGPTのコーディング能力は「古い問題には有効も新しい問題では困難に直面する」ことが明らかに
GoogleやMistral AIなどからプログラミングに特化したAIツールが登場しており、大手テクノロジー企業のCEOが「AIがコードを書くのでもうプログラミングを学ぶ必要はない」と発言するなど、AIによるプログラミングは注目を集めています。そんなAIによるプログラミング能力を分析した研究が公開されており、AIモデルがトレーニングされたタイミングによっては困難に直面することがあることが判明しました。 No Need to Lift a Finger Anymore? Assessing the Quality of Code Generation by ChatGPT | IEEE Journals & Magazine | IEEE Xplore https://ieeexplore.ieee.org/document/10507163 ChatGPT Code: Is the AI
Llama3もGPT-4も使える！オープンソースのChatGPT風アプリ「Open WebUI」完全ガイド
Llama3もGPT-4も使える！オープンソースのChatGPT風アプリ「Open WebUI」完全ガイド 自分のPCのローカル環境で大規模言語モデル（LLM）を動かしてみたい、と思ったことはないだろうか。 そんな願いを叶える無料アプリが「Open WebUI」である。 「Open WebUI」は、ChatGPTライクな使いやすいUIで、Llama 3やMistral、GemmaなどのオープンソースLLMをローカル環境で簡単に使うことができる。 ローカルでLLMを動かせるため、プライバシーの観点からもそのメリットは大きい。クラウド上に送信するには怖いデータも、ローカルLLMなら遠慮なくチャットに突っ込める。 また、ローカルモデルに加えて、OpenAI互換のAPIもサポートしており、OpenAIのGPT-4 Turbo、Groq CloudのLlama 3 70Bなど、クラウド上のLLMもA
ChatGPTのAPIを利用してGitのブランチ名・コミットメッセージを自動生成するbentoを作りました
使い方は柔軟ですが、自分が使っている方法を紹介します。 まず環境変数OPENAI_API_KEYにChatGPTのAPIのtokenをセットします。 ~/.gitconfigに以下の設定を足します。 [alias] sb = !git diff -w | bento -branch -model "gpt-4o" sc = !git diff -w --staged | bento -commit -model "gpt-4o" git sbでブランチ名推薦、git scでコミットメッセージ推薦をしてくれます。-modelでモデルを指定できますが、精度や速度の問題でgpt-4oがおすすめです。 色々使った結果、実際にGitのフローで使う場合、以下のことを考える必要があります。 ブランチ名を作りたい時はaddする前 新規ファイルは特に自動生成のファイルだとかなり大きくなることがあり、そういう
生成AIのプロンプト投稿サイト「Prompt Style」 ソフトバンク系列企業が公開
関連記事 ソフトバンク子会社、独自LLM「Sarashina」シリーズを一般公開 「24年度中に3900億パラメータLLMの構築目指す」 ソフトバンクの子会社でAIの研究開発などを手掛けるSB Intuitionsは、日本語に強い大規模言語モデル（LLM）「Sarashina」シリーズを一般公開した。 LLMが別のLLMを何度も改善 より良い回答を出す最適化手法をAIが発見する技術 Sakana AIなどが開発 AIベンチャーのSakana AIやFLAIR、英ケンブリッジ大学、オックスフォード大学に所属する研究者らは、人間の介入を最小限に抑えて新しい最適化アルゴリズムをAIによって発見する手法を提案した研究報告を発表した。 生成AIでメモアプリが進化？ 自分だけのチャットAIが作れる、Google「NotebookLM」を試してみた Gemini 1.5 Pro搭載、GoogleのAIノ
GPT-4oを使って2Dの図面から3DのCADモデルを作る
はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 先日、 OpenAIからGPT-4oがリリース されました。 いろいろGPT-4oに関して調べていると、スピードが速くなっていたり、音声も直接扱えてマルチモーダル化が進んでいたりするようなのですが、画像に関して GPT-4-turboに比べ、認識やOCRの精度が向上している ようです。 製造業という観点からすると、これは 設計図面などに活かせるようになるのでは？ と思いました。 機械部品などの設計図面は以下のように、特定の方向から部品を2次元上に落とし込んだ形で書かれるのですが、部品本体を描いている図以外に、寸法や名称といった文字も含まれた画像になっています。 このような 図と文字の複合データにおいて、GPT-4oの進化は有効なのではないか と考えました。 ※画像元URL: http://cad.wp.xdoma
OpenAI Spring Update v.s. Google I/O 2024｜大野峻典 | Algomatic CEO
株式会社Algomaticの大野です。 今週は、OpenAI、Googleから、大きな発表がありました。今回は、2社の発表を見ながら、要点をまとめ、解説・考察していきたいと思います。 （※ なお、社内等で共有しているメモベースで箇条書き的な書き方になっております。読みづらいところがあるかもしれません。） ■ 追記：PIVOTさんでも、解説させていただきました。よければこちらも、御覧ください。 OpenAI Spring Update今回、大きく３つ、発表されました。 ① 最新のフラグシップモデル「GPT-4o」のリリース ② 新モデルの無料解放 ③ デスクトップアプリのリリース 最新のフラグシップモデル GPT-4o「GPT-4o」は、今回のOpenAIのリリースの目玉でした。 GPT-4o とはマルチモーダル（多様なデータ形式）の組み合わせでの入出力を可能にしたモデルになっています。 テ
「GPT-4o」発表 頭一つ抜けた性能をChatGPT無料版にも展開 音声と視覚を備えて“自然な対話”可能に【追記済】
米OpenAIは5月13日（米国時間）、生成AI「GPT」の新たなモデル「GPT-4o」を発表した。テキストはもちろん、音声や画像、映像での入力、音声での応答に対応し、アプリ版の「ChatGPT」ではユーザーと自然に対話できるようになった。開発者向けにAPIとして提供する他、同日からChatGPT内で利用できるように展開を始める。 GPT-4oは無料ユーザーでも利用可能になる。ChatGPTでは従来、無料ユーザーが使えるモデルは「GPT-3.5」までで、「GPT-4」を利用するには課金する必要があった。ただし、有料のChatGPT Plusユーザーは時間当たりのメッセージやり取り可能回数が無料ユーザーに比べて5倍に緩和される。企業向けのTeamやEnterpriseユーザーはさらに制限が緩和されるとしている。 同社は発表会のライブデモで、GPT-4oを搭載したiOS版ChatGPTと対話す
新モデルの追加と値下げ、ChatGPTのメモリ機能追加、「Sora」の発表… 『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』著者が語る、OpenAIの技術情報
『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』著者の布留川氏は、登壇時点までのOpenAIの最新情報と、最新技術情報のキャッチアップ術について話しました。全4回。 布留川氏の自己紹介 布留川英一氏：それでは始めます。OpenAI本出版記念として、今日は「OpenAI最新技術情報と技術情報キャッチアップ術」について話そうと思います。 最初に簡単に自己紹介をします。名前は布留川英一と申します。ハンドルネームはnpakaでやっています。株式会社ゼルペムに所属していますが、基本は個人でやっているようなものです。 プログラム歴は40年と言っていますが、1984年の「ファミリーベーシック」みたいなものから始めたので、ちょうど40年ということでキリがいい数字でした。インターネット歴は大学に入った1994年からなので、ちょうど30年です。 技術書歴は、最初に書いた
大手企業がこぞって進める生成AIの全社導入 日本企業におけるChatGPTとLLMの活用事例
海外版のピザ屋のデモ 森正弥氏：海外版のピザ屋のデモを流せればと思います。英語がちょっと流れますが、こんな感じです。 ピザ屋に店員のAIアバターがいて、お客さんが来て……お客さんがだいぶぶっきらぼうですけど（笑）、答えていくのをハンドリングして、最後はペイメントまでやるという感じでした。シナリオは一定はありますが、これは裏がLLMで、ここではNVIDIAのNeMoを使って会話をやっているので、シナリオじゃないアクションにももちろん普通に対応できます。 例えばいきなり「アジャイルって知っている？」と聞いたらきちんと答えてくれます。NeMoは英語とスペイン語がすごく得意なので、このデモは英語のデモになっていますが、日本語でも動きます。 あと、単にこれは単なるマイクロサービスのマッシュアップなので、23個ぐらいのマイクロサービスが立ち上がっていて、そんなに立ち上げるのかと思いながらやっています。
AI（ChatGPT/Claude）で抄読会のスライド作成を瞬殺する方法｜genkAIjokyo|ChatGPT/Claudeで論文作成と科研費申請
多くの研究者や医療従事者にとって、抄読会は情報収集と知識共有の重要な機会ですが、スライド作成には多くの時間と労力を費やしてしまいがちです。そこで、このプロセスを自動化するプロンプトを作成しました。 使い方は簡単です。論文のPDFを添付し、プロンプトを入力するだけで、AIがその論文の要点をまとめたスライドの下書きを自動で生成してくれます。背景、方法、結果、考察、結論の各セクションごとにスライドが作成され、重要な情報が簡潔にまとめられます。 ただし、このプロンプトを最大限活用するには、抄読会で取り上げるべき適切な論文を選ぶことが大切です。抄読会で選ぶべき論文のルールがある場合はそれをよく確認し、他の先生の貴重な時間を使って行うものなので、なるべく価値のある論文を選ぶようにしましょう。自信がない場合には選択が合っているか上級医に確認しましょう。具体的には、以下のような基準を満たす論文がおすすめで
【業務効率革命】GAS Interpreter の衝撃｜ChatGPT研究所
今までで最もインパクトのあるGPTsが完成しました。 その名も、「GAS Interpreter」です。 このGPTは名前の通り、Code Interpreter のように Google Apps Script コードを生成し、その実行までを行います。 他者に使ってもらうものではなく、自分専用のプライベートGPTです。 人によっては、Code Interpreter よりも便利です。なぜかというと、インターネットアクセスができることに加えて、GAS の便利で豊富なライブラリやリソースが活用できるためです。 例を示します。 GAS Interpreter の可能性以下に示す、いくつかの業務フローの実例をGAS Interpreterで行い、業務活用への可能性を示します。 今日の予定を聞きます今日の予定を教えて下さい 正確に今日の予定を教えてくれました。 会議参加者の相手に連絡したいので、その
ChatGPT入門 (社内勉強会の資料を公開) - LayerX エンジニアブログ
こんにちは！たかぎわ @shun_tak と申します！バクラク事業で機械学習・データ領域のマネジメントを担当しています！ 先日社内でChatGPT入門の勉強会を実施して、参加者からは好評だったので、資料をこちらで共有させてください！わりと社内資料そのままコピペです。 背景 羅針盤15を体現した例 早速やってみよう！ ChatGPTを触り倒す Step1 : ChatGPTを開く (0min) Step2 : まずは挨拶してみよう！ (5min) Step3 : Google検索の代わりに使ってみよう！ (5min) 他のトピックも聞いてみよう！ Step4 : ペルソナ設定済みのGPTを使ってみよう！ (10min) まずはConsensusというGPTを使ってみましょう！ ChatGPT Teamに加入していると、社内の人が作ったGPTにアクセスできます！ わいまつさんが作った企業リサー
今日から始めるChatGPT+Zapierで雑パーソナライズ情報収集 - LayerX エンジニアブログ
皆さんこんにちは。CTOの松本です。LLM使ってますか？ChatGPT毎日触ってますか？ LLMに熱狂してすでに1年以上が経ちましたが周辺エコシステムが充実してきたことでいろいろな取り組みがとても簡単に実現出来るようになったなーと感じています。 ということで今回はZapierを使った小ネタのご紹介です。 AI・LLM事業部の今 とその前に、AI・LLM事業部での取り組みから着想を得たものでして、AI・LLM事業部について簡単に紹介させてください。 LayerXの新規事業であるAI・LLM事業部では、バクラクでも取り組んできたビジネス文書の解析の延長としてLLMを活用して文書分析エンジンの開発を進めています。現在このエンジンを使ったエンタープライズ向けの新規プロダクト開発にいそしんでおります。とても楽しいですし、最近は様々なお客様からの引き合いも増えておりまして、事業成長に向けて満を持しての
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「ChatGPT」、専門家並みのデータ分析に対応、Pythonのコードを書き、グラフを作成、内容を把握して回答も／OpenAIが近日リリース、「GPT-4o」を活用、OneDrive/Google ドライブのファイルも直接扱える
「ChatGPT」がログイン不要に！ 安全性向上のための追加のセーフガードも強化／「GPT-4」の利用には引き続きアカウント作成と有料プランへの加入が必要
