GoogleのチャットボットAI「Bard」がついにベンチマークスコアでGPT-4を上回って第2位に浮上
カリフォルニア大学バークレー校・カリフォルニア大学サンディエゴ校・カーネギーメロン大学が協力して設立したオープンな研究組織・Large Model Systems Org(LMSYS Org)は、大規模な機械学習モデルのデータセットやオープンモデル、評価ツールを共同開発しています。LMSYS Orgが自身の開発した大規模言語モデルベンチマークプラットフォームで、GoogleのチャットボットAI「Bard with Gemini Pro」のベンチマークスコアがOpenAIのGPT-4の一部モデルを超えて2位にランクインしたと報告しました。 LMSys Chatbot Arena Leaderboard - a Hugging Face Space by lmsys https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard LM
LlamaIndexを使ってローカル環境でRAGを実行する方法 - 電通総研 テックブログ
こんにちは。電通総研コーポレート本部システム推進部の山下です。 最近はChatGPTなどのLarge Language Model(LLM)を利用したAIが話題ですね。 そのLLMを応用したRetrieval-Augmented Generation(RAG)という技術があります。 これは、LLMに文書検索などを用いて関連する情報を与えて回答させることで、 LLMが知識として持っていない内容を回答させたり誤った情報を答えてしまうハルシネーションを抑止する技術です。 今回はこのRAGをLlamaIndexというライブラリを使ってローカル環境で実装する方法について紹介します。 なぜローカル環境でLLMを利用したいのか 大変便利なツールのLLMですが、利用が難しいこともあります。 例えば、機密情報を取扱いたい、外部インターネットへの接続に制限が掛かっているといった場合です。 最終的にOpenAI
マイクロソフト、初心者向け生成AI学習教材「生成AIアプリケーションの開発を始めるために必要な全知識を学べる12講座」を無償公開
マイクロソフト、初心者向け生成AI学習教材「生成AIアプリケーションの開発を始めるために必要な全知識を学べる12講座」を無償公開 コースの内容には、大規模言語モデル（LLM）がどのように動くかを理解する。「生成 AI と大規模言語モデルの紹介」、ユースケースに適したAIモデルを選択できるようにする「様々なLLMの調査と比較」、プロンプトの構造と使用法の理解のための「プロンプト・エンジニアリングの基礎」、埋め込み技術を利用したデータ検索アプリケーションを構築する「Vector Databasesを利用した検索アプリケーションの構築」、外部APIからデータを取得するためFunction Callingを設定する「Function Callingとの統合」など、入門的な内容から高度なアプリケーションの開発まで多岐にわたるレッスンが用意されています。 レッスン内容は日本語による説明と図で構成 各レ
【令和最新版】何もわからない人向けのローカル LLM 入門
こんにちは、Saldraです。普段はPictoriaという会社でAIの美少女の錬成に励んでいるエンジニアです。この記事はローカルLLMの概要をつかむことを目的とします。対象読者は以下です。 なんとなく ChatGPT は使ったことある人 ローカル LLM を聞いたことあるけどやったことない人 ローカル LLM とは OpenAIがAPIを公開してから、大規模言語モデル（以降LLMとします）は大きく進化していきました。この進化はOpenAIのAPIだけでなく、ローカルLLMも進化をしています。 ローカルLLMとは「一般向けにファイルとして公開されたモデル」で推論させる遊びです。APIは便利ですが、インターネットの接続が必要であったり、API提供側に依存する問題があります。ローカルLLMは自前で運用ができるため、APIにはないメリットや魅力があります。一方で、環境構築やマシンスペック等、少し始
DALLE3 (ダリスリー) の無料教科書:初級編｜プチpony
DALL-E3を実装日からほぼ毎日使用し面白さにとりつかれています。何となくで触っているため, いまいち思った画像が出来ないことも多々ありましたので今回まじめに作成法を勉強してみました。初級編と名前がついているのは高等テクニックを教えるほどの技術がないだけで後に上級編が控えているという意味ではないです。 0. はじめに DALL-E とはシンプルなテキストのみで画像がつくれるAIです。 簡単なテキストのみで画像生成語源は『ウォーリー探せ』と芸術家の『ダリ』から来ているみたいです。ウィーリーはある種の「探し物」をする, userが提示するテキストのプロンプトから隠された要素やまだ見ぬ画像を「探し出し」生成することらしいです。 ウォーリーをインスパイアした少年1. 問題点, 主に著作権やはり何と言っても著作権問題ではないでしょうか。現在法整備が進行しているところです。OpenAIはコンテンツポ
デジタル庁「ChatGPTを業務に組み込むための手引き」を公開
河野太郎デジタル相は8月25日、デジタル庁が作成した「ChatGPTを業務に組み込むためのハンズオン」をX（旧Twitter）にポストした。 デジタル庁で公開している「ChatGPTを業務に組み込むためのハンズオン」。 ぜひ、参考にしてください。https://t.co/zgC9j4eKGm — 河野太郎 (@konotarogomame) August 24, 2023 同資料は、デジタル庁が中央省庁向けに開催したワークショップの資料を8月4日に一般公開した物。テキスト生成AIへの入出力の設計方法を学ぶ内容で、OpenAIの「GPTモデル」に関する基礎知識に始まり、同モデルの特性や注意点、「GPT API」の仕組みなど、学習に必要とされる情報を全46ページに渡って扱っている。
ChatGPTに共通テスト（旧センター試験）を解かせてみた｜usutaku@AI情報解説
最近流行りのChatGPT。 「色々な作業を自動化した」 「国家試験に合格した」 ニュースで目にする機会も最近は多いと思います。 では、ChatGPTは現段階でどのくらい賢いのでしょうか？ 「海外の司法試験で人間を超えた」などの情報をよく耳にしますが、実感が湧きませんよね。 今回は日本人に馴染みの深い大学入学共通テスト（旧センター試験）を題材に、その実力を検証してみました。 実験方法今回は、令和４年度の国語・英語（リーディング）・公民（倫理 / 政治・経済）の3科目について実験を行いました。 ※ 数学・理科等の科目については図表を読み取る問題が多く、正確に試験できないため今回は除外しました。 ポイント①： テキストになおす大学入試センターで公表されている試験問題がPDFのため、ChatGPTに読めるテキスト形式にする必要があります。 今回はGoogle Docsの機能を活用して文字起こしし
OpenAI APIのファインチューニングの学習データのガイドライン｜npaka
以下の記事を元に、「OpenAI API」のファインチューニングの学習データのガイドラインをまとめました。 1. 学習データの書式ファインチューニングするには、単一の入力「プロンプト」とそれに関連する出力 「コンプリーション」 のペアで構成される学習データが必要です。これは、１回のプロンプトで詳細な手順や複数の例を入力するような、ベースモデルの使用方法とは大きく異なります。 「学習データの書式」のガイドラインは、次のとおりです。 ・プロンプトが終了してコンプリーションが開始することをモデルに知らせるため、区切り記号 ("\n\n###\n\n"など) でプロンプトを終了する必要があります。区切り記号は、プロンプトの他の場所で使用されない文字列を指定します。 ・コンプリーションが終了することをモデルに知らせるため、停止記号 ("\n"、"###"など)でコンプリーションを終了する必要がありま
【GPT】プロンプトエンジニアリング手法まとめ - Qiita
はじめまして、sonesuke( https://twitter.com/sonesuke ) です。 LLMのニュースを追っかけ続けたので、これからキャッチアップする人用にまとめておきます。 単発のプロンプトテクニックについてはこちらご覧ください。 これだけは知っとけ用語 各手法の説明を読む前に、これらの用語を読んでおくと各手法がわかります。知っている人は飛ばしてください。 プロンプトエンジニアリング 入力(プロンプト)を工夫して性能をあげようというアプローチ。 機械学習系で精度アップといえば、追加学習させたりモデルを拡張するのですが、LLMではモデルが大き過ぎてコストが洒落になりません。 そのような事情からプロンプト側を工夫することで、回答に直接影響を与えるという手法が発達しています。 ファインチューニング モデルを新たな学習データで追加学習させ、モデルのパラメータを更新し、精度を高め
3DCG製作ソフトのBlenderにGPT-4を統合し「球体を作って」などのプロンプトを入力するだけで3Dモデルを作成するアドオン「BlenderGPT」レビュー
プロンプトを入力するだけで適切なモデルを出力してくれるBlenderのアドオン「BlenderGPT」が登場しました。OpenAIのGPT-4を使用しており、プロンプトを受けてPythonコードを生成します。 GitHub - gd3kr/BlenderGPT: Use commands in English to control Blender with OpenAI's GPT-4 https://github.com/gd3kr/BlenderGPT 導入方法は以下の動画でも確認できます。 3DCG製作ソフト「Blender」にGPT-4を統合する「BlenderGPT」の導入方法を解説 - YouTube まずはGitHubのリポジトリにアクセスします。続いて「Code」をクリックし、「Download ZIP」をクリックしてZIPファイルをダウンロード。 次にOpenAIのAPI
メタファー空間でGPT4に発散と抽象化をさせてから具体化する - 西尾泰和のScrapbox
あるメタファーの空間において二つのメタファーの対比(B)についてGPT4に列挙(1)させ、それからその対比を抽象化(2)させる。その後、抽象化した対比を異なるドメインに応用して具体化(3)させた
ChatGPT風のUIを保ちつつフォルダ分け・ダウンロード・日本語表記に対応した「Better ChatGPT」レビュー
OpenAIの対話型AI「ChatGPT」とほぼ同じUIでありながら、チャット履歴をフォルダ分けして管理しやすくしたり、ダウンロードしたりできるようにする機能を追加した「Better ChatGPT」が登場したので実際に使ってみました。 New Chat https://bettergpt.chat/ GitHub - ztjhz/BetterChatGPT: Play and chat smarter with Better ChatGPT - an amazing open-source web app with a better UI for exploring OpenAI's ChatGPT API! (Website + Windows + MacOS + Linux) https://github.com/ztjhz/BetterChatGPT#desktop-app まずは
ChatGPTプラグイン の概要｜npaka
「OpenAI」の「ChatGPTプラグイン」の記事が面白かったので、かるくまとめました。 ・Chat Plugins - OpenAI API ・ウェイトリスト 1. ChatGPTプラグイン「ChatGPTプラグイン」は、「ChatGPT」をサードパーティのアプリケーションに接続するためのプラグインです。「ChatGPT」は、開発者によって定義されたAPIと対話し、機能を強化し、幅広いアクションを実行できるようになります。 次のような機能を追加できます。 ・リアルタイム情報の取得 (スポーツスコア、株価、最新ニュースなど) ・知識ベース情報の取得 (会社のドキュメント、個人的なメモなど) ・ユーザーに代わってアクションを実行 (フライトの予約、食べ物の注文など) プラグイン開発者は、マニフェストファイルとAPIエンドポイントを公開します。これらはプラグインの機能を定義し、「ChatGP
AIが勝手に議論を深めてくれる弁証法エンジンの構築｜深津 貴之 (fladdict)
AI哲学者ヘーゲルさんに、無限に議論を思索してもらえる穢土転生コードを書いてみた。GPT3.5でも4でも動きます。 弁証法ってなに？ヘーゲルって哲学者おっさんが考えた、思索を深めるメソッド。 ある意見（テーゼ）に対して、あえて反対意見（アンチテーゼ）をいって、それから意見と反対意見を統合（ジンテーゼ）することで議論が深まるよ…というもの。 ・筋トレは健康によい（命題 = テーゼ） ・筋トレで体を壊すこともある（反対命題 = アンチテーゼ） ・筋トレは健康によいが、やりすぎや間違った方法には注意しなければいけない（総合命題=ジンテーゼ） みたいな考えかた。 以下、勝手に無限ループでヘーゲル先生が、弁証法を繰り返してくれるプロンプトです。 弁証法エンジンのプロンプトあなたはヘーゲルの仮想人格として振る舞う、形而上の弁証法シミュレーターです。 ユーザーの入力「仕事にいかずにゲームをしていたい」に
ChatGPTのおさらいと、プログラミングに活用するための第一歩 | gihyo.jp
大量の文章から学習することで、多言語を取り扱う能力だけでなく、高度な推論能力まで手に入れました。 GPT-3.5、とりわけその初期モデルのCodexはGitHubに存在する5400万の公開リポジトリから採取された159GBのPythonコードでGPT-3をfine-tuning（微調整）することで生まれました。ChatGPTがとりわけPythonが得意なのはここから来ています。 ChatGPTの学習データを考えることはその能力を発揮させるときに極めて有効です。質問時も以下のように、『涼宮ハルヒの憂鬱』というライトノベル作品について日本語で聞いたときはSOS団の略称を間違えるなどしますが、英語ではほぼ期待通りの回答を見せます。 図1 『ハルヒの憂鬱』について日本語で聞いた場合の回答 図2 『ハルヒの憂鬱』について英語で聞いた場合の回答 知ったかぶりをするChatGPT ところで、ChatG
ChatGPTの力で｢片付ける気すら起きないほど荒れた部屋｣ が楽に綺麗になった話
ChatGPTの力で｢片付ける気すら起きないほど荒れた部屋｣ が楽に綺麗になった話2023.03.22 19:30427,986 かみやまたくみ ※この記事は編集部がChatGPTと触れ合った思い出を記録するものです。 2〜3月が非常に忙しく、気づけば我が家は汚部屋状態。めちゃくちゃすぎて掃除にとりかかる気にさえなりません。でも、これをなんとかしないとまともに仕事はできなさそう。 そこでふと思いつきました。GPT-4でさらに賢くなった対話型AIサービス｢ChatGPT｣ならなんとかしてくれるのでは？ 会話ログを載せるとどうしても長くなってしまうので、最初に結論を書きます。すごい楽に掃除が進みました。 ｢能率的なやり方｣が一瞬で出てくる→やるだけ最初は｢ChatGPTが適切な回答をするために必要な情報が得られるように、私に質問してください｣と伝えました。前提として、自分は掃除が得意なタイプで
GPTの仕組みと限界についての考察（１） - conceptualization
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChatGPTの新機能「GPTs」「Assistants」を試す。特別なツール不要でカスタムChatGPTを開発可能に！【イニシャルB】
OpenAI Platform
プロンプトエンジニアリング基礎編｜ChatGPT研究所
