はてなブックマーク

Twitterを見ていたら、LLM同士をストリートファイター3で戦わせてどちらが性能が良いかを競い合うプロジェクトを見つけました。LLMの性能を計測するベンチマークとしてストリートファイター3を利用しています。 Introducing LLM Colosseum ! 🔥 Evaluate LLMs quality by having them fight in realtime in Street Fighter III ! Who is the best ? @OpenAI or @MistralAI ? Let them fight ! Open source code and ranking 👇 pic.twitter.com/GF6HOkVHIA — Stan Girard (@_StanGirard) March 24, 2024 LLM同士を戦わせて、どちらが優れているかを

LM Studioとは、ローカル環境で、言語モデルを探してダウンロードしたり、言語モデルを利用して会話が出来たり、言語モデルサーバとしての機能も果たします。 所感は、GUIベースで操作できるので、プログラミングに馴染みの無い人や、言語モデルを試してみたい人には手軽に設定することができるので有益なツールだと思います。 今回は、LM StudioをWindows PCにインストールして使う方法を纏めてみました。 LM Studioのインストール下記のページからダウンロードしてきます。 上記ページの"Download LM Studio for Windows"をクリックしてダウンロードし、Windows PCにインストールします。 LM Studioの初期画面 言語モデルのダウンロード次に、OpenHermes 2.5と入力し、Goをクリックします。 検索画面 検索結果が出力されます。 次に、

OpenAIのサイトを眺めていたら、Prompt Engineeringのマニュアルが出来ていましたので、自身のメモ用として纏めてみました。 https://platform.openai.com/docs/guides/prompt-engineering プロンプトエンジニアリングのマニュアル構成は6つの戦略からなっております。 明確な指示を書く 参照テキストを提供する 複雑なタスクを簡単なサブタスクに分割する モデルに「考える」時間を与える 外部ツールを使用する システマティックに変更をテストする 言語定義として、戦略と戦術の違いは、戦略は、具体的な目標や計画であり、それらを実現するための具体的アクションが戦術です。 1.明確な指示を書く  戦術としては、以下があります。 質問を詳細にせよ ペルソナを設定せよ デリメーターを使用せよ 複雑なタスクのためにステップを踏め 例を与えよ 回

個人開発としてOpen-Interpreterは、この生成AIブームの中、多くの開発者にインパクトを与えています。 今まで出来れば良かったと思っていた、アイデアからプログラム作成、実行まで実施してくれるフリーツールの一つだからです。 Open-Interpreterのハッカーソンが行われていましたので、今回はその作品群を眺めていきます。 Open-Interpreter作成者もハッカーソンの審査員として登場しています。 今回は、Open-Intepreterを使用したプログラムをいくつかピックアップして紹介していきます。 Open-Sourcere 2600 Books Sorted for Multi-Agent Creation Electerpreter Open-Interpreter Electron APP CodeBaseBuddy AISmartTask Open Inte

今回は、Databricks社の機械学習プラットフォームで訓練されたdolly-v2-12bという120億パラメータの言語モデルの紹介となります。以前、Cerebralの130億パラメータではGoogle Colabでうまく動かせませんでしたが、今回は動かすことができました。また、本モデルは商用利用も認められているとのことです。 今回は、以下のサイトを参考にしました。 Google Colabで実行するときは、下記のコードを実行しました。 %pip install accelerate>=0.12.0 transformers[torch]==4.25.1 import torch from transformers import pipeline generate_text = pipeline(model="databricks/dolly-v2-12b", torch_dtype=t

最近、AutoGPTが出て、目標を与えて回答を自律的に導き出すモデルが発表されました。それは、ターミナルで実施するようになっていましたが、今回のAgentGPTはグラフィカルです。今回参考にしたのは以下です。 さて、今回のコードです。 python -m venv venv venv/Scripts/activate git clone https://github.com/reworkd/AgentGPT.git npm install 次に、.env.exampleでOPENAI_API_KEYにOpenAIで取得したAPIキーを入力して、.envファイルにリネームしましょう。 # Deployment Environment: NODE_ENV=development # Next Auth config: # Generate a secret with `openssl rand

ここ数日、Auto-GPTに関して目にする機会がありましたので、試してみたくてワクワクしていました。平日だとまとまった時間が取れないので、休日は良いですね。 Auto-GPTは、GPT-4やGPT-3.5-turboを利用したオープンソースのアプリケーションです。AIに役割と目的を与えて、目的を達成するまで自動的にコードを生成実行します。内部的には、gpt-4やgpt-3.5-turboを使って、forループを回しているのではないかと考えられます。 さて、今回は、下記ページを参考にさせて頂きました。 事前準備編事前準備として、pineconeのapiキーを取得しましょう。 Vector Database for Vector Search | Pinecone https://www.pinecone.io/ 私は、アカウント作成時は、googleアカウントで作成しました。次に、API K

ChatGPTは、今年の流行語大賞になるくらいの勢いですね。今年の流行語大賞の発表時期には、昨今のAI関連のニュースの発表の多さを考えると、全く違う世界が見えているんじゃないのかなと思うとワクワクします。 今週は、ChatGPTのGPT-4の発表があり、多くの人がGPT-4を使ってどんなことができるのかを試しているはずです。だから、GPT-4関連の記事を今日は書こうかなと思いましたが、今日は、PDFを読み込ませてChatGPTに答えさせるWebアプリを作成してみようと思います。 要は、GPT Index、llama Indexみたいなことかとイメージしてもらえればと思います。 今回は、Hugging Faceより下記のページを参考に作成させていただきました。 インタフェースの流れは、OpenAIのAPIキーを入力して、PDFファイルを読み込ませて、質問をするというふうになります。 これが出