主な「ローカルLLM」のリリース年表をまとめました。 2022年11月30日 OpenAI - ChatGPT リリース 2023年2月24日 LLaMA7B、13B、33B、65B を研究者向けの限定リリース。

iOS・Android の ローカルLLMの実行環境をまとめました。 1. iOS1-1. Llama.cpp (gguf)「Llama.cpp」の「example/llama.swiftui」で、iOSでggufを実行するプロジェクトが提供されています。モデルはHuggingFaceの「TheBloke」「mmnga」などで数多く提供されています。ただし、メモリ制限のため小サイズのモデルに限られます。 1-2. MLX「mlx-swift-examples」の「LLMEval」に、iOSでMLXを実行するプロジェクトが含まれています。モデルはHuggingFaceの「MLX Community」などで数多く提供されています。ただし、メモリ制限のため小サイズのモデルに限られます。 1-3. TensorFlow Lite (tflite)「MediaPipe」の「LLM Inference

以下の記事が面白かったので、ざっくり翻訳しました。 ・lucidrains/DALLE-pytorch: Implementation / replication of DALL-E, OpenAI's Text to Image Transformer, in Pytorch 1. DALL-E in Pytorch 「DALL-E in Pytorch」は、OpenAIのText-to-Image Transformerである「DALL-E」（論文）のPyTorch実装/複製です。生成画像をランク付けするための「CLIP」も含まれます。 Eleuther AIのSid、Ben、Aranは、「DALL-E for  Mesh Tensorflow」に取り組んでいます。 DALL-EがTPUで学習されるのを見たい場合は、彼らに手を貸してください。 2. 状態Hannuは、わずか2000枚の

「LangChain」の チェーン・エージェントの評価についてまとめました。 1. LangChain の チェーン・エージェントの評価「LangChain」の「チェーン」「エージェント」の評価は、難しい課題の1つです。これには主に、以下の2つの理由があります。 ・データの欠如 ・評価指標の欠如 2. データの欠如2-1. 問題通常、チェーン・エージェントを評価するための大量のデータはありません。「LLM」は「Few Shot」「Zero Shot」が可能なため、大量のデータなしにタスクを実行できます。これは、モデルの使用前に大量のデータを収集する必要があった、従来の機械学習とは対照的です。 2-2. 解決策◎ LangChainDatasets 「HuggingFace」のコミュニティスペース「LangChainDatasets」を開始しました。これは、一般的なチェーン・エージェントを評

1. ChatGPTプラグインの作成手順「ChatGPTプラグイン」の作成手順は、次のとおりです。 (1) APIの実装 (2) マニフェストファイルの作成 (3) OpenAPIドキュメントの作成 2. マニフェストファイルの作成2-1. マニフェストファイルの基本構成「マニフェストファイル」は、「ChatGPTプラグイン」のメタデータを記述するファイルです。APIのドメインの「/.well-known/ai-plugin.json」でホストします。 「マニフェストファイル」の基本構成は、次のとおりです。 { "schema_version": "v1", "name_for_human": "TODO Plugin", "name_for_model": "todo", "description_for_human": "Plugin for managing a TODO list.

「Google Colab」で 「PEFT」による大規模言語モデルのファインチューニングを試したので、まとめました。 1. PEFT「PEFT」(Parameter-Efficient Fine-Tuning)は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。 大規模言語モデルのファインチューニングは、多くの場合、法外なコストがかかりますが、「PEFT」は少数のパラメータのみをファインチューニングするため、計算コストとストレージ コストが大幅に削減でき、さらには、完全なファインチューニングに匹敵するパフォーマンスを実現します。 現在サポートしている手法は、次の4つです。 ・LoRA ・Prefix Tuning ・P-Tuning ・Prompt Tuning 2. Colabでの実行Google Colab

「gpt2-japanese」がワード単位で学習させたv2モデル（117Mパラメーター）が公開されてたので軽く試してみました。 1. gpt-2japaneseの使い方使い方は前回と同じで、モデル名の最後に「_v2」を付けることでv2モデルが使えます。 2. 実験メガCDの名作「Aランクサンダー」の導入部分の続きを、GTP-2に書いてもらいます。​ 【コンテキスト】 男は改造後始めて眼を覚ます。ここは平内新島。地下二百メートルにある、秘密結社「ブルズ・アイ」基地内。 <<省略>> 「いいかげんにしてくれ！　俺には何がなんだかさっぱりわからない！　それにあんた、何者だ？」 「ふん…。Ａランクっていうのは、どうしてどいつもこいつも、こんなに扱い辛いんだ…。ああ…。言い忘れてた、俺の名は陣八。よろしくなサンダー。」" ◎ 実験1 「--top_k=40 --top_p=0」で試してみました。 !

プログラマー。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガジェット。年2冊ペースで技術書を執筆。アニソン / カラオケ / ギター / 猫 twitter : @npaka123