Generative Models2024年6月13日に大阪大学大学院 情報科学研究科で行った「情報科学特別講義Ⅰ」の講義資料です。 https://www.ist.osaka-u.ac.jp/japanese/news/newsDetailNews.php?id=308
この本を読んだら、Stable Diffusionで画像生成を思い通りにできるようになった！ かなりお勧めの解説書です -Stable Diffusion画像生成［本格］活用ガイド
※本ページは、アフィリエイト広告を利用しています。 「はじめてでもここまでできる」の本書タイトル通り、読んで3時間ほどでStable Diffusionの画像生成を思い通りにできるようになりました！ Stable Diffusionでどんなことができるのかは知っていましたが、実際に自分のPCにセットアップし、プロンプトによる画像生成をはじめ、色塗り指定や画風指定、キャラをAIに学習させての画像生成までできました。Stable Diffusion初心者の人にお勧めの解説書を紹介します。 また、少しやってみたけどTextual InversionやControlNetやLoRAなどがうまく使えない、そんな人にもかなりお勧めです。 本書は「はじめてでもここまでできる」というタイトル通り、初心者向けの解説書です。そして「本格活用」とあるように、ただ使えるようになるだけでなく、塗りの書き込み感、色塗
各種Prompt Engineeringの日本語実例集（Zero-CoT、mock、ReAct、ToT、Metacog、Step Back、IEPなど） - Qiita
各種Prompt Engineeringの日本語実例集（Zero-CoT、mock、ReAct、ToT、Metacog、Step Back、IEPなど）Python機械学習入門ChatGPTLLM CoT、Zero-CoT、ToT、mock、ReAct、Step Back、Metacog、IEPなど、各種Prompt Engineering手法の概説と、日本語での実際のプロンプト例をまとめた記事です。 各種Prompt Engineering手法を日本語で実装したい方向けの記事となります。 本記事で取り扱う手法は以下の通りです。 項目数が多いため、記事右下の目次リンクもご活用ください。 本記事の内容 01: 通常のPrompt 02: Few-shot Learning 03: CoT（Chain of Thought） 04: 出力形式の指定方法 05: Zero-shot CoT（≒
LangChainのJSON出力パーサー｜はまち
LLMからの出力形式は、プロンプトで直接指定する方法がシンプルですが、LLMの出力が安定しない場合がままあると思うので、LangChainには、構造化した出力形式を指定できるパーサー機能があります。 LangChainには、いくつか出力パーサーがありますが、汎用的に使い道がありそうな、Pydantic/JSON 出力パーサーを試してみました。 １．ライブラリほか準備from langchain.llms import OpenAI from langchain.output_parsers import PydanticOutputParser from pydantic import BaseModel, Field, validator from typing import List今回の主役は、「PydanticOutputParser」です。 model = OpenAI(mode
過学習を利用した「コピー機LoRA学習法」のやり方まとめ！画風を調整できるLoRAを作ろう
実はこのLoRAの作り方は作者様が情報を共有してくださっており、研究熱心な方の間では興味深い研究テーマとしてしばらく前に話題になっていました。このLoRAの作成方法は「コピー機LoRA学習法」と呼ばれていて、応用すると画風を調整可能なLoRAを作れるとのことだったので今更ながら私も試してみることにしました。 ここではこのコピー機LoRA学習法を使ったLoRAの作り方をまとめてみますね。
コーディング用大規模言語モデル「StarCoder」とは 何がすごいのか
StarCoderとStarCoderBaseは、80以上のプログラミング言語、Gitコミット、GitHub Issues、Jupyter Notebookなど、GitHubからライセンスとして許可されたコードのデータでトレーニング（機械学習）されている。Meta製LLMの「LLaMA」と同様に、1兆のトークンに対して約150億のパラメーターモデルをトレーニングした。Hugging Faceは350億のPythonトークン用にStarCoderBaseモデルを微調整し、StarCoderを作成した。 StarCoderBaseは、一般的なプログラミングベンチマークで、既存のオープンコードLLMよりも優れたパフォーマンスを示し、OpenAIの「code-cushman-001」（「GitHub Copilot」の初期バージョンを強化したオリジナルの「Codex」モデル）のようなクローズドモデ
jetson nanoのカーネルをソースからビルドする
** 2022/05/15 追記 ビルドするホストにはx86_64のubuntu 20.04を使いましょう。 現在動いているカーネルのバージョンを確認する $ cat /proc/version Linux version 4.9.253-tegra (buildbrain@mobile-u64-5434-d8000) (gcc version 7.3.1 20180425 [linaro-7.3-2018.05 revision d29120a424ecfbc167ef90065c0eeb7f91977701] (Linaro GCC 7.3-2018.05) ) #1 SMP PREEMPT Sat Feb 19 08:59:22 PST 2022
大規模言語モデル間の性能比較まとめ｜mah_lab / 西見 公宏
StableLMのファインチューニングってできるのかな？と調べたところ、GitHubのIssueで「モデル自体の性能がまだ良くないから、ファインチューニングの段階ではないよ」というコメントがありまして。 シートの中身を見てみるlm-evalシートstablelm-base-alpha-7bは54行目にありまして、確かに他の言語モデルと比較するとまだまだな性能のようです。応援したいですね。 シートの列の意味それぞれの列の意味については推定ですが以下の通りです。 RAM 言語モデルのGPUメモリ消費量。 lambada(ppl) LAMBADAデータセットによる測定値。ロングレンジの言語理解能力をテストする（文章全体を読まないと答えられないタスクでの評価）。PPLはPerplexityという指標で、モデルの予測の不確かさを示す。PPLが低いほど、モデルの予測精度が高い。 lambada(acc
GPTの仕組みをちゃんと勉強したい本 - きしだのHatena
やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思います。 最初は数式が多いのだけど、Σをfor文だと思いつつ、定義が説明文中に埋まってるPerlよりたちが悪い記号主体言語だと思えば読めるけどめんどくさいので飛ばしても問題ないと思います。 深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3) 作者:中山 英樹,二反田 篤史,田村 晃裕,井上 中順,牛久 祥孝サイエンス社Amazon で、もういきなり作る。 トークナイザーから全部つくっていきます。TensorFlowでBERTをつくってGPT2をつくる
Grafana Lokiで始めるログ管理
Grafana Lokiについての社内勉強会で使用した資料になります。 Grafana Lokiを使っている方や導入を検討されている方にお役に立てればと思います。 よろしくお願いいたします。
LangChainのAgentをLlamaIndexのインデックスでカスタマイズしてみた | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 LangChainのAgentのカスタムツールとして、LlamaIndexのインデックスを使用する方法を紹介します。 LangChainとは LlamdaIndexと同様、大規模言語モデル(LLM)をカスタマイズして使用するためのライブラリです。 カスタムされたチャットボットやエージェントを作成することが可能で、以下のような様々な外部リソース・サービスと連携可能です。 OpenAIのChatCompletion（要するにChatGPT） Google検索やOpenSearchなどの検索サービス Hugging Faceのエコシステム Pythonのコーディングをするツール 例：PyTorchでhogehogeな構成のサンプルコードを教えて、など SQLデータベースなどのリソース 例：hogehog
手元で動く軽量の大規模言語モデルを日本語でファインチューニングしてみました(Alpaca-LoRA)｜masa_kazama
イントロ最近、ChatGPTやGPT-4などの大規模言語モデル(LLM)が急速に注目を集めています。要約タスクや質疑応答タスクなど様々なタスクで高い性能を発揮しています。これらのモデルはビジネス分野での応用が非常に期待されており、GoogleやMicrosoftが自社サービスとの連携を進めているという報道も相次いでいます。 今回は、手元で動作する軽量な大規模言語モデル「Alpaca-LoRA」を日本語にファインチューニングしてみました。この記事では、そのファインチューニングのプロセスや応用例について簡単に解説していきます。ChatGPTやGPT-4は、モデルがブラックボックスでありAPI経由でしか入力を与えて出力を得ることができません。さらに、現時点（2023年3月20日）では、独自のデータを用いてファインチューニングを行うこともできません。 しかし、Alpaca-LoRAというモデルを用
Guanaco - Generative Universal Assistant for Natural-language Adaptive Context-aware Omnilingual outputs
Guanaco - Generative Universal Assistant for Natural-language Adaptive Context-aware Omnilingual outputs Image by NobbiP (CC BY 3.0) Our new 🏆SOTA work: CausalLM 72B(preview), 14B & 7B, #1 SOTA model of its size, outperforming ALL open models. Recent update: Added support for multimodal VQA. Guanaco is an advanced instruction-following language model built on Meta's LLaMA 7B model. Expanding upon
高性能・高速・軽量な日本語言語モデル LINE DistilBERTを公開しました
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。LINEの小林滉河(@kajyuuen)です。NLPチームで固有表現抽出、有害表現の検知、LINEスタンプ推薦の改善など自然言語処理に関する仕事をしています。 この記事ではLINEが公開した言語モデル「LINE DistilBERT」について紹介します。 https://huggingface.co/line-corporation/line-distilbert-base-japanese https://github.com/line/LINE-DistilBERT-Japanese LINE DistilBERTは次のような特徴を持つ日本語言語モデルです。 高性能・高速・軽量 Hugging Faceのtra
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習と自動微分 (2023)
予備校のノリで学ぶ「大学の数学・物理」Official Website
キカガク | AI・機械学習を学ぶ動画学習プラットフォーム AIプログラミングスクール
Compiling Custom Kernel Modules on the Jetson Nano | Kevin's Blog
Sound Novels/Oeilvert
[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models![[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models](https://cdn-ak-scissors.b.st-hatena.com/image/square/65cb19b58389a8172f4ae0e0bffde9aca1b0c31e/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F1a79cc87bdcc460ab0db72d0d9f2f902%2Fslide_0.jpg%3F25289431)
