Kohya版のLoRAをDockerで訓練する | Shikoan's ML Blog
LoRAのデファクトスタンダードとなりつつあるKohya版のLoRA学習スクリプトをDockerで動かしてみました。Diffusersとの連携も可能で、DiffusersオフィシャルのLoRAよりも高品質な学習が期待できます。PyTorch2の環境でも動かすことができました。 はじめに Civitaiなどで配布されているLoRAでデファクトスタンダード形式となりつつあるKohya版のLoRAをWebUIなしで訓練します。ベースのモデルはDiffusers形式でもOKで、Diffusersの連携もできそうです。 LoRAの訓練コードの違い この世界には画像生成モデルのLoRA訓練コードが多数溢れています。いくつか例を挙げますと、 Hugging FaceのDiffusersライブラリに登録されている訓練コード dreamboothとtext_to_imageの2種類 Hugging Face
OpenAIの埋め込みよりも高性能？多言語E5を日本語で評価してみる - Ahogrammer
多言語のテキスト埋め込み用のモデルであるMultilingual-E5-largeの性能を日本語のデータセットで評価してみました。 E5とは E5とはEmbEddings from bidirEctional Encoder rEpresentationsの略で、テキストの埋め込み用のモデルです[1]。Web上から収集した大規模なテキストペアのデータセット（CCPairs）で対照学習したあと、NLIやMS Marcoなどの高品質なデータセットで学習しています。情報検索のベンチマークであるBEIR[2]や埋め込みのベンチマークであるMTEB[3]で評価されており、MTEBではOpenAIのtext-embedding-ada-002を上回る性能が報告されています。 MTEBの結果。平均的な性能で`text-embedding-ada-002`を上回っている。 CCPairsはWeb上から収集
Zero-shot image-to-text generation with BLIP-2
This guide introduces BLIP-2 from Salesforce Research that enables a suite of state-of-the-art visual-language models that are now available in 🤗 Transformers. We'll show you how to use it for image captioning, prompted image captioning, visual question-answering, and chat-based prompting. Table of contents Introduction What's under the hood in BLIP-2? Using BLIP-2 with Hugging Face Transformers
論文まとめ：BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large
タイトル：BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models 著者：Junnan Li, Dongxu Li, Silvio Savarese, Steven Hoi（Saleforce Research） 論文URL：https://arxiv.org/abs/2301.12597 コード：https://github.com/salesforce/LAVIS/tree/main/projects/blip2 HuggingFace：https://huggingface.co/spaces/taesiri/BLIP-2 ざっくりいうと 視覚言語（V&L）モデルにおいて、事前学習コストを減らしつつ精度を出すための研究 事前訓練済みの画像
Vision and Languageの現状と展望（GPT-4）
2023年3月27日時点でのVision and Languageの現状と展望（GPT-4）
Azure OpenAIの「Add your data」で出来ること出来ないこと
この記事の主題ではないので簡単に説明しますが、PaaSへのアクセスを閉域化するのがPrivate Endpoint、PaaSからのアクセスを閉域化するのがVNet統合です。 非対応だった以前までの内容 では、登場人物全てが閉域化に対応しているのに、なぜ「Add your data」は閉域化できないのでしょうか。それはAzure OpenAIからCognitive Searchへの通信が執筆時点ではパブリックのみになっているからです。「Add your data」の仕組み図を閉域ネットワーク的に書き換えると以下の図のようになります。 ネットワーク閉域化をしている場合、インターネットからのアクセスを遮断するのでAzure OpenAIからのインターネット経由のアクセスができなくなります。そのため、執筆時点では「Add your data」は閉域化できないということになります。Azure Ope
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
unilm/e5 at master · microsoft/unilm
GitHub - microsoft/unilm: Large-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities
GitHub - jxnl/instructor: structured outputs for llms
openai-cookbook/examples/Customizing_embeddings.ipynb at main · openai/openai-cookbook
Poetry1.5.1からGPU版のPytorchのインストールが簡単になりました
