はてなブックマーク

2024/12追記：この記事は2024/9時点のComfyUI環境でテストしたものです。その後も開発が進められており、以下の内容はすでに古くなっていますので、本記事は参考までとしてください。最新のComfyUIワークフローは「ComfyUI-CogVideoXWrapper」から入手できます。 「CogVideo」シリーズは、ローカルで使える動画生成AIの中で2024年9月時点で最も高性能なモデルです。ただ従来のモデルはText-To-Video（テキスト指示からの動画生成）に用途が限られていました。 今回、新たにImage-To-Video（画像からの動画生成）に対応した「CogVideoX-5B-I2V」が公開されたので、ComfyUIで試してみました。

最近LLMコミュニティから生まれた小型MoEモデル「LightChatAssistant-2x7B」の日本語チャット性能がとても良いため、モデル作者さんが用いた手法（Chat Vector+MoEマージ）を後追いで勝手に検証しています。 その過程で複数のモデルを試作したところ、7Bクラスとしてはベンチマークスコアがやたら高いモデルが出てきたので「Japanese-Starling-ChatV-7B」として公開してみました。 以下はこのモデルの簡単な説明です。 簡易評価日本語によるinstruction-tuningを行ったモデルの評価用データセットとして知られる「ELYZA-tasks-100」を用いて、ほかの有力な7Bクラスの日本語モデルとスコアを比較しました。 その結果、GPT-4による評価において既存の日本語7Bモデルより大幅に高いスコア（3.42）を示すことが確認できました。単純に

言語モデルの研究領域の一つに「知識編集(Knowledge Editing)」というものがあるらしい。 近年は言語モデルの大規模化による開発コスト膨張が問題になっており、既存モデルをより長く利用するための低コストな知識更新手法に注目が集まってる（らしい）。 とはいえ既存の知識編集手法は不確実性が高いうえ、モデル性能が劣化する副作用も存在する（らしい。こちらやこちらのアブストラクトを参照）。 言語モデルの知識編集そもそも知識編集ってなんなのか、と思って検索したところ、こちらによくまとまっていた。 https://github.com/zjunlp/EasyEdit/blob/main/tutorial.pdf基本的には追加学習やRAGとは異なるアプローチを指すらしい。 追加学習による知識更新は高コストで副作用が多い。RAGによる知識更新は一時的でスケーリングもしづらい。そこで、より局所的＆恒

ChatGPTが業務分担してゲームを作る「ChatDev」がすごく面白かった。 同じような発想で、エージェント化したAIが分業して漫画を作るアプリとかあったら楽しいので、誰か作って公開してほしい… …漫画はムリでも絵本くらいなら自分でもイケるかも、という安直な考えを抱いたので、とりあえずAPIの使い方を調べた。 「ChatDev」では画像生成にOpenAIのAPI（DALL-E）を使っている。手軽だが自由度が低く、創作向きではない印象。今回は「ComfyUI」のAPIを試してみた。 ComfyUIの起動まず、通常どおりComfyUIをインストール・起動しておく。これだけでAPI機能は使えるっぽい。 # ComfyUIのインストール !git clone https://github.com/comfyanonymous/ComfyUI %cd ComfyUI # 依存関係のインストール !

【2023/11/10追記】AnimateDiff公式がSDXLに対応しました（ベータ版）。ただし現時点ではHotshot-XLを利用したほうが動画の質が良いようです。 「Hotshot-XL」は、Stable Diffusion XL（SDXL）モデルを使ってGIF動画を生成するためのツールです。 「ComfyUI-AnimateDiff」が、最近この「HotshotXL」に対応したようなので試してみました。 留意点ちょっとややこしいですが「AnimateDiff」と「HotshotXL」は別物です。「ComfyUI版のAnimateDiff」が独自に機能拡張し、HotshotXLを使えるようになったものです。 HotshotXLは推奨される動画の長さがフレームと短く動きも不自然になりやすいため、性能面では通常のAnimateDiffに及びません。 必要な準備ComfyUI本体の導入方法

※当noteで掲載しているワークフローについては各記事公開時点のComfyUI環境で動作を確認しています。その後のComfyUI/カスタムノードのアップデートにより最新の環境では不具合が生じる可能性があるので、あらかじめご了承ください。 このnoteは、いま注目されているAI動画生成ツール「AnimateDiff」のハウツーをまとめた初心者ガイドです。 「AnimateDiff」は2023年7月に公開されたオープンソースの技術で、誰でも無償で利用することができます。AnimateDiffについては以下の記事が参考になります。 導入編1. ComfyUI のすすめ「AnimateDiff」は、単体では細かなコントロールが難しいため、現時点では以下のパッケージのどれかを選んで使うことが多いです。 AnimateDiff-CLI-Prompt-Travel コマンドラインでAnimateDiff

前回の記事では、AI動画生成ツールのAnimateDiffとControlNet Tileを使って、2つの画像をつなぐ中割動画を生成してみました。 今回は、ControlNetのOpenposeとDepthを組み合わせて、元動画をアニメ・実写など色々なトーンの動画に変換できるVideo-to-Video（Movie-to-Movie）を試します。 1. 必要な準備ComfyUI内のフォルダに導入しておく必要があるものは以下の通りです。 カスタムノード 次の3つを使います。 ComfyUI-AnimateDiff-Evolved（ComfyUI用AnimateDiff） ComfyUI-Advanced-ControlNet（ControlNet拡張機能） ControlNet Auxiliary Preprocessors（プリプロセッサー） ComfyUI Managerを使っている場合

前回の記事では、AI動画生成ツールのAnimateDiffと「ControlNet」を組み合わせることで、特定のモーションをアニメで再現しました。 今回は、ControlNetの「Tile」という機能を組み合わせて、2枚の画像を補間するアニメーションの生成を試します。 必要な準備ComfyUI AnimateDiffの基本的な使い方については、こちらの記事などをご参照ください。 今回の作業でComfyUIに導入が必要なカスタムノードなどは以下のとおりです（説明は後述）。 カスタムノード (./custom_nodes/)： 以下の2つを使います。 ComfyUI-AnimateDiff-Evolved（ComfyUI用AnimateDiff） ComfyUI-Advanced-ControlNet（ControlNet拡張機能） モーションモジュール (./custom_nodes/Com

前回の記事でも触れたとおり、QLoRAによるLlama-2のファインチューニングで試行錯誤している。 「QLoRA」は、LlamaのようなローカルLLMをファインチューンする場合に現在主流となっている手法。通常のLoRAよりもGPUリソースを大幅に節約でき、コストや時間の面でメリットがあるとされる。 パラメータ設定については、Llama-2-7BでQLoRAを行う場合の公式のスクリプトがあり、大部分は以下の設定を流用すればいいはず。 CUDA_VISIBLE_DEVICES=0 python qlora.py \ --model_name_or_path meta-llama/Llama-2-7b-hf \ --use_auth \ --output_dir ./output/llama-2-guanaco-7b \ --logging_steps 10 \ --save_strategy

「OpenBuddy-Llama2-13B」というモデルを試したところ、わりと日本語が良かった。英文和訳などは微妙なものの、全般的な日本語チャットは「Vicuna V1.5」と同等以上の印象で、Llama系のモデルとしてはかなりいい感じ。 OpenBuddy「OpenBuddy」シリーズは以下の特徴を掲げるオープンなLLM。 多言語会話AI：中国語、日本語、韓国語、フランス語、ドイツ語などに対応 ボキャブラリーの強化と、CJK文字のサポート 複数ターンの対話データセットで微調整し、パフォーマンスを向上 LLaMA、Falcon、OpenLlamaなど複数のモデルをベースにリリース 今回試した「OpenBuddy-Llama2」は、このうちLlama-2-13B/70Bをベースにしたモデルで、いずれも数日前にアップデートされている。 出力例GGMLモデルのRepoから「openbuddy-l

RedditのローカルLLM板に以下の投稿があった。週明けに「llama.cpp」で使われているGGMLファイルが「GGUF」という新フォーマットに変更されるとのこと。 フォーマット変更の要点GGUFは、GGMLよりも拡張性の高いファイルフォーマット。「.bin」から「.gguf」になる。 これにより、Llama以外の言語モデル（falcon, rwkv, bloom, etc.）がllama.cppでサポートできるようになる。サポートするモデルは段階的に増える予定。 その他、プロンプトフォーマットをGGUF内に設定しておけるようなったり、rope-freq-baseやgqaなどの一部パラメータが不要になる予定。 破壊的変更であり、既存のggmlモデルは「GGUF #2398」のマージ後は使えなくなる（有志がGGML>GGUFの変換スクリプトを作成中）。 マージは週明け（現地8月21日）を

LINEの「japanese-large-lm-instruction-sft」リリースに関する公式ブログで「Rakuda Benchmark」という日本語LLMベンチマークがモデルの性能評価に使われていた。 これまで日本語LLMのリリースでよく見たのは「JGLUE（日本語一般言語理解評価）」というベンチマーク。何が違うのか簡単に調べてみた。 JGLUE（日本語一般言語理解評価）「JGLUE」は、早稲田大学とYahoo! JAPANが構築・公開したベンチマーク。 ベンチマークの具体的な構成については、以下の記事に詳しい。 この「JGLUE」のスコアでLLMの日本語性能をランク付けしたリーダーボードには、「Nejumi LLMリーダーボード」や、Stability AIによる「JP Language Model Evaluation Harness」がある。 Nejumi LLMリーダーボー

Llama-2(13B)の日本語ファインチューンで試行錯誤している。 fine_tuning521k-jaなどの日本語データセットを手始めに、ShareGPTの日本語データを抽出したりしてQLoRAを試したものの、成果はイマイチで素人の限界を感じる。ColabやRunpodのGPU課金だけが積みあがってゆく…。 というか、自分でLlama-2を日本語ファインチューンしたモデルより「Vicuna」のほうが普通に日本語がうまい。 ならば、Llama-2のベースモデルをイチから日本語トレーニングするよりVicunaをファインチューンした方が話が早いのでは？と思うに至った。 Vicuna自体がLlamaのファインチューンモデルなので、さらにファインチューンを重ねるのがいいのかよくわかんないが…とりあえずテスト。 データセットの用意ひとまず最初は、翻訳タスク（英→日）に限定して「Vicuna-13B

OpenAIのAndrej Karpathy氏による「llama2.c」が話題になっていた。 CPU環境で「Llama 2 アーキテクチャをゼロから学習させ、重みを生のバイナリファイルに保存し、シンプルなCファイルにロードしてモデルを推論する」という一連の流れが体験できるという。 My fun weekend hack: llama2.c 🦙🤠https://t.co/CUoF0l07oX Lets you train a baby Llama 2 model in PyTorch, then inference it with one 500-line file with no dependencies, in pure C. My pretrained model (on TinyStories) samples stories in fp32 at 18 tok/s on my

【追記】 この記事の内容はかなり古くなっているのでご注意ください。ブログに新しい記事（https://sc-bakushu.hatenablog.com/entry/2024/02/26/062547）も上げてます。 「llama.cpp」はMacBookなどでLlamaベースの大規模言語モデルを動かすことを目標とするアプリケーション。一応CPUのみでも実行でき、GPUの非力な環境でも動かしやすい。 llama.cppの量子化モデルllama.cpp(GGML)では量子化によるモデルサイズ縮小が進んでいる。例えば、下記のHuggingFaceのRepoを見ると、GGML量子化モデルは「q4_0, q4_1, q5_0, q5_1, q8_0, q2_K, q3_K_S, q3_K_M, q3_K_L, q4_K_S, q4_K_M, q5_K_S, q5_K_M, q6_K」と多岐にわたる