h2o LLM Studio でぺろっと LLM ﾌｧｲﾝﾁｭｰﾝしたいメモ

LLM model のﾌｧｲﾝﾁｭｰﾝぺろっと試したい LLM モデル毎日ぽこぽこ生えてきて, 毎回 finetune セットアップめんどい... ふーん, h2o LLM Studio よさそうかねぇ... 試してみます! 環境 Ubuntu 20.04 3090 x 1 CUDA 12.1 conda セットアップ Python 3.10 必要です. 私の場合は conda で環境作りました. あとは必要なモジュールいれるだけです. 実行(GUI) でいけました. Docker など使わずとも, 特に問題なく一発起動できました! あとはボタンぽちぽちで OK. 感想 GPU mining での HiveOS みたいな感じですかね. とりあえずぱぱっと時短でﾌｧｲﾝﾁｭｰﾝしたい... loss 曲線とか確認したい. でも streamlit なりで GUI 自前で作成するほど労力かけた