OpenCALM-7BをLoRAでFine tuningして対話ができるようにする｜masuidrive
ちょっと出遅れたけど、サイバーエージェントが出したGPT-NeoXベースのLLM、OpenCALM-7BをGoogle Colab上でLoRA使ってFine tuningをしてみました。 とりあえず対話を試したい人masuidrive/open-calm-instruct-lora-20230525-r4-alpha16-batch32-epoch1 に1 epoch回したLoRAを置いておきます。 Google Colabで試したい人はV100やA100のハイメモリで動かしてください。OpenCALM-7Bのshardが10GB単位なため、12GBの標準メモリでは動きません。transformersのloaderがもう少し賢ければ、T4の標準メモリでも動くと思うんだけど・・・ なぜFine tuningをするのかOpenCALM-7Bは基礎モデルなので日本語やWikiPediaの内容など
Docker on M1 macでRails/Nuxt開発環境を試す（だいたい動いた｜masuidrive
これでついにM1 MacbookAirを開発機として使えるようになります！多分。 先日、DockerのAppleSilicon対応版がDeveloper Preview Program(要ユーザ登録)で公開されたので早速試してみました。 インストールは特別なことなくD&Dするだけ。まずはターミナルからalpineを起動してみます。 $ docker run -it --rm alpine sh / # uname -a Linux 1bf5d756f216 4.19.104-linuxkit #1 SMP PREEMPT Sat Feb 15 00:49:47 UTC 2020 aarch64 Linux / # あっさり動きました。CPUはaarch64＝ARMとして認識してます。 次にInter Macで動いていたRails & Nuxtのプロジェクトをビルドしてみます。 $ dock
"Product Founder"としてトレタから独立します｜masuidrive
このたび、2018/10/15をもって、創業から携わってきたトレタから独立し、"Product Founder"として、トレタ以外の仕事にも広く関わることにしました。私の新しい役割についてはレジュメとして別ページにまとめましたので、ご覧いただけると嬉しいです。 創業から5年がたち、おかげさまでトレタをお使いの店舗数は12,000以上、社員も130人の規模になりました。私もこれまで、こうして大きくなったトレタでどんなバリューを発揮すべき・できるのか、自分の立ち位置を模索してきました。今年の春にはCTOを降りて事業開発部付の技術部長となり、主に新規企画の立ち上げに関わってきました。 しかしその間も「自分の強みを活かしてトレタに貢献していくためにはどういう形態がいいのか」「そもそも自分の強みとはなんなのか」ということを考え続けてきました。 そこで出た結論は「自由な立場で、ムダに動き、面白い事を見
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
