サマリー 我々は、誰でも歴史のあるオフザシェルフのオープンソース大規模言語モデル(LLM)を活用し、高品質トレーニングデータを用いて単体のマシンで30分トレーニングすることで、魔法のようなChatGPTのように指示に従う能力を提供できることを説明します。驚くべきことに、指示への追従には最新かつ最大のモデルは必要ないように見えています: GPT-3の1750億のパラメーターと比較して、我々のモデルは60億のパラメーターです。我々のモデル(Dolly)のコードをオープンソース化し、Databricks上でどのように再作成できるのかを示します。DollyのようなモデルによってLLMの民主化の助けとなって、限られた数社のみが購入できるような何かを、どの企業でも所有し、自身の製品を改善するためにカスタマイズできるようなコモディティになることを信じています。 背景 プロプライエタリの指示追従モデルであ
![Hello Dolly: オープンなモデルでChatGPTの魔法を民主化する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/120f99b59cf324144cb7dfda4f70db2b435d8bf3/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9SGVsbG8lMjBEb2xseSUzQSUyMCVFMyU4MiVBQSVFMyU4MyVCQyVFMyU4MyU5NyVFMyU4MyVCMyVFMyU4MSVBQSVFMyU4MyVBMiVFMyU4MyU4NyVFMyU4MyVBQiVFMyU4MSVBN0NoYXRHUFQlRTMlODElQUUlRTklQUQlOTQlRTYlQjMlOTUlRTMlODIlOTIlRTYlQjAlOTElRTQlQjglQkIlRTUlOEMlOTYlRTMlODElOTklRTMlODIlOEImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTY4ZTA4YmY2MGUyZWU2MGFmMmFhZWVjZGY2ZTVkNWYx%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwdGFrYV95YXlvaSUyMGluJTIwJUUzJTgzJTg3JUUzJTgzJUJDJUUzJTgyJUJGJUUzJTgzJTk2JUUzJTgzJUFBJUUzJTgzJTgzJUUzJTgyJUFGJUUzJTgyJUI5JUUzJTgzJUJCJUUzJTgyJUI4JUUzJTgzJUEzJUUzJTgzJTkxJUUzJTgzJUIzJUU2JUEwJUFBJUU1JUJDJThGJUU0JUJDJTlBJUU3JUE0JUJFJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzImdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0yYzUyYzQ0ZDU4MzNjN2NiM2ZjOGY4YmE3NzFlOGI2Mw%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Dc78d9291508a52f8c65082413eb18a83)