GPT-3.5世代のオープンな言語モデルを調べてみました。 本稿では以下の特徴をもって「GPT-3.5世代」の言語モデルと定義しました。 ChatGPT等(text-davinci-003、gpt-3.5-turbo)の登場した2022年11月以降に登場 GPT-3と同様にテキスト生成ができる言語モデル GPT-3(text-davinci-003等)を主なベンチマークにしたり、学習に利用したりしている 「オープンな言語モデル」としていますが、本稿では以下いずれかを満たしていればオープンな言語モデルとします。一般的なオープンソース・ソフトウェアの定義等とは少し異なります。 学習済モデルが公開されている 学習データと学習用ソースコードが公開されており、学習済モデルの再現が可能である GPT-3.5世代のオープンな言語モデルの特徴 本稿で紹介するGPT-3.5世代のモデルには、以下のような特徴
![GPT-3.5世代のオープンな言語モデルを調べてみた - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/edf4f24d75b39d9cfeac87f31238fc55e69ae554/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9R1BULTMuNSVFNCVCOCU5NiVFNCVCQiVBMyVFMyU4MSVBRSVFMyU4MiVBQSVFMyU4MyVCQyVFMyU4MyU5NyVFMyU4MyVCMyVFMyU4MSVBQSVFOCVBOCU4MCVFOCVBQSU5RSVFMyU4MyVBMiVFMyU4MyU4NyVFMyU4MyVBQiVFMyU4MiU5MiVFOCVBQSVCRiVFMyU4MSVCOSVFMyU4MSVBNiVFMyU4MSVCRiVFMyU4MSU5RiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZDE1NTIxYzEwOTJjN2YyZWM2ODhhMjI5MjdmZDJkYzI%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwc3V6dWtpX3NoJTIwaW4lMjAlRTYlQTAlQUElRTUlQkMlOEYlRTQlQkMlOUElRTclQTQlQkUlRTMlODIlQTglRTMlODIlQTQlRTMlODMlODElRTMlODMlQkMlRTMlODMlQTAlRTMlODMlQTklRTMlODIlQTQlRTMlODMlOTUlRTMlODMlODclRTMlODIlQjYlRTMlODIlQTQlRTMlODMlQjMmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zMiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTAyMjhmM2U1YmM3Yzc1Yjk3YWIzYTVlOTQ3ZTA3Y2Rk%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D08909ba38bee51d1d9fd2d746c002520)