EleutherAI - GPT-Neo

GPT-Neo is the code name for a series of transformer-based language models loosely styled around the GPT architecture that we plan to train and open source. Our primary goal is to replicate a GPT-3 sized model and open source it to the public, for free. Along the way we will be running experiments with alternative architectures and attention types, releasing any intermediate models, and writing up

[knok]

同じコーパス用意するのほぼ無理な気がするけど同等のサイズ感を再現するのなら頑張ってほしい

[misshiki]

“私たちの主な目標は、GPT-3サイズのモデルを複製し、無料で公開することです。”

[hnishi2509]

へーこんなプロジェクトが動いている。GPT-3 と同規模のモデルを学習して public に提供しようとしている。GPT-3 が MS に独占されている今、すばら。 "Our primary goal is to replicate a GPT-3 sized model and open source it to the public, for free. "