著者のAlberto Romero氏はスペイン在住のAI技術批評家で、同氏の鋭い洞察に満ちた記事のいくつかはAINOWでも紹介して来ました。同氏が2022年6月末にMediumに投稿した記事『BLOOMはここ10年で最も重要なAIモデルだ』では、大規模言語モデルBLOOMの開発経緯とその革新性が解説されています。 2022年7月12日に正式リリースされた言語モデルBLOOM(BigScience Language Open-science Open-access Multilingualの略称)は、アーキテクチャから見ればGPT-3と同じTransformerベースであり、パラメータ数は1750億のGPT-3より少し多い1760億である月並みなモデルです。 BLOOMの革新性を明らかにするために、まずRomero氏はGTP-3のような現代を代表する大規模言語モデルに共通する特徴をまとめます