マイクロソフトが10億トークンを扱える「LongNet」を発表 大規模言語モデルの最前線はどこへ向かう？

マイクロソフトが10億トークンを扱える「LongNet」を発表 大規模言語モデルの最前線はどこへ向かう？ AIの進歩は日進月歩。そのトップを走る企業の一角が『ChatGPT』を開発したOpenAIとパートナーシップを組み、AI搭載の検索エンジン『Bing』『Microsoft Edge』を運営する米マイクロソフトであることに間違いはありません。 そんな同社は2023年7月にも、「LongNet」「RetNet」という、大規模言語モデルやその基礎アーキテクチャとなる深層学習モデルについての論文を発表し、話題を呼びました。本記事ではそれらを中心に、AI開発研究の最前線についてリポートします。 「LongNet」とは？──なぜ注目を集めているのか、何ができるようになるのか 2023年7月6日に発表された「LongNet」は、現在の深層学習モデルのデファクトスタンダードである「Transforme