超巨大高性能モデルGPT-3の到達点とその限界｜akiraTOSEIこの記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット＋巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。 GPT-3では、さらに巨大なデータセット＋さらに巨大なネットワークで言語モデルを構築し、数十のサンプルを見せると凄く良い結果が得られた 一方、様々なタスクに言語モデルのスケールアップのみで対応することへの限界が見えてきた。人種、性別、宗教などへの偏見の問題や、悪用に対する課題もある。 この記事の流れは以下の通りです。 1. Transformer, GPT-2の説明 2. GPT-3のコンセプトと技術的な解説 3. GPT-3ので上手くいくタスク 4. GPT-3で上手くいかないタスク 5. 偏見や悪用への見解 ※ 有料設定していますが、投げ銭用の設定なの
