超巨大高性能モデルGPT-3の到達点とその限界. この記事では、超巨大言語モデルGPT-3の技術的な解説、GPT-3達成したことと… | by akira | Jul, 2020 | Medium
この記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット＋巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。GPT-3では、さらに巨大なデータセット＋さらに巨大なネットワークで言語モデルを構築し、数十のサンプルを見せると凄く良い結果が得られた一方、様々なタスクに言語モデルのスケールアップのみで対応することへの限界が見えてきた。人種、性別、宗教などへの偏見の問題や、悪用に対する課題もある。この記事の流れは以下の通りです。 Transformer, GPT-2の説明GPT-3のコンセプトと技術的な解説GPT-3ので上手くいくタスクGPT-3で上手くいかないタスク偏見や悪用への見解 Transformerまず、GPT-3の前身となったGPT-2に入る前に、その中に使われ
「GPT-3」は思ってたより「やばい」ものだった。話し言葉でプログラミングまでこなすAI - CUBE MEDIA
このサイトを立ち上げて、執筆するとき、いくつか心のなかで決めたことがありました。 その中の一つに「タイトルで”やばい”という言葉は使わないようにしよう」というものがあります。まとめサイト等で、対して大きな事件でもないものを「やばすぎるｗｗｗ」等と囃し立ててアクセスを取る行為が嫌いだったからです。 しかしその禁を今日破ります。「GPT-3」は、私が思っていた以上に「やばい」代物でした。 もちろん「ライターが要らなくなる」とか「１ヶ月後にはロボットが秘書になる」とか、そういった大げさなものではありませんが、 思ったより早く「AI社会」の片鱗が落ちてきた、という印象です。 まだ多くの方は「GPT-3」という単語を聞いたことがないかもしれません。GPT-3は「Generative Pretrained Transformer」の頭文字を取ったもので、1750億個のパラメータを使用した「文章生成言語
半分だけの画像でも全体像を自動生成するAIをOpenAIが発表 | Ledge.ai
Thumbnail photo on openai.com 画像AIの発展が止まらない。 画像認識からブレイクスルーが起こった画像AIは、画像自動生成の分野でも発展を続けている。以前紹介した、モザイクから元画像に類似する高画質画像を自動生成する技術も興味深かったが、今回はまた別の技術を紹介したい。 SpaceXなどで有名なイーロン・マスク氏が共同会長を務める、米国の非営利研究団体OpenAIは、半分の画像を入力するだけで残りの半分を自動生成する技術を発表した。類似研究と違う点は、文章を分析する自然言語処理の技術を転用しているところだ。 文章生成に長けたGTP-2モデルを画像生成に応用 今回OpenAIが発表した技術には、GPT-2モデルが使われている。GPT-2モデルは、OpenAIが2019年に発表した自然言語処理のモデルだ。このモデルはインターネット上にあるウェブページを800万ページ
AIが「架空のモデル画像」を生成 広告・ポスターで利用可能 スキャンダルでの降板リスクをゼロに
写真素材の販売などを手掛けるイメージナビは6月8日、AIが実在しないモデルの画像を生成するサービス「INAI MODEL」を始めた。画像を購入した企業は、架空のモデルをWeb広告やポスターなどに起用できる。モデルとの契約期間を気にせず永久に画像を使える他、モデルがスキャンダルを起こすリスクがなく、差し替えが発生しないのが特徴。 当初は若い女性の画像のみ生成・販売し、今後は男性やシニアにも対応する予定。同じモデルが異なるポーズをとっている画像や、異なるモデルが同じポーズをとっている画像なども生成できる。著名人に似せたモデルは作成しない。 サービス開発にはAIベンチャーのデータグリッドが協力。画像を生成するAIと画像を評価するAIを敵対させ、精度を向上させる技術「GAN」（敵対的生成ネットワーク）を利用する。 モデル画像を生成する際は、イメージナビが利用許諾を得た上で実在する人物の写真を撮影。
エンジニア以外も「AIの仕組み」を学ぶべき理由 機械学習とディープラーニングの違いは？
エンジニア以外も「AIの仕組み」を学ぶべき理由 機械学習とディープラーニングの違いは？：よくわかる人工知能の基礎知識（1/4 ページ） 本連載で解説してきたように、AI（人工知能）といってもそれが何を意味するのか、またAIをどのように実現するかの答えは1つではない。とはいえ、昨今の「このサービスは人工知能を活用しています」という説明は、機械学習もしくはディープラーニングのことを指していると考えていいだろう。 ビジネスでのAI活用を考える上で、これらの用語の基本的な意味や、何ができるかを把握しておくことは重要だ。これは開発に関わるエンジニアだけでなく、経営者や現場担当者にも当てはまる。そこで今回は、いまのAIブームをけん引する2つのキーワードについてあらためて解説してみたい。 連載：よくわかる人工知能の基礎知識 いまや毎日のようにAI（人工知能）の話題が飛び交っている。しかし、どれほどの人が
AI時代のキャリア形成 仕事を奪われない人材になるには？
AI時代のキャリア形成 仕事を奪われない人材になるには？：よくわかる人工知能の基礎知識（1/4 ページ） AIは人間の仕事を奪うのか――AIをめぐる議論の中で、最も古く、最も頻繁に言及される問いの一つではないだろうか。 AIではないが、ロボットという言葉を生んだ戯曲「R.U.R.」（チェコの作家カレル・チャペックによる1920年の作品）は「ロボットが人間に対して反旗を翻す」というストーリーだ。人間は100年近く前から「機械が私たちに取って代わるのではないか」という不安を抱いてきたといえる。 R.U.R.発表から1世紀が経とうとしている今も、幸いにして私たちは機械に乗っ取られていない。また本連載の第6回で解説したように「強いAI」、すなわちどのようなタスクも実行できる汎用的なAIの登場は、しばらく先の話になりそうだ。 とはいうものの、英オックスフォード大学のマイケル・オズボーン准教授らが20
AIが瞬時に株取引、為替暴落の危険も 金融業界で進むAIの取り組み
金融は、他の業種に比べてAI活用が進んでいる業界だ。現代社会の根幹を成す業界で、長い歴史と伝統があり、政府による厳しい規制の対象にもなっている。それだけに、最新技術の導入が一筋縄ではいかない業界でもあるが、AIは着実に金融業界を進化させつつある。 連載：よくわかる人工知能の基礎知識 いまや毎日のようにAI（人工知能）の話題が飛び交っている。しかし、どれほどの人がAIについて正しく理解し、他人に説明できるほどの知識を持っているだろうか。本連載では「AIとは何か」といった根本的な問いから最新のAI活用事例まで、主にビジネスパーソン向けに“いまさら聞けないAIに関する話”を解説していく。 （編集：村上万純） AI活用が進む金融業界 まずは、この業界におけるAIの導入状況を見てみよう。金融業界は必ずしも「最新技術がいち早く活用される」ような領域ではないが、労働集約的な業務に携わる人も多く、知的作業
通信インフラの監視やコーディングも自動化 情報・通信業界のAI活用
本連載では、AIの具体的な活用法について、業界・分野別に整理している。今回は、情報・通信の分野の取り組みを紹介したい。情報・通信業界はAIを実現・構築する側というイメージが強いかもしれないが、もちろん利用する側としてもさまざまな事例が生まれている。 連載：よくわかる人工知能の基礎知識 いまや毎日のようにAI（人工知能）の話題が飛び交っている。しかし、どれほどの人がAIについて正しく理解し、他人に説明できるほどの知識を持っているだろうか。本連載では「AIとは何か」といった根本的な問いから最新のAI活用事例まで、主にビジネスパーソン向けに“いまさら聞けないAIに関する話”を解説していく。 （編集：村上万純） 顧客対応の自動化と高度化 他の業界と同様に、通信業界でも多くの企業が顧客対応にチャットbotの導入を進めている。例えば英国の通信事業会社Vodafoneは、2017年に英国の通信会社として
なぜクラウドではダメなのか？ いま「エッジAI」が注目されるワケ
近年、AI業界では「エッジAI」という言葉が注目を集めている。しかし、その内容を具体的に説明できる人は恐らく多くないだろう。本記事では、エッジAIとは何なのかという基本的な内容やそのメリット、活用できる領域などについて解説していきたい。 連載：よくわかる人工知能の基礎知識 いまや毎日のようにAI（人工知能）の話題が飛び交っている。しかし、どれほどの人がAIについて正しく理解し、他人に説明できるほどの知識を持っているだろうか。本連載では「AIとは何か」といった根本的な問いから最新のAI活用事例まで、主にビジネスパーソン向けに“いまさら聞けないAIに関する話”を解説していく。 （編集：村上万純） クラウドとエッジの違い エッジAIは、「エッジコンピューティング」（Edge Computing）をAIに応用したものなので、まずはエッジコンピューティングについて説明したい。 さまざまなモノにデータ
2020年は量子コンピュータ元年？ 実用化の可能性やAIとの関係を考える
今回は、世界各国でその開発に巨額の資金が使われている「量子コンピュータ」とAIの関係を考えてみたい。量子コンピュータはさまざまな分野に影響を及ぼすといわれている。その活用事例を見る前に、まずは量子コンピュータとは何なのかを解説したい。 連載：よくわかる人工知能の基礎知識 いまや毎日のようにAI（人工知能）の話題が飛び交っている。しかし、どれほどの人がAIについて正しく理解し、他人に説明できるほどの知識を持っているだろうか。本連載では「AIとは何か」といった根本的な問いから最新のAI活用事例まで、主にビジネスパーソン向けに“いまさら聞けないAIに関する話”を解説していく。 （編集：村上万純） 量子の世界と量子コンピュータ 量子コンピュータとは何かという話に入る前に、それを実現する土台となっている量子力学の世界を整理する。 鉄や銅といった、何らかの物質を細かく分解していく作業を想像してほしい。
AIの攻撃をAIで防御、サイバーセキュリティの“いたちごっこ”最新事情
AIの攻撃をAIで防御、サイバーセキュリティの“いたちごっこ”最新事情：よくわかる人工知能の基礎知識（1/4 ページ） コンピュータシステムや端末に何らかの不正な働きかけをし、その利用者や所有者の利益に反する行いをするサイバー攻撃。その歴史は古く、今から30年以上前の1989年には、既に現在のランサムウェアに相当するものが登場している（インターネットではなくフロッピーディスクを通じて拡散されたそうだ）。それ以来、DDoS攻撃や標的型攻撃など、その数や種類は大幅に増えており、もはや人間だけで対処するのが難しいレベルに達している。 サイバー攻撃の増加と多様化によって、セキュリティ人材も不足してきている。高度化した攻撃に対抗するには高度な知識と経験が要求されるため、そうした人材を一朝一夕に増やすわけにもいかない。その意味でも、現在のセキュリティ対策には機械による自動化が欠かせなくなっている。 こ
AIがデジタルトランスフォーメーションの起爆剤に？ “ミニDX”から始める企業変革
AIがデジタルトランスフォーメーションの起爆剤に？ “ミニDX”から始める企業変革：よくわかる人工知能の基礎知識（1/4 ページ） ビジネスの世界ではさまざまなバズワードが生まれるが、ここ数年でよく聞くようになった言葉が「デジタルトランスフォーメーション」（Digital Transformation）だろう。DXと略されることも多いこの言葉は、文字通り「デジタル技術による変革」を意味し、新しく登場したIT技術を使って社会やビジネスを変えていくことを意味する。調査会社の米International Data Corporation（IDC）は、DXに対する全世界での支出が2023年までに5.3兆ドルに達すると予測している（2019年10月時点）。今回は、それほど大きく注目されるDXとAIの関係を考えてみよう。 連載：よくわかる人工知能の基礎知識 いまや毎日のようにAI（人工知能）の話題が飛
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
