はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
先日OpenAIより発表されたGPT-4が話題ですが、同タイミングで公表されたTechnical Reportを読んでみたところ、全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめてみました。 https://arxiv.org/pdf/2303.08774.pdf サマリ GPT-4のリリースに向けて、OpenAIでは安全性を評価するために50人超の専門家らを含む"レッドチーム"を結成。2022年8月から8ヶ月に渡ってリスクの評価とその軽減に向けたチューニングを実施してきた リスク評価における実験の中には「自身をコピーするプログラムを実行できるGPT-4が自己増殖をしないか確認する」と
生成系AI(ChatGPT, BingAI, Bard, Midjourney, Stable Diffusion等)について
各種方針等 arrow_forward_ios生成系AIについて 生成系AI(ChatGPT, BingAI, Bard, Midjourney, Stable Diffusion等)について 2023年4月3日 東京大学理事・副学長（教育・情報担当） 太田 邦史 この半年ほどの期間で、生成系人工知能(Generative AI)が複数発表され、社会的に大きな注目を集めています。基本的には、インターネット上などに存在する既存の文章や画像イメージを大量に機械学習し、これに強化学習を組み合わせなどして、一定レベルの品質の文章や画像を生成するシステムです。とくに、2022年11月に公開され、話題になった大規模言語モデルChatGPTはバージョンが更新され、最新のGPT-4では生成される文章などの質や正確性が著しく向上しています1。 これらの生成系AIは、平和的かつ上手に制御して利用すれば、人類の
差別をなくすために差別を温存している？ 『「社会正義」はいつも正しい』の読みどころを訳者・山形浩生が解説！｜Hayakawa Books & Magazines（β）
差別をなくすために差別を温存している？ 『「社会正義」はいつも正しい』の読みどころを訳者・山形浩生が解説！ 「白人は、白人というだけで人種差別的である」 「病気や障害を治療・予防しようとする試みは、当事者への憎悪に基づいている」 「映画の中で黒人女性キャラクターを力強いタフな人物として描くのは黒人差別（だが、弱く従属的な存在として描くと女性差別）」 ――ほんとうに？ 現代世界を席捲する「社会正義」の根拠を問う全米ベストセラー『「社会正義」はいつも正しい 人種、ジェンダー、アイデンティティにまつわる捏造のすべて』（ヘレン・プラックローズ、ジェームズ・リンゼイ：著、山形浩生、森本正史：訳、早川書房）。11月16日の刊行に先立ち、山形浩生氏による「訳者解説」を全文公開します。 『「社会正義」はいつも正しい』早川書房訳者解説１ はじめに本書はHelen Pluckrose and James Li
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
30分で完全理解するTransformerの世界
GPT-4はどのようにして「不適切な回答」を回避するように学習されているのか - Qiita