全てのTransformer記事はTransformerから始まる「Transformer」概要2017年中旬、Googleが発表した論文「Attention is all you need」で提出されたモデル「Transformer」は、深層学習の自然言語処理(NLP)分野でいまはデファクトスタンダードとして使われています。Transformerは要するに、過去の自然言語処理(NLP)で多く使われる再帰型ニューラルネットワーク(RNN)や畳み込みニューラルネットワーク(CNN)を「Self-Attention Layer」に入れ替えたモデルです。 それ以降、大抵の自然言語処理(NLP)分野で発表された研究や論文は、Transformerで再構築して発表されています。期待を裏切らなく、再構築されたモデルの結果は、以前の結果を上回っています。 Transformerは2017年に公開され、今

本講座は、学生を対象とした、Deep Learningを用いた自然言語処理に特化した全3回・3週間のサマースクールです。東京大学Deep Learning基礎講座・応用講座を公開してきた松尾研究室が、松尾研究室発スタートアップである ELYZA（イライザ） による全面協力のもと提供するものです。実践的な演習を通して、効率的に学習を進め，手を動かしながら技術を深く理解し，幅広いトピックを網羅します。それによって、Deep Learningを用いた自然言語処理の研究のスタートラインに立てるレベルの知識・実装力の習得を目指します。分散表現・言語モデルから始まり、RNN・CNN・Attentionに触れ、現在の概観を学ぶことができます。

フォルシア株式会社（本社：東京都新宿区、代表取締役社長：屋代 浩子、以下フォルシア）は、丸紅株式会社（所在地：東京都中央区日本橋、代表取締役社長：柿木 真澄、以下丸紅）とこのほど自然言語処理技術を活用した次世代ビジネスの創出を目指して、研究者向けの論文検索技術の実用化に向けた実証実験を行うことをお知らせします。 昨今の日本では、論文数や被引用回数のシェア率が低下傾向にあり（※1）、研究力、引いては国際競争力の衰退が叫ばれています。研究者のメイン業務である論文作成には競合の動向調査や知識修得のため、論文による情報収集が不可欠ですが、近年、研究開発以外の活動に時間を取られるようになり、その情報収集に割ける時間が縮小していることが明らかになっています（※2）。一方で、情報収集の対象となる論文数は、年間発表数ベースで75万件（2001年）から150万件（2017年）とおよそ2倍（※3）に増加してお

はじめに これまでに提案されてきたNLPモデル一つ一つについて詳しく知りたかった＆改良の歴史を知りたかったため、特に有名だと思われるものをまとめました。MikolovらによるRNNLM以降を対象としています。 注）提案年については主にarXivのSubmission historyを参照しています。詳細な日付まで分からなかったものもあります。 代表的なNLPモデル・アルゴリズム一覧 RNNLM 提案年：2010 提案者：Tomáš Mikolov1,2, Martin Karafiát1, Lukáš Burget1, Jan “Honza” Černocký1, Sanjeev Khudanpur2 提案者所属： 1Speech@FIT, Brno University of Technology, Czech Republic 2Department of Electrical and

SummaryIn this article, using NLP and Python, I will explain 3 different strategies for text multiclass classification: the old-fashioned Bag-of-Words (with Tf-Idf ), the famous Word Embedding (with Word2Vec), and the cutting edge Language models (with BERT).

この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built