Abstract• Transformer モデルをテキスト生成タスクで使用する場合、計算コストに難がある • 計算コストを抑えつつ Transformer の予測性能を活かすために、Positional Encoding を LSTM に置き換えた LSTM+Transformer モデルを考案 • 生成にかかる時間を Transformer の約 1/3（CPU 実行時）に抑えることができた はじめにTransformer は現在の自然言語処理分野における代表的な深層学習モデルの1つです。さまざまなベンチマークを総なめにした Google の BERT とその派生系 (XLNet, ALBERT, etc.) や、OpenAI の GPT-2 など、最近の研究のベースにあるのが Transformer です。 Transformer の特徴として、LSTM などの従来の RNN にあっ

「gpt2-japanese」の「mediumモデル」が公開されたので、AIによる日本語テキスト生成を試してみました。 1. gpt2-japaneseのインストール (1) Google Colabのノートブックを開く。 (2) メニュー「編集→ノートブック→ハードウェアアクセラレータ」で「GPU」を選択。 (3) 以下のコマンドで、「gpt2-japanese」をインストール。 # gpt2-japaneseのインストール !git clone https://github.com/tanreinama/gpt2-japanese %cd gpt2-japanese !pip install -r requirements.txt2. モデルのダウンロード「mediumモデル」を「gpt2-japanese」フォルダにダウンロードします。 # mediumモデルのダウンロード !wge

"Bios robotlab writing robot" by Mirko Tobias Schaefer under CCA2.0 本記事は、2020年10月に執筆したNLGに関する記事で、現在の生成AIにつながるポテンシャルを論じています。生成AIに関しては以下の記事を参照ください。 AIの驚異的な進化とNLP AI、特に機械学習・深層学習ベースのAIは様々な領域で驚異的な性能を達成し、成果をもたらしています。当初は、CV（Computer Vision： 画像認識）の分野で著しい進歩がありましたが、近年は、言語を扱うNLP（Natural Language Processing： 自然言語処理）の分野において、目覚ましい進化を遂げています。 NLPに関連して、現在、NLG というキーワードが語られることが増えてきました。NLGは、NLPの中で新しく意識され始めているサブカテゴリーで

1.はじめに 今年の４月、「ゼロから作るDeep Learning3 フレームワーク編」が発売されました。ゼロ作は１・２と読んでいて大変勉強になったので、今度はフレームワーク編に挑戦することにしました。 ということで最近本を購入したのですが、１ステップづつ勉強を始める前に、まずフレームワークの全体像をザッと知るために、とりあえずコードを書いてみようと思いました。 Githubにある DeZero のライブラリー と example を参考に、本をパラパラ見ながら自然言語処理の簡単なコードを google colab 上で書いてみたので、備忘録として残します。 なお、コードは Google Colab で作成し Github に上げてありますので、自分でやってみたい方は、この「リンク」をクリックし表示されたシートの先頭にある「Colab on Web」ボタンをクリックすると動かせます。 2.

arXiv link Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens of thousands of examples. By contrast, humans can generally perform a new language task from

OpenAIは、その機械学習技術を使って企業がテキストを生成、分析、処理することで収入を得る初の商用サービスを6月に開始した。マイクロソフトのクラウドプラットフォームAzureからAPI経由で同社が開発したテキスト生成器「GPT-3」を利用できる。 OpenAI APIは、今のところ、実験に興味のある企業や学術関係者にベータ版として提供されているに過ぎない。サービスへの2ヶ月間の無料アクセスを提供しています。APIは、言語翻訳、質問と回答、テキストの生成と要約など、さまざまなタスクを実行する。 2019年の春、人工知能研究機関OpenAIは、フェイクニュース記事を含むテキストを生成するのに非常に優れたソフトウェア「GPT-2」を作ったが、それは公開するにはあまりにも危険だと述べた。しかし、大学院生二人がソフトウェアを再現したとき、OpenAIはオリジナルのものをリリースし、商業化への道筋が

Builder な皆様、こんにちは！機械学習ソリューションアーキテクト呉です。いかがお過ごしでしょうか。 日に日に暑さが増してきておりますね。暑くなると皆様は何を思い出しますか ? 私は夏休みの読書感想文を思い出します。 本を読むのが大嫌いだった私は、苦痛で仕方がありませんでした。 そんなことを思い出したら、 「Amazon Comprehendを使えば、本を読まずに読書感想文を書けるのでは !?」 と、思ったので試してみました。

Thumbnail-photo by Darren Chan on Unsplash コロナ禍でリモートワークが徐々に浸透するなか、インターネットはより身近な存在になってきている。 日本の広告費全体におけるインターネット広告の割合（電通報）は2019年で30％を超えた。広告業界もインターネット戦略を無視できない状況になっているのは必然だ。 そんななか、サイバーエージェントは5月22日にインターネット広告をAIと共につくる極予測シリーズを発表した。 全体の7割を占めるディスプレイ広告と検索連動型広告インターネット広告のなかでも、全体のうち3割はディスプレイ広告、4割は検索連動型広告が占めている（2019年時点）。 ディスプレイ広告とは、俗にいうバナータイプ広告のことで、ウェブサイトの側面やトップに貼られているのがそれだ。 右上の弊社ディスプレイ広告 検索連動型広告とは文字通り、ユーザーが検索

非常に精度の高い文章を生成できるため「あまりにも危険過ぎる」と危惧されていた言語モデル「GPT-2」の開発元である「OpenAI」が、次世代文章生成言語モデルの「GPT-3」を用いたAIモデルが利用可能になるAPIを発表しました。これにより、OpenAIのAIモデルを製品に組み込んだり、AIモデルを駆使した新しいアプリケーションを開発したりすることが可能になります。 OpenAI API https://openai.com/blog/openai-api/ OpenAI to sell its headline-grabbing text generator as an API https://thenextweb.com/neural/2020/06/11/openai-to-sell-its-headline-grabbing-text-generator-as-an-api/ Op

人間が書いたものと見分けが付かないぐらいに精度の高い文章を生成できる言語モデル「GPT-2」の後継である「GPT-3」が、人工知能を研究する組織・OpenAIにより公開されました。 GitHub - openai/gpt-3: GPT-3: Language Models are Few-Shot Learners https://github.com/openai/gpt-3 [2005.14165] Language Models are Few-Shot Learners https://arxiv.org/abs/2005.14165 OpenAI debuts gigantic GPT-3 language model with 175 billion parameters https://venturebeat.com/2020/05/29/openai-debuts-giga

人工知能（AI）の重要分野であるNLP（自然言語処理）。その活用分野として最も大きな潜在力を秘めているのがAIライティング（自動作文）だ。中国でも2015～16年にかけてテンセント、新華社、バイトダンス傘下のニュースアプリ「今日頭条（Toutiao）」が報道分野でこの技術を活用するようになったが、ここでの競争のカギを握ったのが、AIライティングの独創性と読みやすさだった。こうした中で注目されるの

サイバーエージェントは、検索されたキーワードに応じてテキスト広告を表示する「検索連動型広告」の広告文を自動生成するサービスを提供する。これまでは主に手動で広告文を設定していたが、人工知能（AI）を用いて自動生成する。大量のキーワードに対して広告効果が高い文章を設定できるという。年内には全ての広告文をAIが生成したものに変える。サイバーは「極TD」と呼ぶサービスを提供する。AIが設定されたキーワ