Abstract• Transformer モデルをテキスト生成タスクで使用する場合、計算コストに難がある • 計算コストを抑えつつ Transformer の予測性能を活かすために、Positional Encoding を LSTM に置き換えた LSTM+Transformer モデルを考案 • 生成にかかる時間を Transformer の約 1/3（CPU 実行時）に抑えることができた はじめにTransformer は現在の自然言語処理分野における代表的な深層学習モデルの1つです。さまざまなベンチマークを総なめにした Google の BERT とその派生系 (XLNet, ALBERT, etc.) や、OpenAI の GPT-2 など、最近の研究のベースにあるのが Transformer です。 Transformer の特徴として、LSTM などの従来の RNN にあっ

「gpt2-japanese」の「mediumモデル」が公開されたので、AIによる日本語テキスト生成を試してみました。 1. gpt2-japaneseのインストール (1) Google Colabのノートブックを開く。 (2) メニュー「編集→ノートブック→ハードウェアアクセラレータ」で「GPU」を選択。 (3) 以下のコマンドで、「gpt2-japanese」をインストール。 # gpt2-japaneseのインストール !git clone https://github.com/tanreinama/gpt2-japanese %cd gpt2-japanese !pip install -r requirements.txt2. モデルのダウンロード「mediumモデル」を「gpt2-japanese」フォルダにダウンロードします。 # mediumモデルのダウンロード !wge

3つの要点 ✔️その１ 高速・高精度な自然言語処理モデルELECTRAが登場 ✔️その２ 低精度なGeneratorにより入力を置換することで、文全体から効率的に学習を行う ✔️その３ RoBERTaの約1/4の学習量で同等の性能を発揮 ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS written by Kevin Clark, Minh-Thang Luong, Quoc V. Le, Christopher D. Manning (26 Sep 2019 (modified: 10 Mar 2020)) Comments: accepted by ICLR 2020 Subjects: Machine Learning (cs.LG); Machine Learning (sta

OpenAIは世界最大規模のAI「GPT-3」を公開した。GPT-3は言葉を生成するAIであるが、数少ない事例で言語能力を習得することができる。また、GPT-3は文章を生成するだけでなく、翻訳や質疑応答や文法の間違いの修正など、多彩な機能を習得する。AIの規模を大きくすることで、人間のように少ない事例で学習し、多彩な言語能力を身につけた。 GPT-3の概要 OpenAIはGPT-3について論文「Language Models are Few-Shot Learners」で、その機能と性能を明らかにした。GPT-3は世界最大規模のAIで1750億個のパラメータから構成される。GPT-3は言語モデル(autoregressive language model)で、入力された言葉に続く言葉を推測する機能を持つ。多くの言語モデルが開発されているが、GPT-3の特徴は少ない事例で学習できる能力で、こ

アレン人工知能研究所の研究者は、AI言語モデルから人種差別的、性差別的、またはその他の有害な反応を引き出すためのデータセット「RealToxicityPrompts」を作成し、モデルがこれらの反応を好むかどうかを測定する方法として試みた。実験では、現在の機械学習技術では有毒な出力を十分に防ぐことができず、より良いトレーニングセットとモデルアーキテクチャの必要性が強調されていることがわかったと主張している。 arXivに投稿された論文によると、モデルが訓練されたデータのバイアスを増幅することはよく知られている。データの一部は、性別、人種、宗教的な偏見が蔓延しているコミュニティからのものであることが多いため、これは言語領域では問題となる。AI研究会社OpenAIは、これが「いたずら」や「吸われた」などの単語を女性の代名詞の近くに置いたり、「イスラム教」を「テロリズム」のような単語の近くに置いた

【プレスリリース】発表日:2020年7月10日金融業界向け自然言語処理技術の検証開始～金融版BERTモデルの開発～株式会社NTTデータ（以下、NTTデータ）は、金融版BERTを用いた自然言語処理技術に関して、銀行や証券会社などの金融関連企業を募り、2020年7月以降順次、実証検証を開始します。金融版BERTとは、近年自然言語処理において注目を集めているBERT（注1）を、金融業界向けにNTT

はじめに 自然言語処理（Natural Language Processing: NLP）の文脈から誕生したTransformerはそのモデルのシンプルさにもかかわらず、大きな成果をあげることに成功しました。そのため、その後NLPにブレイクスルーをもたらしたBERTやGPT-2などのモデルはTransformerをもとにつくられています。現在（2020年）では、DETRなど最新の物体検出モデルにも使われるようになり、Transformerは機械学習を学ぶ上では避けて通ることができないモデル・アイディアであるといえるでしょう。 今回は、近年の最重要モデルといえるTransformerについて発表論文「All you need is attention」を中心に、その誕生背景からモデル概念まで一から解説したいと思います。 なお、今回の内容は以下の二つに大別されます。 ．Transformerが

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J. et al. (2018) GLUE: A MULTI-TASK BENCHMARK AND ANALYSIS PLATFORM FOR NATURAL LANGUAGE UNDERSTANDING, Wang, A. (2019) では、多様化・複雑化したクエリを理解するためにBERTを導入すると、Google検索はどのように変化するのでしょうか。 実際にGoogleはBERT導入前後の変化について、いくつか例を挙げています。 改善事例①■検索ワード：”parking on a hill with no curb”（縁石のない坂道に駐車） ■BERT導入前：それぞれの単語を個別に理解する従来のNLPでは、

こんにちは、Dajiroです。前回の技術記事を書いてからだいぶ日が空きました。本ブログでは機械学習に関する幅広い技術を解説しようと目論んでいるので、まだ扱ったことのない自然言語処理のネタををじっくりコトコト仕込んでいました。本記事では 単語埋め込み 語順の組み込み Self-Attention に焦点を当てながら、2値分類の一連のワークフローの解説と（若干の）実装をご紹介します！実装はこちらの書籍を参考にしました。2値分類を行うためのTransformerのエンコーダ部分が紹介されています。 つくりながら学ぶ！PyTorchによる発展ディープラーニング 作者:小川 雄太郎発売日: 2019/07/29メディア: Kindle版 Transformerとは？ 仕組みの概要 全体の流れ 1. 文章のベクトル化 2. 語順情報を追加 3.アテンションの計算 二値分類と結果の解釈 所感 Trans

自然言語処理の様々なツールがpythonで試せると聞いたので色々と遊んでみました。 アルゴリズムは全く見えませんが、ほんの数行で面白いことができるのは驚きです。 実行環境 Google ColabNotebook やってみたこと まずはtransformersをインストールし、必要なものを定義しておきます。 ＊transformersのソースはこちら import torch from transformers import pipeline sentiment_analysis = pipeline('sentiment-analysis') question_answering = pipeline('question-answering') fill_mask = pipeline("fill-mask") feature_extraction = pipeline("feature

A Quick Overview �to Unlock the Potential of LLMs �through Prompt Engineering

こんにちは。sinyです。 本記事では、Googleが2018年10月に発表した自然言語処理の手法であるBERTに関する情報を中心に2019年12月時点の状況についてまとめてみました。 本記事の内容は個人的に情報収集した情報のため、認識違い等ありましたらご指摘いただけると幸いです。 そもそもBERTとは？ BERTとは「Bidirectional Encoder Representations from Transformers」の略称です。 BERT自体は、BERTという特別なモデルが存在するのではなく、以下の２つの手法を組み合わせることによって実現したものをBERTと呼んでいます。 Attention Attentionについて非常に簡素に言うと、複数の入力のうち「どの入力を重要視するか」を決定するニューラルネットワークの手法で、これまでのすべての入力を重み付きで直接参照して関連性の強

日本語の単一テキストが与えられたときにクラス分類するシンプルなTensorflowのコードが欲しかったので作成 やりたいこと 日本語の単文が与えられたときにクラス分類したい． (計算効率とか，文章のペアで判定とかは，とりあえず置いとく) texts = [ "この犬は可愛いです", "その猫は気まぐれです", "あの蛇は苦手です" ] labels = [1, 0, 0] # 1: 好き, 0: 嫌い

BERTとは？特徴を知っておこう BERTとは「Bidirectional Encoder Representations from Transformers（Transformerによる双方向のエンコード表現）」を指し、2018年10月11日にGoogleが発表した自然言語処理モデルです。 BERTの特徴として、汎用性の高さが挙げられます。これは、WikipediaやBooksCorpusなどから得た大量の文章データを学習モデルが事前学習し、文章理解や感情分析などの様々なタスクに応用できるというものです。 例えば、感情分析タスクであれば、与えられた文から感情を読み取って「肯定的」か「否定的」かのどちらであるかという結果を出力できます。これを活かして、アルゴリズムが複数の映画レビューを参照し、その映画の平均的な評価を分析するというタスクを高精度で行っています。 また、BERTは、今後「文脈

この数年の自然言語処理で最も大きなブレークスルーはBERTと呼ばれる事前学習手法であろう。 これまで画像認識の分野ではImageNetの画像分類タスクで学習して得られたモデルを他のタスクの初期パラメータとして使う事前学習がよく使われてきた。事前学習によって、様々な画像認識を解くのに必要な特徴抽出器が既に得られており、新しいタスクを学習する場合にはそのタスクに固有の部分だけ学習すれば済むため、学習データが少ない場合には特に有効なアプローチである。 自然言語処理でも事前学習が有効なのではないかと以前から考えられていた。例えばWord2VecやGloveなどの単語表現の事前学習では、次の単語を予測するタスクを解くことで、各単語の連続なベクトル表現を得ることを可能とした。これらの連続表現は単語の意味を表し、そのベクトル上で様々な演算が可能であり、その表現を使うことでその後のタスクの性能を向上できる

はじめに 自然言語処理タスクでBERTをfinetuningして使うことが当たり前になってきました。Kaggleなどのコンペや精度要件がきつい案件を行う場合に少しでも精度を向上させたいというシーンが増えてくると考えられます。そこで、精度向上手法をまとめます。タスクとしては分類タスクを想定しています。 文字数調整 学習済みのBERTに入力可能な単語数は最大512個です。そのため、512単語以上のテキストを使用する場合は特別な工夫が必要となります。ここの処理方法の変更が精度向上に寄与することが多いので要チェックです。 例として次のテキストから6単語取得することを考えます（句点も1単語とします） 吾輩 / は / 猫 / で / ある / 。 / 名前 / は / まだ / ない / 。 1. Head-Tail 吾輩 / は / 猫 / で / ある / 。 / 名前 / は / まだ / な

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。