Kaggleで学んだBERTをfine-tuningする際のTips⑥〜LLMでも使える学習効率化編〜 | 株式会社AI Shift
こんにちは！ AIチームの戸田です 本記事では私がKaggleのコンペティションに参加して得た、Transformerをベースとした事前学習モデルのfine-tuningのTipsを共有させていただきます。 以前も何件か同じテーマで記事を書かせていただきました。 Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編Kaggleで学んだBERTをfine-tuningする際のTips②〜精度改善編〜Kaggleで学んだBERTをfine-tuningする際のTips③〜過学習抑制編〜Kaggleで学んだBERTをfine-tuningする際のTips④〜Adversarial Training編〜Kaggleで学んだBERTをfine-tuningする際のTips⑤〜ラベルなしデータ活用編〜 今回は学習効率化について書かせていただきます。このテーマは以前書かせ
Kaggleで学んだBERTをfine-tuningする際のTips⑤〜ラベルなしデータ活用編〜 | 株式会社AI Shift
こんにちは！AIチームの戸田です！ 本記事では私がKaggleのコンペティションに参加して得た、Transformerをベースとした事前学習モデルのfine-tuningのTipsを共有させていただきます。 以前も何件か同じテーマで記事を書かせていただきました。 Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編 Kaggleで学んだBERTをfine-tuningする際のTips②〜精度改善編〜 Kaggleで学んだBERTをfine-tuningする際のTips③〜過学習抑制編〜 Kaggleで学んだBERTをfine-tuningする際のTips④〜Adversarial Training編〜 今回はラベルなしデータの活用について書かせていただきます。 世の中の様々な問題を、蓄積された大量のデータを使った教師あり学習で解こうとする試みは多くなされてい
はじめに 「現場で使える! Python自然言語処理入門」と「最短コースでわかる PyTorch &深層学習プログラミング」の著者です。 「現場で使える! Python自然言語処理入門」では、本の一番最後にBERTの簡単な解説をしています。ただ、この執筆したときには、BERTは本当にまだできたてで、ライブラリなどもほとんどなかったため、残念ながら実習を入れることができませんでした。 このあたりの最新状況を調べ直したところ、今ではいろいろとライブラリができあがっていることがわかりました。自分の備忘録を兼ねて、最新状況を反映した実習プログラムを作ってみたので、その結果を連携します。 本当はWord2Vecのサンプル※のように「15分でできる」としたかったのですが、バリバリのディープラーニングのプログラムで全然無理そうだったのであきらめて「60分でできる」にしました。 ※「15分でできる日本語W
3つの要点 ✔️ 自然言語処理の中心的存在であるBERTのサーベイ論文の紹介 ✔️ BERTに関する研究の方向性、課題を2回にわけて網羅的に説明 ✔️ 今回はBERTが何を捉えているかを調べた研究を紹介 A Primer in BERTology: What we know about how BERT works written by Anna Rogers, Olga Kovaleva, Anna Rumshisky (Submitted on 27 Feb 2020) Comments: Published by arXiv Subjects: Commputation and Language(cs.CL) 近年の自然言語処理技術の発展を考える上でBERTと呼ばれるtransformerベースの事前学習言語モデルの存在は欠かすことができません。2018年に発表された当時、自然言語理
12月に毎日楽しみにすることと言えば、そう。これですね。 ▲ 今年はめちゃくちゃ美味しいシュトーレンを買って育てています こんにちは。データアナリティクス事業本部 インテグレーション部 機械学習チームのShirotaです。 これは「 クラスメソッド 機械学習チーム アドベントカレンダー 2022 」12/5（月）の記事となっております。 前日 12/4（日）の記事は以下よりご覧ください。Amazon Forecastがいい仕事をしております。 さて、私はこの12月を勝手に 自然言語処理強化月間 として、自然言語処理について学習したことを基礎的なことから中心に記事にしていく予定です。 予定なので、機械学習分野の別のことやクラウドで触れるマネージドなML系サービスを触った記事になることもあるかもしれませんが、基本的にはこの方針でやっていこうと思います。 早速いってみましょう！ そもそも自然言語
第3回UD研究会-日本語Universal Dependenciesのための事前学習済みTransformersモデル公開に向けて
第3回UD研究会-日本語Universal Dependenciesのための事前学習済みTransformersモデル公開に向けて
AI言語モデルは今--精度の進化、倫理、管理のあり方
George Anadiotis （Special to ZDNET.com） 翻訳校正： 村上雅章 野崎裕子 2022-05-12 06:30 統計によって理解度を定量化できるのだろうか。人工知能（AI）は倫理基準を満たしているのだろうか。いずれの疑問も表面的には同じくらい奇妙なものであり、その答えは同じくらいに明らかだ。しかし、AIのハイプが高まる中、この種の疑問は折に触れて何度も投げかけられるだろう。その答えを探る上で最先端の研究が助けとなるはずだ。 AI言語モデルと人間による選別 Gary N. Smith氏はMind Mattersへの投稿記事で、AI研究者らは数十年前に、極めて柔軟な人間の知性を模倣するコンピューターを構築するという目標をおおむね放棄し、有益な（つまり利益につながる）アルゴリズムを作り上げたと述べている。その上で、このような回り道が無理からぬものだったにもかかわ
はじめに 「XX分でできるBERT」シリーズ第二弾です。 (第一弾の記事はこちら → 60分でできるBERT(英語テキストの感情分析)) 今回は、事前学習モデルを使って、そのまま予測するので、学習が不要、よって、本当に10分かからずにBERTの予測モデルを動かすことができます。 Question-Answering予測とは BERTが活用できるテキスト分析のパターンの一つです。入力として「ヒントとなる一連のテキスト」と「そのテキストを前提とした質問」の対になる文をモデルに入力します。すると、モデルはヒントとなるテキストの特定の範囲を FromとToのインデックスで示します。 この範囲の文章が、質問への回答となっている仕掛けです。 BERTでは、このような振る舞いをする事前学習済みモデルがすでにできあがっていて、モデルをロードするだけで、学習なしに予測ができるというのです。本当なのか、早速試
目次 本記事はPyTorchを使って自然言語処理 $\times$ DeepLearningをとりあえず実装してみたい、という方向けの入門講座になっております。以下の順番で読み進めていただくとPyTorchを使った自然言語処理の実装方法がなんとなくわかった気になれるかもしれません。 PyTorchを使ってLSTMで文章分類を実装してみた PyTorchを使ってLSTMで文章分類を実装してみた（バッチ化対応ver） PyTorchでSeq2Seqを実装してみた PyTorchでAttention Seq2Seqを実装してみた PyTorchのBidirectional LSTMのoutputの仕様を確認してみた PyTorchでSelf Attentionによる文章分類を実装してみた PyTorchで日本語BERTによる文章分類＆Attentionの可視化を実装してみた ←イマココ はじめに
Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources
Google: BERT now used on almost every English query Google announced numerous improvements made to search over the year and some new features coming soon. BERT powers almost every single English based query done on Google Search, the company said during its virtual Search on 2020 event Thursday. That’s up from just 10% of English queries when Google first announced the use of the BERT algorithm in
I recently came across an interesting thread on Twitter discussing a hypothetical scenario where research papers are published on GitHub and subsequent papers are diffs over the original paper. Information overload has been a real problem in ML with so many new papers coming every month. If you could represent a paper as a code diff, many papers could be compressed down to <50 lines :) The diff wo
はじめての自然言語処理 ELECTRA（BERT の事前学習手法の改良）による固有表現抽出の検証 | オブジェクトの広場
今回は BERT における事前学習の改良手法である ELECTRA の検証です。ELECTRA はモデルサイズ、データ、計算量が同一条件であればオリジナルの BERT を凌ぐ性能とのことなので結果が楽しみなところです。事前学習をした後のファインチューニングは、いつも livedoor News Corpus の文書分類ばかりだったので、今回は固有表現抽出を試すことにしました。 1. はじめに 今回は BERT における事前学習の改良手法である ELECTRA 1 の検証です。 BERT に関しては 第3回 で取り上げていますが、トークン化が Sentencepiece である為、トークン単位での処理に難がありました2。今回は ELECTRA を試すにあたり、そのあたりの対応も入れ、 Megagon Labs さんから公開されている UD_Japanese-GSD v2.6-NE 3 を使っ
インフォマティクス、BERT日本語版事前学習モデルを公開
株式会社インフォマティクス（本社：川崎市幸区、代表取締役：齊藤大地）は、このたび、ディープラーニングを用いた言語モデルであるRoBERTa（A Robustly Optimized BERT Pretraining Approach）の日本語版事前学習モデルを公開しました。 ◆背景 インフォマティクスはこれまで、画像処理・自然言語処理・時系列解析等、さまざまなAI・機械学習技術を用いたソリューションをお客様に提供してまいりました。 このたび、弊社が持つ技術力をより広く認知していただくこと、および社会貢献の一環として、所有するAI・機械学習技術の中から、自然言語処理に関する技術の一部を公開する運びとなりました。 《自然言語処理について》 自然言語処理とは、私たちが日々読み・書き・話している言葉を処理するための技術です。 この技術は、以下をはじめさまざまな用途に使われています。 具体例： ・ス
はじめに 2020/5/15(金)に行われた、「nlpaper.challenge BERT応用勉強会」に参加しました。 nlpaper-challenge.connpass.com 配信動画: www.youtube.com 当日の様子は、Twitterのハッシュタグ、#xpaperchallenge でもわかります。 イベント概要 近年NLPの領域で発展を遂げているBERTモデル。 今回はそのBERTモデルの応用をテーマにした勉強会を開催します。 特定のドメインでの活用事例やフロントエンドでの利用例などをLT形式で発表します。（BERT応用勉強会 - connpass より引用） Cluster*1 + YouTube Live という形でのオンライン開催でした。大人気でCluster枠には入れなかったので、私はYouTube Liveで視聴しました。 また、nlpaper.chall
Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources
BERTの単語ベクトルを覗いてみる - Qiita
Googleが2018年10月に発表し、大いに話題となった自然言語処理モデルBERT。このBERTのモデルから単語ベクトルが抽出できるようなので、色々と調べてみようと思います。 BERTの単語ベクトルの特徴 単語ベクトルといえばWord2Vecですが、Word2Vecの単語ベクトルは、異なる意味の単語でも字面が同じならば全て同じ値になってしまうという欠点があります。 例えば下のような文があった場合、この文の最初の「HP（ヒューレット・パッカード）」と2つ目の「HP（ホームページ）」は別の意味を持つ単語ですが、ベクトルとしては同じになります。 HP社は、2019年11月18日に新製品をHPで発表した。 ところが、BERTの場合は、2つの「HP」のベクトルは異なる値になります。それだけではなく、下の例のような同じ意味の3つの「HP」も、すべて異なるベクトルになります。 HP社は、HP社と、HP
BERT (Devlin et al., 2018) and RoBERTa (Liu et al., 2019) has set a new state-of-the-art performance on sentence-pair regression tasks like semantic textual similarity (STS). However, it requires that both sentences are fed into the network, which causes a massive computational overhead: Finding the most similar pair in a collection of 10,000 sentences requires about 50 million inference computati
Language model pre-training has proven to be useful in learning universal language representations. As a state-of-the-art language model pre-training model, BERT (Bidirectional Encoder Representations from Transformers) has achieved amazing results in many language understanding tasks. In this paper, we conduct exhaustive experiments to investigate different fine-tuning methods of BERT on text cla
BERTopic
Home Home The Algorithm Getting Started FAQ Use Cases API Changelog BERTopic¶ BERTopic is a topic modeling technique that leverages 🤗 transformers and c-TF-IDF to create dense clusters allowing for easily interpretable topics whilst keeping important words in the topic descriptions. BERTopic supports all kinds of topic modeling techniques:
本記事ではOn the Stability of Fine-tuning BERT: Misconceptions, Explanations, and Strong Baselinesという論文を紹介します。 この論文ではBERTのfine-tuningが安定しにくいという問題に対して、単純で良い結果が得られる方法を提案しています。 またBERTのfine-tuningが安定しにくいという問題を細かく分析しており、参考になったのでそのあたりについてもまとめます。 本記事を読むことでBERTを自分の問題でfine-tuningするときの施策を立てやすくなるかと思います。 目次 本記事で掲載する図や表は紹介する論文から引用しています。 紹介する論文で提案する方法でBERTをfine-tuningすることで、Figure 1のように学習が安定し、かつ平均的にも高い評価尺度が得られるようになりま
SentencePiece + 日本語WikipediaのBERTモデルをKeras BERTで利用する - Qiita
TL;DR Googleが公開しているBERTの学習済みモデルは、日本語Wikipediaもデータセットに含まれていますが、Tokenizeの方法が分かち書きを前提としているため、そのまま利用しても日本語の分類問題ではあまり高い精度を得ることができません。 このため、SentencePieceでTokenizeしたデータセットで学習し直す必要があります。 BERTのトレーニングは結構な時間やマシンリソースが必要ですが、ありがたいことにSentencePiece+日本語Wikipediaで学習済みのモデルを配布してくれている方がいらっしゃるので、今回は以下を利用します。 BERT with SentencePiece を日本語 Wikipedia で学習してモデルを公開しました BERTには分類問題用のスクリプトが付属していますが、今回はKeras BERTからBERTを利用します。 例の如
概要 BERT (arxiv, GitHub) を理解するための第一歩として、訓練済み日本語モデルを fine-tune して文章のトピック分類の実験をしました。 この記事に含まれない内容： BERT の説明 この記事に含まれる内容： 訓練済み BERT 日本語モデルのまとめ 環境構築や実験にあたって私が遭遇した問題とその対処 BERT が分類に失敗したサンプルの定性的な分析 訓練済みの BERT 日本語モデル 現時点で私の知る限り、日本語に適用できる訓練済み BERT モデルは以下の4つがあります。特に今回の実験では、 使っているトークナイザーが強そう データや諸々のソースコードが公開されている という理由で BERT with SentencePiece for Japanese text を選択しました。 BERT-Base, Multilingual BERT の GitHub レ
【入門】Sentence BERT
はじめに 自然言語処理の勉強も始めました。すぐに忘れてしまうのでアウトプットを兼ねてBERTの改良モデルである「Sentence BERT」についてまとめました。 対象読者 自然言語処理初心者 Sentence BERTとは？ 自然言語処理モデルであるBERTの一種です。 事前学習されたBERTモデルに加えて、「Siamese Network」という手法を使い、BERTよりも精度の高い文章ベクトルの生成ができます。 BERTを改良したモデルとして2019年に発表されました。 Sentence BERTの何がすごいの？ BERTと何が違うの？ BERTと違って、複数の文章のクラスタリングに有効です。 BERTでも、ラベル付きデータを用意してファインチューニングを行い、２つの文章を高精度で比較することは可能です。ただ、複数の文章をクラスタリングするには精度が悪かったり精度がいまいちだったり課題
BERTとGANを使った株価予測
3つの要点 ✔️ GANを使った株価予測へのアプローチ ✔️ finBERTを使って金融市場の感情分析結果をインプット ✔️ これまでのモデルより優れた結果を出すことに成功 Stock price prediction using BERT and GAN written by Priyank Sonkiya, Vikas Bajpai, Anukriti Bansal (Submitted on 18 Jun 2021) Comments: Published on arxiv. Subjects: Statistical Finance (q-fin.ST); Computation and Language (cs.CL); Machine Learning (cs.LG) Computing (cs.NE) code： 本記事で使用している画像は論文中のもの、またはそれを参考に作
前回は、BERTを使ってセンター試験英語の穴埋め問題にチャレンジしました。今回は、センター試験用にファインチューニングしたモデルを使い、センター試験英語の長文読解問題にチャレンジします。 本記事で使用するソースコード一式はこちらで公開していますので、参考にしていただければと思います（本リポジトリは個人のものであり、筆者が所属する団体とは関係がありません）。 長文読解問題にチャレンジ 今回は、BERTを使って2017年度センター試験英語の大問5で出題された長文読解問題にチャレンジします。 まずは、長文読解問題の形式について説明します。読解問題は、本文と複数の問題で構成されており、本文の内容に関する問題に対してそれぞれ正解となる選択肢を1つ選択します。 次に、長文読解問題の学習データについて説明します。BERTの事前学習モデルに対して、長文読解問題用にファインチューニングする必要があります。フ
本記事の概要 kaggle の NLP コンペである Google QUEST Q&A Labeling に参加し、その社内反省会を主催したので、その時の資料をブログに落としておきます。筆者は 1,571 チーム中 19 位でした。 shake 力たりんかったか... pic.twitter.com/L4bJGp5oil— ぐちお (@ihcgT_Ykchi) February 11, 2020 NLP コンペには初めて参加してのですが、系列データを NN でさばく上での学びが多く非常に楽しめました。個人的には良いコンペだったと感じていて、コンペ終了後にはブログ化する方々*1や勉強会を開催する方々がいつもより気持ち多かったような気がします。 一方で、post-process のスコアへの寄与度が大きすぎたこと等に起因する苦言も散見されてはいました。*2 本記事の概要 コンペ概要と基礎知識
Github（英語バージョン） https://github.com/leolui2004/sentiment_compare 2つの手法の紹介 Google Cloud Platform NLP API GCPは、さまざまな種類のNLP APIを提供します。自分は感情分析をよく使っています。これはスコアとマニチュードの形でテキストの感情を判断できます。 Transformers と BERT BERTは、Googleが提供する優れたNLP事前トレーニング済みモデルであり、Transformersは、NLPタスクを迅速に開発するための優れたライブラリでもあります。今回は、daigo/bert-base-japanese-sentimentという事前トレーニング済みモデルとbert-base-japanese-whole-word-maskingという事前トレーニング済みトークナイザーを使用
Topic Modelling With BERTopic
Topic modelling is a common task in NLP. It's an unsupervised technique for determining what topics, which can be thought of as categories, are part of a set of documents and what topics each document is likely to be a part of. Since it's an unsupervised technique, no labels are required, meaning we do not need a predefined list of topics – rather just the text from the documents. In this article,
In this work, we explore "prompt tuning", a simple yet effective mechanism for learning "soft prompts" to condition frozen language models to perform specific downstream tasks. Unlike the discrete text prompts used by GPT-3, soft prompts are learned through backpropagation and can be tuned to incorporate signal from any number of labeled examples. Our end-to-end learned approach outperforms GPT-3'
概要 絶賛フロントエンド勉強中の井上です。今回は自然言語処理界隈で有名なBERTを用いた文書分類（カテゴリー分類）について学習（ファインチューニング）から予測までを紹介したいと思います。本記事では実装ベースでお話しするので、「そもそもBERTって何？」という方は検索するか、参考URLを載せておくのでそこから飛んでいただけると助かります。 目次 ・事前準備 ・学習 ・評価 ・予測 ・参考文献 事前準備 Google Colaboratory 学習は膨大な計算量が必要なので、Google Colaboratoryを使用します。 https://colab.research.google.com/notebooks/welcome.ipynb?hl=ja ・無料でTPU（Tensor Processing Unit）が使えるのでお得！ googleさんありがとうございます ・DeepLearni
やったこと 公式のBERTを動かしてみる 日本語の分類タスクでファインチューニングしてみた 本記事のターゲット BERTに興味がある人、日本語タスクでどんな精度が出るのか知りたい人 自然言語系の研究に興味がある人 実験とか好きな人 BERTって？ 少し前にディープラーニング界隈・自然言語界隈で大変話題になった新しいモデルです。 ざっくりいうと、BERTっていうすごい（学習済の）モデルを使えば、色々な自然言語系のタスクを少ない時間で、高い精度が出せるかも！ってことで話題になりました。 2018年10月11日にGoogleから公開されたもので、双方向Transformerで言語モデルを事前学習することで汎用性を獲得し、転移学習させると8個のベンチマークタスクでSOTA(最先端の結果)を達成したそうです。 ちなみに8個のタスクは下図のような感じです。 引用元: https://twitter.c
4. MobileBERT Q&A モデルのデモ https://muppet.fandom.com/wiki/Bert 4 Bert is Ernie's best friend and roommate on Sesame Street. The pair share the basement apartment at 123 Sesame Street. In contrast to the practical-joking, extroverted Ernie, Bert is serious, studious, and tries to make sense of his friend's actions. His own passions include reading Boring Stories, collecting paper clips and bottle cap
Date: January 27, 2023 | Estimated Reading Time: 46 min | Author: Lilian Weng Many new Transformer architecture improvements have been proposed since my last post on “The Transformer Family” about three years ago. Here I did a big refactoring and enrichment of that 2020 post — restructure the hierarchy of sections and improve many sections with more recent papers. Version 2.0 is a superset of the
こんにちは AIチームの戸田です 自然言語処理でよく扱われるタスクの一つである文書分類、精度を上げる工夫などはよく見られますが、実務ではどうしてその分類になるのか、その判断根拠についての説明が重要になる場面に多く直面します。 機械学習の判断根拠についてはExplainable AI という分野で近年注目されており、昨年のKDD2020のチュートリアルでも扱われていました。 本記事では文書分類を行う手法として、古典的なCountVectorizerとロジスティック回帰を使った手法と、近年主流となっているBERTのfine-tuningを行う手法の両方の判断根拠の可視化について紹介したいと思います。 データセット UCIのSMS Spam Collection Data Setを使います。 5572件のSMSのデータセットで、そのうちスパムSMSが747件あります。 以下のコードでダウンロード
Wantedlyは、運命のチームや仕事に出会えたり、人脈を広げ、ビジネスの情報収集に使えるビジネスSNSです。
【Techの道も一歩から】第26回「BERTで日本語固有表現抽出器を作ってみた」 - Sansan Tech Blog
こんにちは。DSOC 研究開発部の高橋寛治です。 流行りの BERT(Bidirectional Encoder Represenations from Transformers) ですが、論文を読んだあと、マスク部分を当てるというサンプルを動かしその的確さに驚いたところで、手が止まっていました。 今回は、BERTの特徴である優れた言語モデルを利用して、日本語固有表現抽出器を作ってみました。 その手順をいくつかかいつまんで紹介します。 準備から学習 BERT の実装には、 Hugging Face, Inc. が提供する transformers ライブラリを利用します。 実装は、固有表現抽出のサンプルに準じて行います。 transformers ライブラリは、例によって pip install transformers で完了します。素晴らしい。 ディレクトリ構成のイメージ data デ
Hundreds of Transformers experiments and models are uploaded to the Hugging Face Hub every single day. Machine learning engineers and students conducting those experiments use a variety of frameworks like PyTorch, TensorFlow/Keras, or others. These models are already used by thousands of companies and form the foundation of AI-powered products. If you deploy Transformers models in production envir
[CLS]","children":[],"isValid":true,"title":"Note 1: Use [CLS]"},{"id":"note-2-use-mask-after-tokenization","label":"Note 2: Use [MASK] after tokenization","children":[],"isValid":true,"title":"Note 2: Use [MASK] after tokenization"},{"id":"note-3-provide-position_ids-as-an-argument-explicitly","label":"Note 3: Provide position_ids as an argument explicitly","children":[],"isValid":true,"title":"N
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
60分でできるBERT(英語テキストの感情分析) - Qiita
Googleが開発した自然言語処理の看板技術BERTの研究はどこまで進んでいる? BERTologyの最前線
人間の言葉をコンピュータが理解できるようにするための「ベクトル化」の話 | DevelopersIO
10分でできるBERT (英文テキストのQA) - Qiita
PyTorchで日本語BERTによる文章分類＆Attentionの可視化を実装してみた - Qiita
XLM RoBERTa + Augmentation + SSL [0.9417 Pub LB]
Google: BERT now used on almost every English query
A Commit History of BERT and its Forks
Amazon.co.jp: BERT/GPT-3/DALL-E 自然言語処理・画像処理・音声処理 人工知能プログラミング実践入門: 布留川英一 (著), 佐藤英一 (編集): 本
BERT応用勉強会に参加しました - かばやん's だいありー
Knowledge Graph & NLP Tutorial-(BERT,spaCy,NLTK)
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
How to Fine-Tune BERT for Text Classification?
【自然言語処理】 あなたのBERTに対するfine-tuningはなぜ失敗するのか 【論文紹介】
BERT 日本語モデルの実験 - P_N_Dの日記
BERTにセンター試験長文読解を解かせてみる――意外に高くない正答率とその理由を考察
Google QUEST Q&A Labeling の反省文 - guchiBLO はてな
Yoasobiの歌詞で、GCP APIとTransformersの感情分析結果を比較 - Qiita
The Power of Scale for Parameter-Efficient Prompt Tuning
BERT（Keras BERT）を使用した文章分類を学習から予測まで紹介！
汎用言語表現モデルBERTのファインチューニングをやってみる
BERTをブラウザで動かしたい！�―MobileBERTとTensorFlow.js―
The Transformer Family Version 2.0
文書分類における古典的手法とBERTの判断根拠の比較 | 株式会社AI Shift
Wantedly（ウォンテッドリー）はたらくを面白くするビジネスSNS
Convert Transformers to ONNX with Hugging Face Optimum
rinna/japanese-roberta-base · Hugging Face
youtu.be
agora-web.jp
news.yahoo.co.jp
rocketnews24.com
nlab.itmedia.co.jp
bookmark.hatenastaff.com