WebAssemblyを用いてBERTモデルをフロントエンドで動かす - OPTiM TECH BLOG
はじめまして。R&Dチーム所属、20.5卒の伊藤です。 普段の業務では自然言語処理と格闘していることが多いです。 今回は自然言語処理モデルとして有名なBERTをWebAssemblyを使用してフロントエンドで動かしてみた話になります。 最近、自然言語処理ライブラリとして普段お世話になっているHugging Face社のTransformersのTokenizerがRustで実装されていることを知り、それならばWebAssemblyにコンパイルして動かせるのではないかと試したみたのがきっかけです。 Tokenizerのみ動かしても実用性に乏しいため、Tokenizerから得られた結果からBERTを用いた推論をブラウザで動作させるまでを行い、備忘録がでら手順をまとめました。 どなたかの参考になれば幸いです。 8/26追記 本記事内のコードを含むリポジトリを公開しました！Dockerを使用してブ
はじめての自然言語処理 Sentence BERT による類似文章検索の検証 | オブジェクトの広場
今回は初心に帰って類似文章検索です。連載の第1回で扱ったネタですが、 BERT を用いて再挑戦してみましょう。BERT のモデルは Hagging Face Transformers の事前学習済みモデルを用いるので、お手軽に試せるかと思います。手法としては Sentence BERT を用い、おまけとして Poor Man's BERT についても紹介します。 （本記事公開後に公開されたデータセットで再検証しています。最新情報は 第18回 をご覧ください。 2021.12.21 追記） 1. はじめに 本記事では Sentence BERT 1による類似文章検索について、学習や推論のコード例と実験結果を交えてご紹介します。前々から Sentence BERT を試したいと考えていたものの、教師あり学習に必要な日本語の類似文データが用意できずにいました。その後、画像キャプションのデータセッ
AIはまだ文の意味を理解していない——NLPの欠陥が突きつける課題
米オーバーン大学の研究者らは、言語理解能力を測定するテストで高得点の自然言語システムが、文中の単語の順序の入れ替えに気づかないことを発見した。こうしたシステムは、文中のいくつかのキーワードを拾い上げてテストの課題を処理しているだけであり、人間のように文の意味を理解しているわけではない。 by Will Douglas Heaven2021.01.22 46 58 21 25 言語を理解しているように見える人工知能（AI）の多くは、一般的な言語理解の課題において人間より高い得点を出している。ところが、文中の単語が並べ替えられても、そのことに気づくことができない。つまり、AIは実際にはまったく言語を理解していないのだ。問題の原因は、自然言語処理（NLP）システムが訓練される方法にある。この問題はまた、どのようにして自然言語処理システムを改善すればよいかを指し示している。 アラバマ州オーバーン大
ラップボット界のホームラン王、現る - Rock Book
こんにちは。ラップボットプロデューサーの @masaki925 です。 今年もこの季節がやってきました、毎年恒例のラップボットです。 昨年は流行りのBERT に手を出して痛い目を見ましたが、今年も懲りずにやっていきたいと思います。 ラップの強さと韻の飛距離 私の目標の1つは強いラップボットを作ることです。 では、強い、とはなんでしょうか？ 韻の硬さ、フロウの柔軟さ、エモいバックグラウンド、色々あると思いますが、 ライムのクオリティを測る指標として、韻の飛距離という概念があります。 こちらの記事が参考になります。 https://news.1242.com/article/209776 R-指定：「A」という言葉と「B」という言葉で踏もうとしたら、「A」と「B」の言葉の響きは近ければ近いほどいい。でも、その内容がかけ離れていれば離れているほど、韻として面白いというか。 ... (中略) ..
「常識あるAI」へ新手法、 言語＋視覚でBERTしのぐ
This could lead to the next big breakthrough in common sense AI 「常識あるAI」へ新手法、 言語＋視覚でBERTしのぐ テキストだけで訓練された人工知能（AI）には限界がある。ノースカロライナ大学チャペルヒル校の研究チームは、自然言語処理とコンピュータ－・ビジョンを組み合わせる新手法により、常識あるAIを実現しようとしている。 by Karen Hao2020.12.01 22 35 9 32 MITテクノロジーレビューで何度も紹介してきた「GPT-3」は、本物の人間に極めて近い言葉を作り出す巨大な人工知能（AI）だ。だが、その大部分は蜃気楼のようなものだ。それは、単純なトリックで見分けがつく。GPT-3に羊の色を尋ねると、「白」と同じくらい頻繁に「黒」と答えるのだ。これは、日常語として使われる、厄介者という意味の「ブラック・
日本語BERTモデルをPyTorch用に変換してfine-tuningする with torchtext & pytorch-lightning - radiology-nlp’s blog
TL;DR ①TensorFlow版訓練済みモデルをPyTorch用に変換した (→方法だけ読みたい方はこちら) ②①をスムーズに使うための torchtext.data.Dataset を設計した ③PyTorch-Lightningを使ってコードを短くした はじめに 日本語Wikipediaで事前学習されたBERTモデルとしては, 以下の2つが有名であり, 広く普及しています: SentencePieceベースのモデル (Yohei Kikuta さん提供) TensorFlow版 Juman++ベースのモデル (京大黒橋研提供) TensorFlow版 PyTorch版(Hugging Face transformers準拠) このうち, SentencePieceベースのものは現在TensorFlow版のみの提供となっており, PyTorch版は存在しません。 そのため, 私のよう
はじめての自然言語処理 BERT を用いた自然言語処理における転移学習 | オブジェクトの広場
前回は Rasa NLU を用いて文章分類と固有表現抽出について紹介しました。今回は昨年後半に話題となった BERT について説明し、chABSAデータセットを用いた感情分析での実験結果、アプリケーションへの組み込み方などを紹介します。 1. 始めに 本記事では Google の BERT について、その概要を紹介し、BERT の事前学習済みモデルを用いてファインチューニングにより独自のモデルを構築することを念頭に、BERT の入出力インタフェースや学習データの構造を説明します。そして、ファインチューニングにより独自のモデルを構築する例として、chABSA データセットを用いた感情分析モデル生成の実験結果およびアプリケーションから利用する際のポイントを紹介します。 2. BERTの概要 BERT (Bidirectional Encoder Representations from Tra
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - BandaiNamcoResearchInc/DistilBERT-base-jp