BERTのAttentionは何を見ているのか？
3つの要点 ✔️BERTのAttention機構の分析手法の提案 ✔️Attentin機構は全体的には区切り文字や[CLS]、[SEP]を見ている ✔️特定のAttention機構では「動詞とその目的語」、「名詞と修飾語」、「前置詞とその目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している 前書き 現在の自然言語処理ではTransformer以降、Attention機構を用いたモデルが流行となっています。その中でも最近はBERTなどの巨大な事前学習済みのモデルが大きな成功を収めています。 それらモデルが何を学習しているのかを分析する取り組みは行われてきましたが、モデルの出力自体や隠れ層でのベクトル表現に焦点を当てた分析手法が中心でした。 この論文では、Attention機構が何を見ているのかに焦点を当てたモデルの分析手法が提案されており、BERTのAttention
kaggle NBME解法まとめ
2022/MBME 解法まとめ 概要 お題 目的 患者を診療する際にメモ書きする技術の習得と評価 今回の課題 試験の注釈にある臨床概念と、メモにある表現を対応付ける手法の開発 「食欲不振」→「食事量が少ない」「服がゆるい」 具体例 実際の形式だが文章は異なる（実際の文章はRule AcceptしてDataタブから見られる） 医療メモ: 20yo male with nauseous and abdominal pain since this morning, ate raw oysters yesterday... features: Nausea label: ["nauseous", "abdominal pain"] 必要性 現状の手法とその課題 実際にあった試験（USMLE）では以下の流れで行っていた 特定の臨床例を話すように訓練した人と対話し、メモを書く 訓練を受けた医者の採点者
山本 和英（言語商会 広報部） on Twitter: "“【自然言語処理】BERTを利用して論文のアブストラクトから類似文章を解析 - Qiita” https://t.co/CSZGkkhsQQ"
WebAssemblyを用いてBERTモデルをフロントエンドで動かす - OPTiM TECH BLOG
はじめまして。R&Dチーム所属、20.5卒の伊藤です。 普段の業務では自然言語処理と格闘していることが多いです。 今回は自然言語処理モデルとして有名なBERTをWebAssemblyを使用してフロントエンドで動かしてみた話になります。 最近、自然言語処理ライブラリとして普段お世話になっているHugging Face社のTransformersのTokenizerがRustで実装されていることを知り、それならばWebAssemblyにコンパイルして動かせるのではないかと試したみたのがきっかけです。 Tokenizerのみ動かしても実用性に乏しいため、Tokenizerから得られた結果からBERTを用いた推論をブラウザで動作させるまでを行い、備忘録がでら手順をまとめました。 どなたかの参考になれば幸いです。 8/26追記 本記事内のコードを含むリポジトリを公開しました！Dockerを使用してブ
作って理解する Transformer / Attention - Qiita
こんにちは。ミクシィ AI ロボット事業部でしゃべるロボットを作っているインコです。 この記事は ミクシィグループ Advent Calendar 2018 の5日目の記事です。 この記事の目的 この記事では2018年現在 DeepLearning における自然言語処理のデファクトスタンダードとなりつつある Transformer を作ることで、 Attention ベースのネットワークを理解することを目的とします。 機械翻訳などの Transformer, 自然言語理解の BERT やその他多くの現在 SoTA となっている自然言語処理のモデルは Attention ベースのモデルです。 Attention を理解することが今後の自然言語処理 x Deep Learning の必須になってくるのではないでしょうか。 この記事にかかれているコード (Github) 歴史 - RNN から
Kaggle Google Quest Q&A Labeling 反省会 | Wantedly Engineer Blog
本日、2月28日(金)に弊社 Wantedly にて、Kaggle Google Quest Q&A Labeling 反省会を開催したので、その様子をお伝えいたします。 Kaggle Google Quest Q&A Labeling コンペ とは世界最大のデータ分析プラットフォームである Kaggle 上で 2019/11/22 ~ 2020/2/10 の約3ヶ月間、開催された自然言語処理に関するデータ分析コンペです。 英文による質問と回答のペアが与えられており、そのペアに対する30項目における評価値を予測するコンペでした。 反省会の開催に向けて弊社では 3 名 (懸さん, 合田さん, 私 )がこのコンペに参加しまして、反省会を開こうと話していました。合田さんが Twitter にて社外の方へも呼びかけてくださり、社外の方々も参加していただける形で反省会を開くことができました！ con
「GPT-3」周辺で調べたことをまとめる（2021年2月） - u++の備忘録
コンピュータサイエンス技術の一つに、自然言語処理（NLP）と呼ばれている領域があります。NLPは、コンピュータに人間の用いる言語（自然言語）を処理させる取り組み全般を指します。 ここ数年のNLPの傾向として、大規模テキストでの事前学習済みモデルの活用が挙げられます。代表的な例が、Googleが2018年10月に発表した「Bidirectional Encoder Representations from Transformers (BERT)」*1です。BERTは多数のNLPタスクで飛躍的な性能を示し、注目を集めました。BERTの登場後、大規模テキストを用いた巨大モデルを学習させていく流れが強まっています*2。 BERTの登場以前は、個別のタスクに対してモデルを訓練する取り組みが優勢でした。一方でBERTでは、事前に大量のテキストデータを用いて巨大なニューラルネットワークを学習させて汎用的
RNNからTransformerまでの歴史を辿る ～DNNを使ったNLPを浅く広く勉強～ - arutema47's blog
Amazon Prime 一ヶ月無料 Seq2seqからBERTまでのNLPモデルの歴史をざっとまとめる。 DNNは知ってるけどTransformerってなんだかわからない、って人におすすめです。 Abst. 画像認識にもTransformerが使われることが多く、DeepRLやGPT-3といったNLPモデルも身近になってきています。"Attention is 何?"と言えなくなってきたので勉強しました。 Feedforward NetworksからSeq2Seq, Attention機構からTransformer登場、そしてBERT GPTといった最新モデルまでの流れを広く浅く記述する予定。 またKaggle NLPコンペの上位解法から利用例を探る。 Tl;DR TransformerはSelf-Attentionという機構でデータ内の時系列的特徴を抽出でき、従来のRNNを始めとするNN
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/upura0/status/1640662900103843840?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://twitter.com/yusmi/status/1570593834555543552
https://twitter.com/icoxfog417/status/1537986649400832000
u++ on Twitter: "DeBERTa の論文の説明、分かりやすかった DeBERTa: Decoding-enhanced BERT with Disentangled Attention (Machine Lea... https://t.co/30Sdx8BZpN via @YouTube"
u++ on Twitter: "『Transformers for Natural Language Processing』の訳書として『Transformerによる自然言語処理』が4月に刊行予定らしい。内容はアーキテクチャの紹介、GPT-3によるテキスト生成、… https://t.co/3dyJjKGNBe"
yyama on Twitter: "bert本を読み始め、やっと半分までいった。1週間で90pしか読んでないけど、ドロップアウトしてないだけ、自分を褒めたい。 内容はかなり簡単っぽいけど、transformersだけでなく、pytorch-lightningの入門書にもなっていて良い。"
yu4u on Twitter: "最近huggingface使ってみて、CommonLitコンペのソリューションとか反省会資料でお勉強したのだけど、これを先に見れてるとすっごい楽だったなぁという感じに網羅されてる資料！本文とは関係ないけどpooler_output… https://t.co/1sMmeRxDVn"
goto@meta翻訳開発者 on Twitter: "言語モデルにとって語順は重要な要素なのか、を分析している論文。 BERTベースのモデルは、多くの場合、語順を入れ替えてテストしてもGLUEタスクでのスコアはあまり変わらなかったという話。… https://t.co/AmYvULX4ei"
事前学習言語モデルの動向 / Survey of Pretrained Language Models