[B! BERT] [8ページ] arxiv_readerのブックマーク

arxiv_reader id:arxiv_reader

BERTに関するarxiv_readerのブックマーク (228)

BEVT：ビデオトランスフォーマーのBERT事前トレーニング
arxiv_reader 2022/03/04
この論文は、ビデオトランスのBERT事前トレーニングを研究しています。イメージトランスフォーマーのBERT事前トレーニングによる最近の成功を考えると、これは単純ですが、調査する価値のある拡張機能です。

video

representation learning

arXiv

transformer

BERT

dataset

benchmark

arXiv reaDer
リンク
トランスフォーマーを使用した胸部X線写真におけるマルチモーダル疾患分類の事前知識としての適応
arxiv_reader 2022/02/15
臨床医が画像検査のために患者を紹介するとき、スキャン要求に理由（例えば、関連する患者の病歴、疑わしい病気）を含めます。これは、放射線レポートの表示フィールドとして表示されます。画像の解釈と報告は、この

arXiv reaDer

classification

arXiv

interpretation

pre-training

dataset

transformer

BERT
リンク
オープンドメインの質問応答システムは視覚的な知識の質問に答えることができますか？
arxiv_reader 2022/02/10
外部知識の視覚的質問応答（OKVQA）のタスクには、外部知識を使用して写真や画像に関する自然言語の質問に回答する自動システムが必要です。画像内のエンティティを参照する直示的な参照フレーズを含む多くの視

unsupervised

weakly-supervised

arXiv reaDer

reinforcement learning

domain

pre-training

arXiv

BERT

dataset
リンク
OFA：単純なシーケンス間学習フレームワークによるアーキテクチャ、タスク、およびモダリティの統合
arxiv_reader 2022/02/08
この作業では、複雑なタスク/モダリティ固有のカスタマイズの足場を壊すために、マルチモーダル事前トレーニングの統一されたパラダイムを追求します。モダリティ（クロスモダリティ、ビジョン、言語など）とタスク

arXiv reaDer

BERT

domain

VQA

arXiv

classification

captioning

learning

seq2seq
リンク
視覚と言語のナビゲーションのための自己監視型3D意味表現学習
arxiv_reader 2022/01/27
Vision-and-Language Navigationタスクでは、具体化されたエージェントは言語の指示に従い、特定の目標にナビゲートします。これは多くの実際的なシナリオで重要であり、コンピュータ

reconstruction

self-supervised

attention

BERT

arXiv

representation learning

arXiv reaDer

3D

computer vision

transformer
リンク
BERTHA：転送で学習した人間の評価によるビデオキャプションの評価
arxiv_reader 2022/01/26
ビデオキャプションシステムの評価は、考慮すべき要素が複数あるため、困難な作業です。たとえば、キャプションの流暢さ、1つのシーンで発生する複数のアクション、重要と見なされるものに対する人間の偏見などです

arXiv reaDer

bias

human

BERT

dataset

action

video

captioning

metric

arXiv
リンク
https://arxiv-check-250201.firebaseapp.com/each/2201.03215v2
arxiv_reader 2022/01/11
本稿では、2017年と2018年に約12万人の受験者を対象に行われた新しい日本の大学入試の試験で手書きの記述的回答を自動的に採点する実験を紹介します。約40万の回答があり、2,000万文字以上あります

pre-training

dataset

arXiv reaDer

BERT

arXiv

human
リンク
統一された条件付きモデルを備えた自己訓練ビジョン言語BERT
arxiv_reader 2022/01/07
自然言語BERTは、自己監視方式で言語コーパスを使用してトレーニングされます。自然言語のBERTとは異なり、視覚言語のBERTは、トレーニングするためにペアのデータを必要とします。これにより、VL-B

arXiv reaDer

self-supervised

arXiv

zero-shot

BERT
リンク
アートの形式的分析：言語モデルによるスタイルからのビジュアルコンセプトのプロキシ学習
Formal Analysis of Art: Proxy Learning of Visual Concepts from Style Through Language Models 一連の視覚要素と芸術の原則を使用して美術絵画を定量化できる機械学習システムを紹介します。この正式な分析は芸術を理解するための基本ですが、そのようなシステムを開発することは困難です。絵画は視覚的に複雑ですが、直接ラベルを使用して十分なトレーニングデータを収集することも困難です。これらの実際的な制限を解決するために、プロキシ学習と呼ばれる新しいメカニズムを導入します。これは、スタイルとの一般的な関係を通じて絵画の視覚的概念を学習します。このフレームワークは視覚的な注釈を必要としませんが、スタイルラベルと視覚的な概念とスタイルの間の一般的な関係のみを使用します。この論文では、新しいプロキシモデルを提案し、プロキシ
arxiv_reader 2022/01/07
一連の視覚要素と芸術の原則を使用して美術絵画を定量化できる機械学習システムを紹介します。この正式な分析は芸術を理解するための基本ですが、そのようなシステムを開発することは困難です。絵画は視覚的に複雑で

arXiv

learning

BERT

arXiv reaDer
リンク
マスクされたマルチモーダルクラスター予測による視聴覚音声表現の学習
Learning Audio-Visual Speech Representation by Masked Multimodal Cluster Prediction 音声のビデオ録画には、相関する音声情報と視覚情報が含まれており、話者の唇の動きと生成された音から学習する音声表現に強力な信号を提供します。視聴覚音声の自己監視表現学習フレームワークである視聴覚隠しユニットBERT（AV-HuBERT）を紹介します。これは、マルチストリームビデオ入力をマスクし、自動的に検出され、反復的に洗練されたマルチモーダル隠しユニットを予測します。 AV-HuBERTは、読唇術と自動音声認識の両方に役立つ強力な視聴覚音声表現を学習します。最大の公開読唇ベンチマークLRS3（433時間）では、AV-HuBERTはわずか30時間のラベル付きデータで32.5％のWERを達成し、1000倍以上のトレーニングを受け
arxiv_reader 2022/01/07
音声のビデオ録画には、相関する音声情報と視覚情報が含まれており、話者の唇の動きと生成された音から学習する音声表現に強力な信号を提供します。視聴覚音声の自己監視表現学習フレームワークである視聴覚隠しユニ

representation learning

benchmark

video

arXiv reaDer

self-supervised

arXiv

BERT
リンク
マルチ画像の視覚的な質問応答
arxiv_reader 2021/12/28
視覚的な質問応答の問題に取り組むためのモデルの開発には多くの作業が行われていますが、質問を画像の特徴に関連付けるこれらのモデルの機能については、まだ十分に検討されていません。さまざまな損失関数を使用し

dataset

arXiv reaDer

BERT

attention

embedding

R-CNN

benchmark

loss function

arXiv
リンク
3D 質問応答
arxiv_reader 2021/12/16
視覚的な質問応答（VQA）は、近年、目覚ましい進歩を遂げています。ただし、ほとんどの取り組みは、2D画像の質問応答タスクにのみ焦点を当てています。このホワイトペーパーでは、VQAを3Dドメインに拡張す

VQA

point cloud

arXiv reaDer

3D

domain

BERT

arXiv

dataset
リンク
CoCo-BERT：対照的なクロスモーダルマッチングとノイズ除去によるビデオ言語の事前トレーニングの改善
arxiv_reader 2021/12/15
BERTタイプの構造は、視覚言語の事前トレーニングに革命をもたらし、多くの視覚言語のダウンストリームタスクで最先端の結果を達成しました。既存のソリューションは、主にマスクトークンを使用したマルチモーダ

contrastive

arXiv

BERT

dataset

action

captioning

augmentation

arXiv reaDer

pre-training

denoising
リンク
フォームエンティティリンクのテキスト分類モデル
arxiv_reader 2021/12/15
フォームは、管理、医療、財務、保険など、さまざまな分野で使用される幅広いタイプのテンプレートベースのドキュメントです。これらの文書に含まれる情報の自動抽出は、日常的に生成されるフォームの量が増加してい

dataset

arXiv

BERT

arXiv reaDer

classification
リンク
統一された基盤モデルに向けて：対になっていない画像とテキストでトランスフォーマーを共同で事前トレーニングする
arxiv_reader 2021/12/15
このホワイトペーパーでは、ビジョンのみのタスクとテキストのみのタスクの両方に適応できる統合された基盤モデルを構築する可能性を探ります。 BERTとViTから始めて、モダリティ固有のトークナイザー、共有

arXiv

BERT

gradient

pre-training

arXiv reaDer

classification

knowledge distillation

transformer
リンク
BEVT：ビデオトランスフォーマーのBERT事前トレーニング
arxiv_reader 2021/12/03
この論文は、ビデオトランスのBERT事前トレーニングを研究しています。イメージトランスフォーマーのBERT事前トレーニングによる最近の成功を考えると、これは単純ですが、調査する価値のある拡張機能です。

BERT

transformer

dataset

arXiv reaDer

arXiv

video

representation learning

benchmark
リンク
SpaceEdit：オープンドメイン画像編集のための統一された編集スペースの学習
arxiv_reader 2021/12/02
最近、事前にトレーニングされた大規模なモデル（BERT、StyleGAN、CLIPなど）は、ドメイン内のさまざまなダウンストリームタスクで優れた知識の伝達と一般化の機能を示しています。これらの取り組み

BERT

learning

domain

clustering

arXiv reaDer

arXiv
リンク
Point-BERT：マスクされたポイントモデリングを使用した3Dポイントクラウドトランスフォーマーの事前トレーニング
arxiv_reader 2021/11/30
トランスフォーマーを学習してBERTの概念を3Dポイントクラウドに一般化するための新しいパラダイムであるPoint-BERTを紹介します。 BERTに触発されて、点群トランスフォーマーを事前トレーニン

arXiv

arXiv reaDer

transformer

pre-training

classification

domain

BERT

point cloud

few-shot

3D
リンク
PeCo：ビジョントランスフォーマーのBERT事前トレーニングのための知覚コードブック
arxiv_reader 2021/11/25
このホワイトペーパーでは、ビジョントランスフォーマーのBERT事前トレーニングのためのより優れたコードブックについて説明します。最近の作業BEiTは、BERTの事前トレーニングをNLPから視野に正常に

BERT

transformer

semantic segmentation

arXiv reaDer

detection

arXiv

pre-training
リンク
DABS：自己管理学習のためのドメインにとらわれないベンチマーク
arxiv_reader 2021/11/24
BERTやSimCLRを含む自己監視型学習アルゴリズムは、自然言語処理、コンピュータービジョン、音声処理などの分野で大きな進歩を遂げました。ただし、これらのアルゴリズムはドメイン固有です。つまり、無数

computer vision

arXiv reaDer

self-supervised

arXiv

dataset

domain

learning

BERT

benchmark
リンク
前のページ 3 4 5 6 7 8 9 10 11 12 次のページ

お知らせ

もっと読む

公式Twitter

@HatenaBookmark
リリース、障害情報などのサービスのお知らせ
@hatebu
最新の人気エントリーの配信

キーボードショートカット一覧

j次のブックマーク

k前のブックマーク

lあとで読む

eコメント一覧を開く

oページを開く

設定を変更しましたx