T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)まとめ ・転移学習を用いたNLP関連技術の進歩が速すぎて何が効果的なのか評価することが困難になった ・最も効果的な転移学習手法を調べ、得た洞察を元にT5と呼ばれる新しいモデルを開発 ・T5は多くのNLPベンチマークで最先端の結果を達成し、様々な下流タスクに微調整可能 ２．T5とは？ 以下、ai.googleblog.comより「Exploring Transfer Learning with T5: the Text-To-Text Transfer Transformer」の意訳です。元記事の投稿は2020年2月24日、Adam RobertsさんとColin Raffelさんによる投稿です。アイキャッチ画像のクレジットはPhoto by Aleksey Boev on Unsplash
ニューラル機械翻訳ライブラリのざっくりとした紹介 - Qiita
はじめに 機械翻訳研究の世界最大のワークショップ、WMTに2020年から英日翻訳が追加されたり、DeepLが日本語対応したり、日本語機械翻訳への注目が高まっています。そんな中で機械翻訳モデルを試しに使ってみたい、学習してみたい、そんな人もいるでしょう。私もこの分野は素人ですが今後使いたくなるかもしれません。今、どんな機械翻訳のライブラリが研究で使われているのか、自分のために調べました。なお筆者はFairseqと昔のOpenNMTしか使ったことがありません。 どんなライブラリが使われているのか 機械翻訳コンペ、WMT2019のFindingsによると - Marian 30%超 - Fairseq 18% - OpenNMT 16% - Tensor2Tensor 14% - Sockeye 14% だそうです。それぞれ独自の機能（手法やモデルの実装）があるのですが、普通のTransform
iOS 14ではオンデバイスの音声認識を利用し、火災警報や車のクラクション、猫や犬、赤ん坊の泣き声が認識されると、iPhoneにユーザー通知を表示することが可能に。
iOS 14/iPadOS 14ではアクセシビリティ機能の1つとしてオンデバイスの音声認識処理により、火災警報器や車のクラクション、猫や犬の鳴き声、赤ん坊の泣き声を認識しユーザーに通知することが可能になっています。詳細は以下から。 Appleは現地時間2020年09月16日、iPhoneやiPad向けに「iOS 14/iPadOS 14」をリリースしましたが、このiOS 14/iPadOS 14ではWWDC20で紹介された新機能とは別に追加のアクセシビリティ機能として、オンデバイスの音声認識処理を利用し、火災報知器やサイレンの音を検出すると、警報を聞き逃してしまう可能性があるユーザーに通知を表示する機能が搭載されています。 この機能はアクセシビリティに追加された「サウンド認識」という機能で、利用するには設定アプリの[アクセシビリティ] → [サウンド認識]をONにして学習済みデータ(数MB
PyTorchで全結合型のGANを作ってみよう
今回の目的 前回までは数回にわたってオートエンコーダーについて見てきました。今回はそれとはまた別の画像生成フレームワークとしてよく知られているGAN（Generative Adversarial Network。敵対的生成ネットワーク）を作ってみましょう。といっても、今回はみんな大好き「全結合型」のニューラルネットワークとして作ってみます。 GANの代表的な用途としては今回も取り上げる画像生成が挙げられます。萌え絵を自動生成するようなニューラルネットワークモデルはいろいろなところで話題になったことから、関連してGANという語を覚えている方もたくさんいらっしゃるでしょう。 GANは2014年に登場したアルゴリズムですが、その後、さまざまな改良が加えられ、その派生となる数多くのアルゴリズムが登場しています。その一つであるDCGAN（Deep Convolutional GAN）については後続の
Self-Attentionを全面的に使った新時代の画像認識モデルを解説！ - Qiita
08/31 (2020): 投稿 08/31 (2020): 「畳み込みを一切使わない」という記述に関して、ご指摘を受けましたので追記いたしました。線形変換においては「チャネル間の加重和である1x1畳み込み」を実装では用いています。 08/31 (2020): 本論文で提案されているモデルの呼称に関して認識が誤っていたためタイトルおよび文章を一部修正しました。 言葉足らずの部分や勘違いをしている部分があるかと思いますが、ご指摘等をいただけますと大変ありがたいです。よろしくお願いします！(ツイッター:@omiita_atiimo) 近年の自然言語処理のブレイクスルーに大きく貢献したものといえば、やはりTransformerだと思います。そこからさらにBERTが生まれ、自然言語の認識能力などを測るGLUE Benchmarkではもはや人間が13位(2020/08現在)にまで落ちてしまっているほ
物体検出のDeepLearning読むべき論文7選とポイントまとめ【EfficientDetまでの道筋】 - Qiita
お久しぶりです。 2012年のHintonさんのAlexNetによるILSVRCでの圧勝を皮切りに、画像認識の世界でもDeepLearningが脚光を浴びることとなりました。 物体検出の世界でも現在DeepLearningを用いたモデルが主流になっています。 https://paperswithcode.com/sota/object-detection-on-coco を見ると、 COCO test-devにおいて、state-of-the-art(SoTA)のモデルはEfficientDet-D7xのようです。 独断と偏見も少々ありますが、そのEfficientDetを理解するために読むべき論文を7つ集めてみました。 DeepLearning以降の物体検出に焦点を当てて、出来るだけ簡潔につらつらと書いていきたいと思います。 物体検出とは 物体検出について知らないという人は以下の動画を見
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2020.09.30 NL研 招待講演 Vision&Languageの研究動向