Googleのゼロショット学習モデル FinetunedLAnguage Net（FLAN）を紹介！
Googleのゼロショット学習モデル FinetunedLAnguage Net（FLAN）を紹介！ 2021.12.15 レポート 自然言語処理 Google から発表されたFLANについて紹介します。 FLANはFinetunedLAnguage Netの略で、事前トレーニング、微調整、プロンプトを使用して自然言語命令（命令チューニング）を使用することにより、自然言語処理（NLP）モデルのゼロショット学習を改善します。 １．問題・背景 機械学習モデルが意味を持った文章を生成するには、単語に関する大量の知識と文章を抽象化する機能が必要です。意味を持った文章を生成するように訓練された言語モデルは、特徴量をスケーリングするにつれて、単語についての知識を自動的に取得できるようになりますが、その知識を特定のタスクに適用する方法は未だに明確ではありません。 これを行うために確立された手法の1つが、
Attentionは不要!?Google BrainによるTransformer型モデルに対抗できるgMLPを詳細解説！
Attentionは不要!?Google BrainによるTransformer型モデルに対抗できるgMLPを詳細解説！ 2021.05.26 AI論文 学術研究, 画像処理, 自然言語処理 はじめに Google Brainが全結合層を基本としたニューラルネットワークがTransformerと同程度の精度を出すことができることを研究で明らかにしました。この結果、NLP（自然言語処理）だけではなく、最近ではCV（画像処理）の分野でもデファクトスタンダードになりつつあったTransformerをベースとしたモデル構成に再考が求められることになります。 なお、今回利用した図はすべて下記論文（「Pay Attention to MLPs」）から引用しております。 ●Transformer系の解説記事 Facebookチームが開発した画像分類にTransformerを利用した効率モデルDeiTを紹
Transformer を物体検出に採用！話題のDETRを詳細解説！
はじめに Transformerを物体検出にはじめて取り入れた「DETR（DEtection Transformer）」が2020年５月にFacebookから発表されました。DETRは人間による手作業を大幅に減らすことに成功し、End-to-Endモデルに近く誰でも利用しやすいモデルになっています。また、「水着があるなら、一緒に写っている板のようなものはサーフボードである確率が高い」など、一枚の画像内にあるオブジェクト間の関係性を利用する形で物体検出が可能になりました。こうしたことがどうして可能になったのかを以下で見ていきたいと思います。 なお、Transformerに関しては一定程度の理解がある前提で説明しております。Transformerに関しても記事を作成しておりますので、下記をご参照ください。 公式論文 「End-to-End Object Detection with Trans
【FacebookAI】グラフによる自動微分のためのオープンソース：グラフトランスフォーマーネットワーク（GTN）【AI最新ニュース】
【FacebookAI】グラフによる自動微分のためのオープンソース：グラフトランスフォーマーネットワーク（GTN）【AI最新ニュース】 2020.10.19 ニュース PyTorch, 学術研究, 画像処理 【FacebookAI】グラフによる自動微分のためのオープンソース：グラフトランスフォーマーネットワーク（GTN） Facebook AI Open-Sources Graph Transformer Networks (GTN) For Automatic Differentiation With Graphs https://www.marktechpost.com/2020/10/10/facebook-ai-open-sources-graph-transformer-networks-gtn-for-automatic-differentiation-with-graphs/
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
