3つの要点 ✔️ 凍結した汎用LLMのPrompt部分のみを学習するPrompt Tuningを提案 ✔️ Fine-tuningに近い精度を叩き出した ✔️ 大幅なパラメータ削減を可能にする The Power of Scale for Parameter-Efficient Prompt Tuning written by Brian Lester, Rami Al-Rfou, Noah Constant (Submitted on 18 Apr 2021 (v1), last revised 2 Sep 2021 (this version, v2)) Comments: Accepted to EMNLP 2021 Subjects: Computation and Language (cs.CL) code: 本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれ
3つの要点 ✔️ 複数のエージェントを自律的に議論させ評価を行うマルチエージェントフレームワークであるChatEvalを提案 ✔️ Debater Agents同士のグループディスカッションにより、人間のアノテーターに近い評価が可能に ✔️ 評価プロセスにおける多様な役割を持つアノテーターの必要性を実証 ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate written by Chi-Min Chan, Weize Chen, Yusheng Su, Jianxuan Yu, Wei Xue, Shanghang Zhang, Jie Fu, Zhiyuan Liu (Submitted on 14 Aug 2023) Comments: Published on arxiv. Subjects:
3つの要点 ✔️ コンテンツとそれに対応する受け手の行動から構成されたデータセットであるThe Content Behavior Corpus(CBC)を作成 ✔️ behavior tokensを用いて学習を行う大規模マルチモーダルモデルであるLarge Content and Behavior Models(LCBM) を提案 ✔️ 様々なタスクにおいて、GPT-3.5・GPT-4と同等以上の性能を発揮した Large Content And Behavior Models To Understand, Simulate, And Optimize Content And Behavior written by Ashmit Khandelwal, Aditya Agrawal, Aanisha Bhattacharyya, Yaman K Singla, Somesh Singh,
3つの要点 ✔️ トレーニングタスクから自律的に学習する新しいLLMエージェントであるExpeLを提案 ✔️ Experience GatheringとInsights Extractionの2つのモジュールによりエージェントが経験から自律的に学習を実行 ✔️ タスクの経験を蓄積し自律的な学習を行うことにより、比較実験において既存手法を上回る性能を発揮 ExpeL: LLM Agents Are Experiential Learners written by Andrew Zhao, Daniel Huang, Quentin Xu, Matthieu Lin, Yong-Jin Liu, Gao Huang (Submitted on 20 Aug 2023) Comments: Published on arxiv. Subjects: Machine Learning (cs.LG
3つの要点 ✔️ 時系列予測の領域で、最近深層学習モデルによる性能向上が急速に進んでいます。しかし、古典的な機械学習モデルはもう必要ないのかということで、この大規模な調査と比較実験が行われました。 ✔️ 古典的学習モデルの代表としてGBRTが使われています。深層学習モデルが実現した系列間の依存性の表現を入力の特徴量エンジニアリングベースのウィンドウ化で代替しました。 ✔️ 前処理により、改良GBRTは単変量、多変量両方のデータセットに対して、数多くの深層学習モデルと同等あるいは大きく上回る性能を示しました。 Do We Really Need Deep Learning Models for Time Series Forecasting? written by Shereen Elsayed, Daniela Thyssens, Ahmed Rashed, Hadi Samer Joma
3つの要点 ✔️ ViTベースのVLPモデルをエンドツーエンドで学習する方法を検討するためのフレームワーク ✔️ モデル設計を四つの要素に分解して検討 ✔️ 4M枚の画像による事前学習で最先端モデルに匹敵する性能を達成 An Empirical Study of Training End-to-End Vision-and-Language Transformers written by Zi-Yi Dou, Yichong Xu, Zhe Gan, Jianfeng Wang, Shuohang Wang, Lijuan Wang, Chenguang Zhu, Pengchuan Zhang, Lu Yuan, Nanyun Peng, Zicheng Liu, Michael Zeng (Submitted on 3 Nov 2021 (v1), last revised 18 Ma
3つの要点 ✔️ 近年発表され始めた時系列データ用Transformerの包括的レビュー ✔️ ネットワーク構造と、アプリケーション(予測、異状検知、分類)の両面から分類され、Transformerの強みや限界がレビューされています。 ✔️ 将来の展開として、事前学習、GNN、NASとの組み合わせについて解説されています。 Transformers in Time Series: A Survey written by Qingsong Wen, Tian Zhou, Chaoli Zhang, Weiqi Chen, Ziqing Ma, Junchi Yan, Liang Sun (Submitted on 15 Feb 2022 (v1), last revised 7 Mar 2022 (this version, v3)) Comments: Published on arxiv
3つの要点 ✔️ プルーニングを行ったImageNet事前学習済みモデルの転移学習性能を調査 ✔️ 漸進的スパース化・正則化・LTHなどのプルーニング手法について分析 ✔️ 様々なPruning手法が転移学習時に異なる挙動を示すことを実証 How Well Do Sparse Imagenet Models Transfer? written by Eugenia Iofinova, Alexandra Peste, Mark Kurtz, Dan Alistarh (Submitted on 26 Nov 2021 (v1), last revised 21 Apr 2022 (this version, v5)) Comments: CVPR2022. Subjects: Computer Vision and Pattern Recognition (cs.CV); Artifici
3つの要点 ✔️ 4つの大規模画像データセットで自己教師あり対照学習について分析 ✔️ データ量、データドメイン、データの質、タスク粒度の観点からデータセットの影響を調査 ✔️ 自己教師あり学習が成功するための好ましいデータセット条件についての知見を示す When Does Contrastive Visual Representation Learning Work? written by Elijah Cole, Xuan Yang, Kimberly Wilber, Oisin Mac Aodha, Serge Belongie (Submitted on 12 May 2021 (v1), last revised 4 Apr 2022 (this version, v2)) Comments: CVPR 2022 Subjects: Computer Vision and Pa
3つの要点 ✔️ アーキテクチャの違いは頑健性の転移に関係している ✔️ 全層を再学習させる条件下ではTransformerアーキテクチャは、データ拡張を用いたCNNよりも効果的である ✔️ 物体検出やセマンティックセグメンテーションよりも、画像分類に対するImageNetからの転移が困難である Does Robustness on ImageNet Transfer to Downstream Tasks? written by Yutaro Yamada, Mayu Otani (Submitted on 8 Apr 2022) Comments: CVPR 2022 Subjects: Computer Vision and Pattern Recognition (cs.CV) code: 本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを
3つの要点 ✔️ Dreamerが実世界の4つのロボットに対して学習することが出来ることを示した ✔️ 4足歩行ロボットを1時間程度で背中を地面に向けた状態から回転して立ち上がり、前進する事を可能にした ✔️ 画像を入力としてロボットが物体を掴み、そして別の場所に置くことを、sparse rewardを用いて学習することができた DayDreamer: World Models for Physical Robot Learning written by Philipp Wu, Alejandro Escontrela, Danijar Hafner, Ken Goldberg, Pieter Abbeel (Submitted on 28 Jun 2022) Comments: Published on arxiv. Subjects: Robotics (cs.RO); Artific
3つの要点 ✔️ 不正確な擬ラベルを学習に用いる、新しい半教師ありセグメンテーション手法である$U^2PL$を開発した。 ✔️ 擬ラベルをエントロピーによって正確と不正確に分類し、不正確ラベルを各クラスの負サンプルのキューとして用いた。 ✔️ 様々なベンチマーク実験において、本論文手法はSOTAを記録した。 Semi-Supervised Semantic Segmentation Using Unreliable Pseudo-Labels written by Yuchao Wang, Haochen Wang, Yujun Shen, Jingjing Fei, Wei Li, Guoqiang Jin, Liwei Wu, Rui Zhao, Xinyi Le (Submitted on 8 Mar 2022 (v1), last revised 14 Mar 2022 (this
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く