ロボット工学セミナー:「ロボットのためのLLM・VLM 利活用」 2024年5月23日 ⾃⼰教師あり学習は,ラベルなしデータを⽤いた事前学習法である.⾃⼰教師あり学習では,データから正解ラベルを⾃動で作成できるプレテキストタスクにより事前学習を⾏い,様々な下流タスクに効果的な特徴表現を獲得する.対照学習に基づく⼿法が教師あり事前学習法と同程度以上の学習効果が⽰されて以降,対照学習の派⽣⼿法が数多く提案された.また,Vision Transformer (ViT) の台頭以降は,ViT の構造に合わせた⽅法として Masked Image Modeling が提案され,現在に⾄るまで盛んに研究が⾏われている.本チュートリアルではまず⾃⼰教師あり学習の概要と代表的な評価⽅法について紹介し,対照学習と Masked Image Modeling ⼿法について解説する. 安全なパスワードの設定・管