DEIM2023 第15回データ工学と情報マネジメントに関するフォーラム チュートリアル講演資料 Part2: Vision-and-Language
![NLPとVision-and-Languageの基礎・最新動向 (2) / DEIM Tutorial Part 2 Vision-and-Language](https://cdn-ak-scissors.b.st-hatena.com/image/square/1e7e27bc2360812c1eef17cf24b6eddd8e9f83ce/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2Fe2faaf6dc1dc44a68256def97332ad4b%2Fslide_0.jpg%3F24794167)
DEIM2023 第15回データ工学と情報マネジメントに関するフォーラム チュートリアル講演資料 Part2: Vision-and-Language
Language Models The progress on larger and more powerful language models has been one of the most exciting areas of machine learning (ML) research over the last decade. Important advances along the way have included new approaches like sequence-to-sequence learning and our development of the Transformer model, which underlies most of the advances in this space in the last few years. Although langu
Text to Face👨🏻🧒👧🏼🧓🏽 (arXiv preprint 2024) [💬 3D] Portrait3D: Text-Guided High-Quality 3D Portrait Generation Using Pyramid Representation and GANs Prior, Yiqian Wu et al. [Paper] (CVPR 2024) CosmicMan: A Text-to-Image Foundation Model for Humans, Shikai Li et al. [Paper] [Project] (arXiv preprint 2024) Fast Text-to-3D-Aware Face Generation and Manipulation via Direct Cross-modal Mapping an
State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstr
今回はOpenAIの『CLIP(Contrastive Language-Image Pre-training)』を解説したいと思います。 CLIPは画像の分類に利用されるモデルですが、今までのモデルと何が違うかというと、自然言語処理の技術を応用する点です。 一般的な画像分類では、たくさんの画像を用意して、それぞれ対して犬、猫、リンゴ、などのラベルをつけます。 それを教師データとして学習します。 しかしながら、その方法には以下のような問題点があります。 ラベル付けに非常にコストがかかる。ラベルの種類が限定的で、学習対象の種類についてはうまく分類できるが、初めて見る対象(例えば、犬と猫を学習して、果物を分類するなど)については分類精度が低い。 CLIPでは、こういった問題に取り組んでいきます。 ちなみに、CLIPはモデルの仕組みではなく事前学習方法ですので、モデル自体はResNetやVisi
Image Credit: Diffbot Google サーチでセレブや有名ランドマーク、あるいは製品についてサーチしたとき、結果ページの右側に表示されるインフォボックスを目にしたことがある人は多いだろう。そこに表示される情報は、Google の Knowledge Graph から引用された情報に基づいている。Knowledge Graph とは、ウェブ検索や Google Home をはじめとするスマートスピーカーの検索結果を向上させるために使用されるエンティティ・データベースのことだ。Knowledge Graph には、16億件以上もの情報が記録されている。その大半は、人、場所、モノについてのよくある質問への回答のために、人間の作業チームが数百万単位のウェブサイトを定期的にチェックし、クラウド上で集めたものである。 しかしながら、Mike Tung 氏に言わせれば、それを行うもっ
Imagen unprecedented photorealism × deep level of language understanding unprecedented photorealism deep level of language understanding We present Imagen, a text-to-image diffusion model with an unprecedented degree of photorealism and a deep level of language understanding. Imagen builds on the power of large transformer language models in understanding text and hinges on the strength of diffusi
A modular framework for vision & language multimodal research from Facebook AI Research (FAIR). Less BoilerplateMMF is designed from ground up to let you focus on what matters -- your model -- by providing boilerplate code for distributed training, common datasets and state-of-the-art pretrained baselines out-of-the-box. Powered by PyTorchMMF is built on top of PyTorch that brings all of its power
♰ Universitat Politecnica de Catalunya ✦ Massachusetts Institute of Technology ✥ Qatar Computing Research Institute Abstract In this work we train a neural network to learn a joint embedding of recipes and images that yields impressive results on an image-recipe retrieval task. Moreover, we demonstrate that regularization via the addition of a high-level classification objective both improves retr
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く