DEIM2023 第15回データ工学と情報マネジメントに関するフォーラム チュートリアル講演資料 Part2: Vision-and-Language
NLPとVision-and-Languageの基礎・最新動向 (2) / DEIM Tutorial Part 2 Vision-and-Language
DEIM2023 第15回データ工学と情報マネジメントに関するフォーラム チュートリアル講演資料 Part2: Vision-and-Language
Google Research, 2022 & beyond: Language, vision and generative models
Language Models The progress on larger and more powerful language models has been one of the most exciting areas of machine learning (ML) research over the last decade. Important advances along the way have included new approaches like sequence-to-sequence learning and our development of the Transformer model, which underlies most of the advances in this space in the last few years. Although langu
GitHub - Yutong-Zhou-cv/Awesome-Text-to-Image: (ෆ`꒳´ෆ) A Survey on Text-to-Image Generation/Synthesis.
Text to Face👨🏻🧒👧🏼🧓🏽 (arXiv preprint 2024) [💬 3D] Portrait3D: Text-Guided High-Quality 3D Portrait Generation Using Pyramid Representation and GANs Prior, Yiqian Wu et al. [Paper] (CVPR 2024) CosmicMan: A Text-to-Image Foundation Model for Humans, Shikai Li et al. [Paper] [Project] (arXiv preprint 2024) Fast Text-to-3D-Aware Face Generation and Manipulation via Direct Cross-modal Mapping an
Learning Transferable Visual Models From Natural Language Supervision
State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstr
【論文解説】自然言語処理と画像処理の融合 - OpenAI 『CLIP』を理解する
今回はOpenAIの『CLIP(Contrastive Language-Image Pre-training)』を解説したいと思います。 CLIPは画像の分類に利用されるモデルですが、今までのモデルと何が違うかというと、自然言語処理の技術を応用する点です。 一般的な画像分類では、たくさんの画像を用意して、それぞれ対して犬、猫、リンゴ、などのラベルをつけます。 それを教師データとして学習します。 しかしながら、その方法には以下のような問題点があります。 ラベル付けに非常にコストがかかる。ラベルの種類が限定的で、学習対象の種類についてはうまく分類できるが、初めて見る対象(例えば、犬と猫を学習して、果物を分類するなど)については分類精度が低い。 CLIPでは、こういった問題に取り組んでいきます。 ちなみに、CLIPはモデルの仕組みではなく事前学習方法ですので、モデル自体はResNetやVisi
Diffbot、AIによるナレッジグラフをローンチ——人、場所、モノに関する1兆件の情報を網羅 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Image Credit: Diffbot Google サーチでセレブや有名ランドマーク、あるいは製品についてサーチしたとき、結果ページの右側に表示されるインフォボックスを目にしたことがある人は多いだろう。そこに表示される情報は、Google の Knowledge Graph から引用された情報に基づいている。Knowledge Graph とは、ウェブ検索や Google Home をはじめとするスマートスピーカーの検索結果を向上させるために使用されるエンティティ・データベースのことだ。Knowledge Graph には、16億件以上もの情報が記録されている。その大半は、人、場所、モノについてのよくある質問への回答のために、人間の作業チームが数百万単位のウェブサイトを定期的にチェックし、クラウド上で集めたものである。 しかしながら、Mike Tung 氏に言わせれば、それを行うもっ
Imagen: Text-to-Image Diffusion Models
Imagen unprecedented photorealism × deep level of language understanding unprecedented photorealism deep level of language understanding We present Imagen, a text-to-image diffusion model with an unprecedented degree of photorealism and a deep level of language understanding. Imagen builds on the power of large transformer language models in understanding text and hinges on the strength of diffusi
MMF
A modular framework for vision & language multimodal research from Facebook AI Research (FAIR). Less BoilerplateMMF is designed from ground up to let you focus on what matters -- your model -- by providing boilerplate code for distributed training, common datasets and state-of-the-art pretrained baselines out-of-the-box. Powered by PyTorchMMF is built on top of PyTorch that brings all of its power
Recipe1M+: A Dataset for Learning Cross-Modal Embeddings for Cooking Recipes and Food Images - MIT
♰ Universitat Politecnica de Catalunya ✦ Massachusetts Institute of Technology ✥ Qatar Computing Research Institute Abstract In this work we train a neural network to learn a joint embedding of recipes and images that yields impressive results on an image-recipe retrieval task. Moreover, we demonstrate that regularization via the addition of a high-level classification objective both improves retr
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NLPとVision-and-Languageの基礎・最新動向 (1) / DEIM Tutorial Part 1: NLP
自然言語処理とVision-and-Language / A Tutorial on NLP & Vision-and-Language
GitHub - mczhuge/Kaleido-BERT: 💐Kaleido-BERT: Vision-Language Pre-training on Fashion Domain. (CVPR2021)
CVPR 2014 Open Access Repository
GitHub - cs230-stanford/cs230-code-examples: Code examples in pyTorch and Tensorflow for CS230
Bootstrapping a multimodal project using MMF, a PyTorch powered MultiModal Framework
From image to language and back again (Journal Article) | NSF PAGES
Visual Recognition with Text - Winter 2017
CVPR 2020 Workshop - Keynote: Hui Wu
CILVR at NYU
http://www.tamaraberg.com/teaching/Spring_15/