Vision-Language Modelによる画像品質評価のまとめ - Sansan Tech Blog
はじめに 研究開発部の今井海人です。 普段は画像復元や画像の品質評価といった分野に携わっています。 今年はVision-Language Model（VLM）の発展が特筆すべきトレンドだったかと思います。特にGPT-4Vの登場により、画像品質評価におけるアプローチも大きく変わる可能性が示唆されています。最新のベンチマークにおいて、GPT-4Vが人間の画像品質評価に匹敵するほどの精度に到達しており、新時代の幕開けを感じさせます。この記事では、画像品質評価におけるVLMを中心に、いくつかの関連論文をピックアップして紹介していきます。 なお、本記事はSansan Advent Calendar 2023の15日目の記事です。 画像品質評価とは 画像品質評価（Image Quality Assessment, IQA）は、写真や生成画像が人間にとってどの程度好ましいかや、美しいのかを評価することが
What are Diffusion Models?
Date: July 11, 2021 | Estimated Reading Time: 32 min | Author: Lilian Weng [Updated on 2021-09-19: Highly recommend this blog post on score-based generative modeling by Yang Song (author of several key papers in the references)]. [Updated on 2022-08-27: Added classifier-free guidance, GLIDE, unCLIP and Imagen. [Updated on 2022-08-31: Added latent diffusion model. [Updated on 2024-04-13: Added prog
研究効率化Tips_2024 / Research Efficiency Tips 2024
本資料はclapper.challengeの研究メンバーと作成した資料です。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有しています。 http://xpaperch…
第12回全日本コンピュータビジョン勉強会：画像の自己教師あり学習における大規模データセット
2024年3月3日開催の第12回全日本コンピュータビジョン勉強会における発表資料です．
Sakana AI
概要 Sakana AIは進化や集合知などの自然界の原理を応用して基盤モデルを開発することを目指しています。私達の目標は、モデルを自ら訓練し開発することだけではありません。基盤モデルの開発を効率化、高度化、自動化するための新たな手法を生み出すことに挑戦しています。この目標に向けた第一歩として、私たちはプレプリント「Evolutionary Optimization of Model Merging Recipes （モデルマージの進化的最適化）」を公開しました。 このリリースの要点は以下の通りです。 進化的モデルマージという手法を提案します。これは、多様な能力を持つ幅広いオープンソースモデルを融合（マージ）して新たな基盤モデルを構築するための方法を、進化的アルゴリズムを用いて発見する手法です。私たちの手法は、ユーザーが指定した能力に長けた新しい基盤モデルを自動的に作成することができます。既
LLaVA-NeXT: Improved reasoning, OCR, and world knowledge
In October 2023, we released LLaVA-1.5 with a simple and efficient design along with great performance on a benchmark suite of 12 datasets. It has since served as the foundation of many comprehensive studies of data, model, and capabilities of large multimodal models (LMM), and has enabled various new applications. Today, we are thrilled to present LLaVA-NeXT, with improved reasoning, OCR, and wor
日本語CLIP 学習済みモデルと評価用データセットの公開
はじめに 基盤モデル がAIの新潮流となりました。基盤モデルというとやはり大規模言語モデルが人気ですが、リクルートでは、画像を扱えるモデルの開発にも注力しています。画像を扱える基盤モデルの中でも代表的なモデルのCLIPは実務や研究のさまざまな場面で利用されています。CLIPの中には日本語に対応したものも既に公開されていますが、その性能には向上の余地がある可能性があると私たちは考え、仮説検証を行ってきました。今回はその検証の過程で作成したモデルと評価用データセットの公開をしたいと思います。 公開はHugging Face上で行っていますが、それに合わせて本記事では公開されるモデルやデータセットの詳細や、公開用モデルの学習の工夫などについて紹介します。 本記事の前半では、今回公開するモデルの性能や評価用データセットの内訳、学習の設定について紹介します。記事の後半では大規模な学習を効率的に実施す
LLaVA
🔥[NEW!] LLaVA-1.5 achieves SoTA on 11 benchmarks, with just simple modifications to the original LLaVA, utilizes all public data, completes training in ~1 day on a single 8-A100 node, and surpasses methods that use billion-scale data. LLaVA represents a novel end-to-end trained large multimodal model that combines a vision encoder and Vicuna for general-purpose visual and language understanding,
Computer Vision & Pattern Recognition - Google Scholar 統計情報
h5-指標は過去5年間に発表された論文の h-指数です。h の中でも最大値であり、2022〜2018 に発表された h 論文はどれにおいても必ず h 引用があります。非表示
Lumiere - Google Research
Google Research LUMIERE A Space-Time Diffusion Model for Video Generation Read Paper
Stable Signature: A new method for watermarking images created by open source generative AI
At FAIR, we’re excited about driving continued exploratory research in generative AI, but we also want to make sure we do so in a manner that prioritizes safety and responsibility. Today, together with Inria, we are excited to share a research paper and code that details Stable Signature, an invisible watermarking technique we created to distinguish when an image is created by an open source gener
⼤規模⾔語モデルとVision-and-Language
IBIS2023の企画セッション「Vision and Languageの最前線」で講演した資料です．
GANalyze - MIT
GANalyze: Toward Visual Definitions of Cognitive Image Properties Lore Goetschalckx*12 Alex Andonian**1 Aude Oliva1 Phillip Isola1 1MIT Computer Science and Artificial Intelligence Laboratory, 2KU Leuven (Belgium) We introduce a framework that uses Generative Adversarial Networks (GANs) to study cognitive properties like memorability, aesthetics, and emotional valence. These attributes are of inte
CoOp：CLIPのテキストテンプレートはどう決めればいい？
3つの要点 ✔️ CLIPのPromptエンジニアリングが実用上大きな課題となる ✔️ そのPrompt エンジニアリングをEnd-to-Endで自動的に学習するCoOpを提案する ✔️ CoOpの有効性とロバスト性を11つのデータセットを用いて示した Learning to Prompt for Vision-Language Models written by Kaiyang Zhou, Jingkang Yang, Chen Change Loy, Ziwei Liu (Submitted on 2 Sep 2021 (v1), last revised 21 Sep 2021 (this version, v2)) Comments: Published on arxiv. Subjects: Computer Vision and Pattern Recognition (cs.
CLIPから見るAttentionの有用性 | Shikoan's ML Blog
Attentionはこれまでの研究から多く有用性は報告されていたのですが、ネットワークの内側で使われることが多く、わかりやすく差を体感できる例を自分は知りませんでした。今回はCLIPのAdapterという点から、Attentionの有無による精度比較を行ってみます。 はじめに Adapterとは 最近研究でよく見られるようになりました。基盤モデルのような大きな事前訓練済みモデルに対し、小さなネットワークを差し込み、その部分のみ訓練することで任意の訓練データに対して適用させるものです。ファインチューニングとの違いは以下の通りです。 Adapter 追加小さなネットワークのみ訓練、元モデルは訓練しない 訓練速度が速い 元モデルはそのままなので、破滅的忘却に悩まされるリスクが減る ファインチューニング モデルの全体ないし、末尾の特定層のみ訓練 特に元モデルが大きくなると、訓練速度がAdapter
GPT-4Vができることをまとめてみた - 電通総研 テックブログ
こんにちは。ISID 金融ソリューション事業部の若本です。 先日、GPT-4から発展し、画像も扱うことができるGPT-4 with vision（GPT-4V）が発表されました。GPT-4Vは大規模マルチモーダルモデル（LMMs: Large multimodal models）と呼ばれるAIモデルの一種であり、GPT-4の入力として「画像」を拡張したものになります。 今日は Microsoft Researchの論文[1]を中心に、Open AIの発表したSystem Card[2]も踏まえ、GPT-4Vでできることや苦手とすること、そして実用上の制限について解説します。 GPT-4Vの特徴 ① 画像とテキストを入力にできる GPT-4Vでは、GPT-4のテキスト入力に加えて画像も入力することが可能になりました。 画像は複数枚入力することが可能であり、かつ、画像とテキストを任意に交互に組
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Identifying AI-generated images with SynthID
Introducing StylEx: A New Approach for Visual Explanation of Classifiers
Objects365 Dataset
About