Introducing Multimodal TextImage Augmentation for Document Images In this blog post, we provide a tutorial on how to use a new data augmentation technique for document images, developed in collaboration with Albumentations AI. Motivation Vision Language Models (VLMs) have an immense range of applications, but they often need to be fine-tuned to specific use-cases, particularly for datasets contain
はじめに こんにちは、End-to-End自動運転開発チーム(以降E2Eチーム)で自動運転システムを開発している堀ノ内と塩塚です。本記事はE2Eチームの取り組みを知ってもらう連載企画の第二弾として、End-to-end自動運転におけるマップ認識のあり方と、実際のTuringの開発状況についてお話します。 Turingでは2025年までに東京の複雑な道路を30分以上介入なしで運転できるようなE2E自動運転システムを開発する「Tokyo30」というプロジェクトに取り組んでいます。 私達が目指すE2E自動運転の基本概念については連載企画第1回の以下の記事を参照ください。 End-to-end自動運転におけるマップ認識 E2E自動運転モデルのメインの仕事は、自己車両がどのような経路で進むべきか（Path Planning）を決めることですが、これを賢く行うには、周囲の物体を検出（3次元物体検出）し
述語論理を用いたユーザの意図に忠実なテキスト-画像拡散モデル 拡散モデルは多様で創造的な画像を高品質に生成することができるが，テキストに基づく生成を行うと，テキストが意図する内容を正確に再現することに失敗することが多い．例えば，指定されたオブジェクトが生成されなかったり，形容詞が意図しないオブジェクトを誤って変更したりすることがある．また，オブジェクト間の所有関係を示す関係が見落とされることも多い．テキストに含まれるユーザの意図は多様であるにもかかわらず，既存の手法ではそのような意図の一部しか解決することができなかった． 本研究では，ユーザの意図をより効果的かつ統一的に表現できるフレームワークであるPredicated Diffusionを提案する．この手法では，テキストの意図を述語論理を用いた命題として表現する．そして，拡散モデルの内部にあるアテンションマップの強度がファジィ論理に対応し
1 概要 Cannyエッジ検出器 (Canny Edge Detector) とは，コンピュータビジョンで用いられる古典的な画像エッジ特徴の検出アルゴリズムである [Canny 1986]．微分フィルタを用いるだけの単純なエッジ検出と異なり，一筋に連なっった１画素幅のエッジ群を抽出できる． この記事では，Cannyエッジ検出器の発想とアルゴリズムについて，簡潔に紹介したい． CannyEdge検出器の利点は，抽出されたエッジは物体境界を含んでいることが多く，その後の高次な認式処理に用いやすいエッジ特徴になっているところにある．それまでは，SobelフィルタやPrewittフィルタで抽出していた生なエッジと比べると，Cannyエッジ検出器は綺麗に連なっていて１画素幅のエッジを抽出できる． その後に，機械学習ベースのバウンダリー検出手法に取ってかわられるまで(例：probability bou
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Introducing TextImage Augmentation for Document Images
【E2E連載企画 第2回】東京の街を学習する：マップレス自動運転のモデル開発
述語論理を用いたユーザの意図に忠実なテキスト-画像拡散モデル
Cannyエッジ検出器(Canny Edge Detector) | CVMLエキスパートガイド