[論文紹介] 最小経路法とCNNを統合したPath-CNN - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 論文について Progressive Minimal Path Method with Embedded CNN Wei Liao, CVPR, 2022 概要 管状構造のセグメンテーションにおいて、最小経路法にCNNを組み込んだPath-CNNを提案し、中心線とセグメンテーションマスクを生成。 管状構造のセグメンテーションにおいて有望な手法であることがU-Netと比較して示された。 Related Work Image futures 最小経路法では、画像ヘッシアンをはじめとして人力で調整された特徴を用いて管状構造を識別するが、このよ
![[論文紹介] 最小経路法とCNNを統合したPath-CNN - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/4258cb4dec6dbec1171412dfaf3a1f7765fa4ac3/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnBicy50d2ltZy5jb20lMkZwcm9maWxlX2ltYWdlcyUyRjExNzQ2MTA3NjA3NjYzMjg4MzclMkYtcld0NGsyeF9iaWdnZXIuanBnP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPTFhOTBmMzBlMDMwYzAzNGZhODM0NTU1MDhhMWFiM2I0%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D60fdabc99e95349ddceb20bab62e7c6f%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCJUU4JUFCJTk2JUU2JTk2JTg3JUU3JUI0JUI5JUU0JUJCJThCJTVEJTIwJUU2JTlDJTgwJUU1JUIwJThGJUU3JUI1JThDJUU4JUI3JUFGJUU2JUIzJTk1JUUzJTgxJUE4Q05OJUUzJTgyJTkyJUU3JUI1JUIxJUU1JTkwJTg4JUUzJTgxJTk3JUUzJTgxJTlGUGF0aC1DTk4mdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz1jZmUzNDU2MjcwNWUyZDBmMDAzZTcxNmM0ZTU1NGZmMQ%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDB0aG90aDAwMCZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPWE4YzMwNzI5MWE2YTYxZWNlNzI4MjA4MTIxOWU1MWUw%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dae81fbc786b6ea40b8fb61335969d332)
pythonの機械学習を用いた衛星画像による土地被覆部類 - Qiita
import pandas as pd import numpy as np import rasterio import geopandas as gpd import matplotlib.pyplot as plt import optuna import statistics from sklearn.feature_selection import SelectKBest, f_classif from rasterstats import point_query from sklearn.model_selection import StratifiedKFold, cross_val_score from sklearn.ensemble import RandomForestClassifier from xgboost import XGBClassifier from
Grounding DINOのファインチューニング(追加学習）の仕方
Grounding DINO とは Grounding DINOとは、物体検出と視覚言語統合のモデルで、特にテキスト条件付き物体検出に強みを持つモデルです。 具体的には、Grounding DINOは自然言語のテキストを入力として受け取り、そのテキストに関連するオブジェクトを画像の中で検出できる機能を持っています。 これにより、従来の物体検出モデルがラベルやカテゴリに基づいて検出を行うのに対し、Grounding DINOはより柔軟で、事前定義されていないカテゴリでもテキストを使って検出が可能です。 この記事を読んでできるようになること Grounding DINOは、訓練を行わなくても利用できるゼロショットモデルとして優れた性能を発揮しますが、航空画像のような特定の領域では物体検出が苦手な場合があります。 本記事では、像のデータセットを使用して、Grounding DINOを自分のデータ
MetaのWatermark Anything Modelの論文を読み解く - stMind
arxiv.org Metaが画像電子透かし技術に関する論文を発表しました。MetaのAnything Modelといえば、Segment Anything Modelがありますが、今回の論文はWatermark Anything Model。一体どのような技術なのか？論文の内容をまとめてみました。 Introのまとめ 画像電子透かし技術は、人間の目には見えない形で画像に情報を埋め込む技術です。従来は著作権保護などを目的としていましたが、近年のAI生成画像の普及に伴い、その用途は大きく変化しています。 ホワイトハウスの行政命令やEUのAI法など、各国政府はAI生成コンテンツの識別を容易にするための規制を導入しており、電子透かしはそのための重要な手段として注目されています。 しかし、従来の電子透かし技術は、画像の一部を切り貼りする「スプライシング」などの操作に対して脆弱です。例えば、電子透か
DeepLabV3を使った商品棚のSemantic Segmenation - Safie Engineers' Blog!
こんにちは。セーフィーで画像認識エンジニアをやっている柏木です。 今回はセーフィーで行ったPoC (Proof of Concept) の一つである、商品棚のSemantic Segmentationについて紹介いたします！ 背景と課題 Semantic Segmentation DeepLabV3 データセットとアノテーション MMSegmentationを使った学習 データセットClassの作成 データセットConfigの作成 学習・テストConfigの作成 環境 学習 評価結果 終わりに 背景と課題 大手スーパーマーケット様より、商品棚の欠品状況を解析したいとのお話がありました。欠品の状況が解析できれば、品出しのタイミングを最適化し、機会損失を削減することができます。イメージングチームではこれらの課題を解決すべく、PoCを行ってみることとしました！ こちらが実際の商品棚の写真になりま
GENIAC第2期成果/データグリッド：汎用画像生成基盤モデルの軽量化のためのTransformersベースLDM—LocalDiT—の開発
データ前処理: 元画像の中央を基準に1:1比率でクロップし、各解像度にリサイズしました。この処理によりアスペクト比の一貫性を保ちつつ、重要な被写体を中心に維持することができました。 効率的なデータパイプライン: WebDatasetフォーマットを採用し、NVIDIA DALIを使用した高速データローディングパイプラインを構築しました。これにより、I/Oボトルネックを最小限に抑え、GPUの稼働率を向上させることができました。 ただし、全解像度のデータを個別に保存する方式を採用したため、ディスク容量の不足や、データ移行に多大な時間を要するなどの課題も生じました。今後の改善点として、最高解像度（1Kや2K）のデータセットのみを保存し、学習時に動的にリサイズする戦略も検討価値があると考えています。 学習過程における特筆すべき観察点 学習過程で以下のような興味深い現象が観察されました： データ品質の
DeepLearningを用いた超解像手法/DRCNの実装 - Qiita
概要 深層学習を用いた、単一画像における超解像手法であるDRCNの実装したので、それのまとめの記事です。 Python + Tensorflow(Keras)で実装を行いました。 論文では長時間学習させているみたいですけど、今回は凄く控えめな規模で行っているので、ほぼ変化はありません... この論文は、CVPR2016で採択された論文で、以前実装したVDSRと同じ著者です。 同時期に2本も論文を執筆していたそうです... 凄い... 今回紹介するコードはGithubにも載せています。 学習済みモデルは容量の関係でアップロードできませんでした... 1. 超解像のおさらい 超解像について簡単に説明をします。 超解像とは解像度の低い画像に対して、解像度を向上させる技術のことです。 ここでいう解像度が低いとは、画素数が少なかったり、高周波成分（輪郭などの鮮鋭な部分を表す成分）がないような画像のこ
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
2. ©2018 ARISE analytics 2 概要 タイトル: Deep Clustering for Unsupervised Learning of Visual Features 著者: Mathilde Caron, Piotr Bojanowski, Armand Joulin, Matthijs Douze https://arxiv.org/abs/1807.05520 一言で言うと すごい点 感想 CNNで特徴抽出してK-meansを繰り返す 教師なしでもCNNで特徴抽出ができる DeepClusterを使って教師なしで pre-training → 少量の画像で fine-tuning というやり方は現実の問題でも使えそう モチベーション 学習データへのラベルづけが大変なので教師なしでやりたい
YOTO(YOU ONLY TRAIN ONCE)を不均衡データ対策の損失関数に適用して画像分類してみた - statsuのblog
この記事は、YOTO(YOU ONLY TRAIN ONCE)の雰囲気を掴むことを目的として、不均衡データ対策の損失関数にYOTOを適用して画像分類してみた記録です。 YOTOを使うことで、1つのモデルでMajorクラスの性能が良いモデル or Minorクラスの性能が良いモデルをテスト時に選択できました。 検証に使ったコードはgithubにあります。 GitHub - statsu1990/yoto_class_balanced_loss: Unofficial implementation of YOTO (You Only Train Once) applied to Class balanced loss 記事の概要 YOTO(YOU ONLY TRAIN ONCE)について ICLR2020でGoogleから発表されたDeep learningに関する技術。 YOTOを適用したモ
Vision-Language Modelを活用した「見た目が近い商品」レコメンド改善の取り組み | メルカリエンジニアリング
こんにちは、メルカリのAI/LLMチームで機械学習エンジニアをしているarr0wとshoです！ 本テックブログでは、Vision-Language Modelの一つであるSigLIP [1]を、メルカリの商品データ（Image-Text Pairs）でファインチューニングし、メルカリの商品画像Embeddingの性能を大幅に改善したプロジェクトについて紹介します。 今回作成したSigLIPの性能を評価するために、商品詳細ページの「見た目が近い商品」のレコメンド機能でA/Bテストを実施しました。 この「見た目が近い商品」のレコメンド機能は、社内ではSimilar Looksと呼ばれています。作成したモデルをSimilar Looksの類似画像検索に適用し、既存モデルとの比較のためのA/Bテストを行いました。 そして、その結果として、主要なKPIにおいて以下のような顕著な改善が確認できました。
Class-Attention in Image Transformers (CaiT) 途中からClass Tokenを追加するモデル解説 - Qiita
原論文 Going deeper with Image Transformers https://arxiv.org/abs/2103.17239 関連研究 Vison Transformerの解説 https://qiita.com/wakanomi/items/55bba80338615c7cce73 結論 ViTの問題点としてself-attentionの類似度計算で特徴の全く異なるクラストークンも含めて処理を行うと，そのクラストークンが悪さをしてしまい精度低下につながる可能性がある．この問題をクラストークンを途中から追加する方法で解決する． 概要 Class-Attention in Image Transformers (CaiT) とはViTの派生モデルで，学習可能な対角行列パラメータを加える．これをLayerScaleと呼ぶ．また，Class Tokenを最初に追加するのでは
[DL輪読会]SoftTriple Loss: Deep Metric Learning Without Triplet Sampling (ICCV2019)
[DL輪読会]SoftTriple Loss: Deep Metric Learning Without Triplet Sampling (ICCV2019)
![[DL輪読会]SoftTriple Loss: Deep Metric Learning Without Triplet Sampling (ICCV2019)](https://cdn-ak-scissors.b.st-hatena.com/image/square/f80dc74bfdd69ce84b27ca9f632ef9e236163ea9/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fyokota20190920dlhack-190920011134-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
[CV勉強会@関東 CVPR2023] 自動運転におけるBEVベース物体認識技術の進化
7/23関東CV勉強会の資料です
![[CV勉強会@関東 CVPR2023] 自動運転におけるBEVベース物体認識技術の進化](https://cdn-ak-scissors.b.st-hatena.com/image/square/c86ca6a853a07afce6d18095bb854ce2726b6e75/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F58120b9abddc4b56bc6e05be2cff08c1%2Fslide_0.jpg%3F26457487)
Instant NeRF の心臓、Multiresolution Hash Encoding をシンプルに実装しつつ2次元画像で試してみる - OPTiM TECH BLOG
こんにちは、プラットフォーム事業部の河内です。最近は新オフィスを堪能しています。 さて、今年の 3 月に NVIDIA から Instant NeRF という手法が発表されました。 blogs.nvidia.co.jp NeRF がどんなものなのか、Instant NeRF が今までの手法と比べ何がすごいのかについては上記の記事でおおまかに掴めるかと思いますが、中身が気になるところです。 NVIDIA の記事中で Tiny CUDA Neural Networks ライブラリを使用とあるのでリポジトリを見てみると、どうやら TensorFlow や PyTorch を利用したものではなく、Instant NeRF の根幹となる手法のためにチューニングされたフレームワークのようです。 github.com リポジトリの README では 2 つの手法とその論文が引用されており、ひとつは "
ラベルなしデータを用いた Dense Tracking の研究事例 / Learning Dense Tracking from Unlabeled Videos
社内勉強会での発表資料です。 ラベルなし動画を用いて画素レベルでのトラッキング（dense tracking）を学習する研究事例を紹介します。 近年では、応用先である Video Object Segmentation において教師あり手法に匹敵する性能を持った教師なし手法が提案されつつあり…
継続学習の物体検出への応用
はじめに こんにちは、DSチームの川﨑です。 今回は、物体検出手法に対して継続学習という技術を適用する研究分野の紹介記事になります。継続学習は近年急激に発展を遂げる基盤モデルとも関係があり、下流タスクへのチューニングに伴う精度劣化を避けるための手法として組み合わせるなど、今後も発展が想定される研究分野と考えられます。 ぜひ、ご一読いただけると幸いです。 流れとしては、継続学習の概観に触れたのち、継続学習を物体検出に応用した分野のレビューと研究例を紹介します。 なお、本記事は主に以下の2つのサーベイ論文を参考に執筆しています。 継続学習 A Comprehensive Survey of Continual Learning: Theory, Method and Application 物体検出における継続学習 (CLOD) Continual Object Detection: A re
実は強い 非ViTな画像認識モデル
社内のCV輪講で使用した資料です。 CNNを構造の中心とした画像認識モデルアーキテクチャについて、近年登場したものを紹介しました。 以下スライド中の参考文献のリンク [1] https://arxiv.org/abs/2103.07579 [2] https://arxiv.org/abs…
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mip-NeRF ICCV2021輪読会スライド
微分可能レンダリング (CVIM研究会 チュートリアル)
[CV勉強会@関東 CVPR2023] UniAD: Planning-oriented Autonomous Driving![[CV勉強会@関東 CVPR2023] UniAD: Planning-oriented Autonomous Driving](https://cdn-ak-scissors.b.st-hatena.com/image/square/e28c14dc2d4bbd8f7af63c621b36d8b422a111ee/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F1437f0d274d94815af7a9e22b6beda3d%2Fslide_0.jpg%3F26456724)
