1.はじめに 画像の何処に何が写っているかを推定することを物体検出と言います。今回は、これに加えてそれがどんな形をしているかも推定（セグメンテーション）する、Mask R-CNNをご紹介します。 2.Mask R-CNNとは？ Mask R-CNNは、Faster R-CNNの拡張版なので、まずFaster R-CNNから説明します。 Faster R-CNNは、CNNを用いて物体の候補領域を抽出し、領域位置とクラスの確率を同時に推定するモデルです。つまり、物体にバウンディングボックスを掛け、どのクラスに属するかを出力します。 Mask R-CNNではこれに加えて、バウンディングボックス内のピクセル単位でクラス分類を行うモデルです。つまり、物体の形も推定するわけです。 3.コード コードはGoogle Colabで動かす形にしてGithubに上げてありますので、それに沿って説明して行きます
はじめに 物体検出モデルの進展Part2になります。Part1の知識はあることを前提に話をすすめるので、R-CNN、Fast R-CNN、Faster R-CNNを聞いたことない人はPart1を先によんでください。 今回扱うモデルは YOLO v1 (論文はこちら) SSD (論文はこちら) R-FCN (論文はこちら) です。 ミスがあったらぜひご指摘お願いいたします。 YOLO v1 YOLOはYou Only Look Onceの略であり、その名の通り推論の速さに焦点を当てたモデルになります。 まず画像をS×Sのgridに分割し、もし物体の中心が分割されたセルに位置すれば、そのセルは物体を検出することになります。それぞれのセルはB個のBounding Boxと信頼スコアを予測します。信頼スコアは Pr(Object)* $IOU_{pred}^{truth}$で計算されます。Boun
社内外・学生・大学、多面的な共創と人材育成が好サイクルを生み出す ーアクセンチュア 保科学世氏インタビュー | IoT NEWS
2022-02-042021-11-02 社内外・学生・大学、多面的な共創と人材育成が好サイクルを生み出す ーアクセンチュア 保科学世氏インタビュー アクセンチュアは、各分野の専門家とともに、顧客と新規サービスなどを共創する「アクセンチュア・イノベーション・ハブ東京（AIT）」や、AI活用支援のハブ「AIセンター」といった拠点を構える他、産業界が連携しデータサイエンティストを育成する「一般社団法人サーキュラーエコノミー推進機構（CEO）」への参画、NPO法人CANVASと協力した小学生向け課題解決型ロボットプログラミング講座「Robo＊C」の運営など、多岐にわたるイノベーション創造と人材育成に向けた取り組みを行っている。 そこで今回は、求められるDX人材やデジタルと人の在り方から、どのような想いで各取り組みを発足し運営しているのかについて、アクセンチュア ビジネス コンサルティング本部 A
《日経Robotics》自然言語処理発のディープラーニング技術が画像認識に流入し革新、FacebookのDETR、第3の基幹部品Self-Attentionを多用
機械翻訳や質問応答など自然言語処理（NLP）の領域で発祥した、とあるディープラーニング技術が今、画像認識の領域に本格流入し、大きな成果を生み出し始めた。 自然言語処理と画像認識、2つの領域に深く精通し、米グーグルとディープラーニング技術の先端開発で常にしのぎを削る米IT大手、Facebook社が開発した「DETR（detection transformer）」である1）。 ロボットや自動運転車などで必須となる、特定の物体領域を見つけて切り出す処理「オブジェクト検出」において、このDETRはこのタスクの代表的な既存手法「Faster R-CNN」に匹敵する性能を実現しつつ、必要な演算量を1/2以下と大幅に減らすことに成功した（図1）。 しかも、DETRはネットワーク構造も非常にシンプルになっており、ディープニューラルネット部以外に複雑な後処理が必要だったFaster R-CNNなどの既存手法
こんにちは 今回は「NFL 1st and Future - Impact Detection」というコンペに挑戦しました。 NFL 1st and Future - Impact Detection 結果はpublic94位（銅）→private104位（メダルなし）/459でメダル獲得ならずでした。 ワンチャン銀とか取れちゃうんじゃないかと期待して参加してみましたが全くそんな事はありませんでした。調子に乗ってました全力で謝罪します。 Object detectionという分野に関して小麦コンペで触ったときには何もわからなかったので、今回は基本的な部分を学びながらコンペに取り組みました。本記事では簡単な概要、自分の取組内容を書いて、最後に学んだことを自分なりにまとめます。 ※なお、Object detectionは今自分が挑戦するべき分野でないと悟ったためかなり浅くなっています。 コンペ
以下の論文の内容をまとめた。 Vision GNN: An Image is Worth Graph of Nodes 2022/06 https://arxiv.org/abs/2206.00272 Kai Han, Yunhe Wang, Jianyuan Guo, Yehui Tang, Enhua Wu パッチ化した画像でグラフを構築し、グラフニューラルネットワークで特徴抽出、画像分類や物体検出タスクに利用する。TransformerやMLPを使った画像処理の研究とコンセプトは似ている。 まとめ 前提/課題 CNN, transformer, MLP, 等を利用してコンピュータビジョンモデルが改善されている 画像中の物体は通常、形状が不規則で四角形ではないため、ResNetやViTなどの従来のネットワークで一般的に使われているグリッドやシーケンス構造は、冗長で柔軟性がなく、処理しに
人間中心のコンピュータービジョンは、大規模でラベル付きの人間のデータのおかげで、ここ数年で大きな進歩を遂げています。しかし、プライバシー、法律、安全性、倫理面での深刻かつ重要な問題により、人間のデータを取得することには限界があります。また、既存のデータセットには、データ収集時やデータのアノテーション時に生じたバイアスが含まれており、そのようなデータを用いて学習すると、モデルに悪影響を与えます。さらに、既存のほとんどの人間のデータは、コンテンツの多様性、人間の活動やポーズ、ドメイン非依存性などに関する適切な分析を行っていません。このような問題を軽減するために、実世界のデータを使用する代わりに、合成データが登場しています（過去のブログ記事「Unity Computer Vision Datasets を使ったデータ中心型 AI」や「コンピュータービジョンで住居内のインテリジェントソリューション
GitHubリポジトリ 概要 Mask R-CNNと提供されている学習済みのモデルを使って、画像中の対象物のみをRGBデータとして抽出する。 そのRGBデータをK-Meansでクラスタリングすると対象物のドミナントカラーを抽出できる。 例 ピザ(pizza) Photo by mahyar motebassem on Unsplash 信号機(traffic light) Photo by Aleksandr Kotlyar on Unsplash 犬(dog) 使い方 $ git clone https://github.com/xy-gao/instance-dominant-colors.git $ cd instance-dominant-colors $ pip3 install -r requirements.txt from instance2color import Ins
OpenCV DNN 入門
画像処理のOSSとして最もシンプルな構造を持つソフトはOpenCV(Open Source Computer Vision)だと思われます。 1999年、Intelの Gary Bradskyによって開発され、 2000年に発表された。その後、Vadim Pisarevskyたちが加わり、2008年以降、Willow Garageの支援を得て、Open Sourceとして開発が活発に行われてきました。現在、OpenCVのバージョンは4.xです。Windows, Linux, OS Xなどのクロス・プラットホームで作動します。利用できる言語はPython, C++, Javaなどです。OpenCV の公式サイトは opencv.orgです。 このページでは、OpenCV-Python、つまり、the Python API of OpenCVを用います。個人的理由からMacOS上で使用しますが
Fracture Detection in Wrist X-ray Images Using Deep Learning-Based Object Detection Models 手首の骨折は、病院、特に救急隊でよく見られる症例です。医師はさまざまな医療機器からの画像を必要とし、患者の病歴と身体検査はこれらの骨折を正しく診断し、適切な治療を適用するために必要です。この研究は、手首のX線画像の深層学習を使用して骨折の検出を実行し、この分野に特化していない医師、特に救急隊、特に骨折の診断を支援することを目的としています。この目的のために、ガジ大学病院から取得した手首X線画像のデータセットに対して、深層学習ベースのオブジェクト検出モデルを使用して、20の異なる検出手順が実行されました。ここでは、DCN、Dynamic R_CNN、Faster R_CNN、FSAF、Libra R_CNN、PA
Hybrid Task Cascade for Instance Segmentation - 医療系AIエンジニアの技術メモ
スポンサーリンク Fig1. Cascade Mask R-CNNからHTCへのモデル構造の変遷 論文URL http://openaccess.thecvf.com/content_CVPR_2019/papers/Chen_Hybrid_Task_Cascade_for_Instance_Segmentation_CVPR_2019_paper.pdf 2019年のCVPRで公開 ポイント COCO 2018 Challenge Object Detection Taskにて1位になったネットワークHTC(Hybrid Task Cascade)を提案 HTCはインスタンスセグメンテーション用ネットワーク Mask R-CNNをベースとし、RPN以降の構造をカスケード化 bounding box検出用特徴量、インスタンスセグメンテーション用特徴量、セマンティックセグメンテーション用特徴
最新の機械学習は、Pytorchのラッパーライブラリを使うケースが多い ObjectDetectionタスクのモデルであれば、mmdetectionやdetectron2などのpytorchラッパーを通して使われていることが多い。 例えば、FaceBookResearchのモデルは、FaceBookResearchが使いやすいdetectron2を通して発表している。 以下のモデルはdetectron2で使えるモデルである。 DensePose: Dense Human Pose Estimation In The Wild Scale-Aware Trident Networks for Object Detection TensorMask: A Foundation for Dense Object Segmentation Mesh R-CNN PointRend: Image S
オブジェクト検出：速度と精度の比較（より高速なR-CNN、R-FCN、SSD、FPN、RetinaNet、YOLOv3） 異なる物体検出器間で公正な比較を行うことは非常に困難です。どのモデルが最適かについての正解はありません。実際のアプリケーションでは、精度と速度のバランスをとるための選択を行います。検出器のタイプに加えて、パフォーマンスに影響を与える他の選択肢を認識する必要があります。 特徴抽出器（VGG16、ResNet、Inception、MobileNet）。 エクストラクタの出力ストライド。 画像の解像度を入力します。 マッチング戦略とIoUしきい値（損失の計算で予測がどのように除外されるか）。 非最大抑制IoUしきい値。 難しい例のマイニング比率（正と負のアンカー比率）。 提案または予測の数。 境界ボックスエンコーディング。 データ拡張。 トレーニングデータセット。 トレーニン
こんな方におすすめの記事です 最先端のAI技術をビジネスで実用化したい 物体検出の最新動向を知りたい 製造業など各業界における物体検出の応用可能性を知りたい この記事を読み終えるのに必要な時間 10分未満 劇的に進歩している「物体検出」 こんにちは！AI Research & Innovation Hubのつっちーです。 今回のブログテーマは「物体検出」です。 物体検出という技術はここ数年、Deep Learningの力によりものすごい勢いで進歩し劇的に精度が向上しています。 本ブログでは、製造業・建設業・土木業・医療など様々な分野に応用可能な物体検出について、概要から応用事例、実装までのポイントをお届けします！ 目次 物体検出って何？ どこに物体検出なんて使えるの？ 物体検出手法のカテゴリ分け 最新の物体検出モデル実装 まとめ 1. 物体検出って何？ 物体検出は一言でいうと画像内の物体を
愛知県は製造業が盛んなことで有名ですが、農業総産出額も2922億円（2021年）で全国8位です。そのうちキャベツの産出額は、181億円で約6％を占め、全国シェアも19％と常に全国1位の座を競っている状況です。 このようにキャベツは愛知県にとって重要な農産物です。しかし、2020年に愛知県農業総合試験場が生産者に対して行ったヒアリング調査では、将来の生産継続、順位維持に対して悲観的な結果が報告されています。加えて、キャベツを生産する農作業が身体的に負担の大きい重労働であることから、担い手の高齢化に伴い、農作業の軽労化への強い要望が挙げられています。 キャベツの収穫作業は、広大な圃場(ほじょう)に定植されたキャベツの結球状態を確認しながら刈り取り、1個当たり1キログラムを超えるキャベツを作業車に搭載して運搬し、収穫の総重量は300キログラムに及ぶこともあります。国内大手の農機具メーカーから販売
【YOLOXで自前のアプリを作る。その2】- GoogleColaboratoryでYOLOXをとりあえず試す。 - Qiita
【YOLOXで自前のアプリを作る。その2】- GoogleColaboratoryでYOLOXをとりあえず試す。PythonDeepLearningYOLOGoogleColaboratoryYOLOX 画像に写っているものを検出する「物体検出」にはR-CNNやSSD,YOLOといったディープラーニングを用いた手法があります。 なかでもYOLOは処理速度が速く精度も高いといわれています。 このYOLOにはいくつかバージョンがあるのですが、今回は最新バージョンであるYOLOXをGoogleColaboratoryで試す方法について記載していこうと思います。 最終的には自分で用意した画像から学習データを作成して、そのデータでYOLOXを学習させ自作のPythonアプリに組み込むところまでやろうと思います。 ・【YOLOXで自前のアプリを作る。その1】- YOLOXで学習させるための、COCO形
YOLOv4: Optimal Speed and Accuracy of Object Detection Date: 2020-04-26 Speaker: Hiroshi Nishigami Links: pdf: https://arxiv.org/pdf/2004.10934.pdf abs: https://arxiv.org/abs/2004.10934 github: https://github.com/AlexeyAB/darknet はじめに yolov3 の著者 pjreddie (Joseph Redmon) が出した論文ではない pjreddie は CV の研究から引退。 軍事利用やプライバシーの問題を無視できなくなったからだとか。 この論文 yolov4 の first author は、 darknet を fork して開発を続けていた人。 本人のコメン
ザックリまとめ Hybrid Task Cascade for Instance Segmentation論文 - Qiita
Hybrid Task Cascade for Instance Segmentation論文まとめ 2019年1月にsubmitされた論文です。 Cascade-R-CNNをInstance Segmentationにも適用した論文。 arXivはこちら 関連論文 Faster R-CNN論文 2015年発表 Mask R-CNN論文 2017年発表 Cascade R-CNN論文 2017年発表 まず本論文の概要を説明し、続いて関連手法を説明する形で見ていこうと思います。 Hybrid Task Cascade for Instance Segmentationの概要 まず、この論文の目指すところは、既存の手法を組み合わせることで高精度なInstance Segmentationの達成です。 Instance Segmentationとは以下のようなものです。(本論文より引用) ざっく
cvpr.challengeの活動でCVPR2019網羅的サーベイ報告会の物体検知についての発表を聴講しての私の受け取った内容を抜粋しました。大きな流れとトレンドを作っている最近までの重要論文を知ることができ、勉強になった。 物体検知(Object Detection)とは、コンピュータビジョンの中でも、画像中に「何」(複数の場合もあり)が「どこ」にあるというタスクの解決を目指します。(画像中で検出した領域へのBounding Boxという形で示すことが多い) 代表講演抜粋版はこちら 講演：物体検知メタサーベイ 発表者 東京電機大学/産総研 美濃口宗尊氏 物体検知手法の変遷Overview 物体検知手法の歴史(2001~2019年)は下の図のようになっている。 2000年代初頭にエポックメイキングな出来事として、デジカメに顔認識機能が実装された。それは、Viola-JonesによるHaar
記事の更新 動かしやすいようにcolab実装版を書きました。 ぜひ以下の記事をご参照ください。 （dataloaderが速くなった） 2022/4/26更新 学習,推論,評価基盤を整えて，バグの修正を行ったコードを公開しました． 実験を行う際はこちらのコードを使用することをお勧めします． https://github.com/Ryunosuke-Ikeda/Faster-R-CNN-pytorch はじめに Faster R-CNNをちゃんとしたデータセットで動かしている記事が少なくてかなり苦労したから備忘録 初めての記事投稿なので至らないところもあるとは思いますが何か間違い等ありましたらご指摘をお願いします。 諸注意 ※本記事はPSCAL VOCフォーマットのデータセット向けです。 私はBDD100KというデータセットをPascalVOCフォーマットに変換して学習を行ったためclassラ
はじめに この記事ではDetectron2というFacebook AIが開発している物体検出ライブラリを利用して，自作のデータセットに対して物体検出をしてみます．実際にやってみるとDetectron2に関する日本語・英語の情報があまり見つからず少し苦労したので，私と同じようにDetectron2で物体検出をしようとしている人の助けになれば幸いです． データセットとして日本硬貨４種類（1円，5円，10円，100円）が含まれた画像を用意し，PretrainedのFaster R-CNNを訓練しています．結果として次のように硬貨を検知できました． ※データセットに50円，500円硬貨が含まれていないのは，たまたま財布に入っていなかったためです． ※今気づきましたがhundredをスペルミスしてますね．恥ずかしいですが直すのが面倒なのでこのままで行きます． 僕は深層学習に関して全く詳しくないため，
Deep Learning資格試験 まとめ
はじめに 日本ディープラーニング協会の Deep Learning 資格試験（E 資格）の受験に向けて、調べた内容をまとめていきます。 応用数学 線形代数 演算規則 和 スカラー倍 行列式 単位行列 逆行列 連立方程式 行基本変形 固有値分解 固有値、固有ベクトル 特異値分解 いろいろな距離 マンハッタン距離 ユークリッド距離 マハラノビス距離 確率・統計（１） 集合 和集合 共通部分 絶対補 相対補 確率 頻度確率 ベイズ確率 条件付き確率 独立な事象の同時確率 ベイズ則 期待値 分散・共分散 分散 共分散 標準偏差 確率変数と確率分布 さまざまな分布 確率・統計（２） 統計的推定 最尤推定 情報理論 自己情報量 平均情報量 結合エントロピー 条件付きエントロピー 相互情報量 相対エントロピー 交差エントロピー 機械学習 機械学習（１） 学習アルゴリズム タスクＴ 性能指標Ｐ 経験Ｅ 前
くずし字コンペ：CenterNetについて考察してみました - METRICA-tech blog
この記事はKaggle アドベントカレンダー 2019の7日目の記事です。 幅野です。 くずし字コンペの上位解法として利用されていた物体検出モデルの一つであるCenterNetについて紹介・考察をしていきます。 今回紹介するCenterNetは「Object As Points」で提案されているモデルです。 arxiv.org 「CenterNet: Keypoint Triplets for Object Detection」で提案されているCenterNetは下記で弊社の技術ブログとして紹介しているので良かった見てみてください。 metrica-tech.hatenablog.jp 最後にCenterNetのStackingのアイデアについて紹介できればと思います。 背景：くずし字コンペ くずし字コンペは文書画像からくずし字の種類と位置を推定するコンペです。 https://www.k
はじめに OpenCVを使った画像処理の実験。 物体検出の練習として、一部界隈で熱狂的なファンを持つ（？）マルフク看板を写真の画像から探してみます。 といっても物体検出というほど立派なことをしていないので、いくらでも改善の余地がありそうですが、まずは取っ掛かりとして。 マルフク看板？ こんなの。 民家や小屋に貼られているのを見たことのある方もいらっしゃると思います。 最近見なくなったとお思いの方も多いかもしれません。 ここではあまり書いていませんでしたが、ファンサイトやTwitterのBotも作ってたりする筋金入りのマルフク看板ファンなのであります。（宣伝） トップページ - マルフク看板コレクション (RC) 電話の金融マルフクbot (@029bot) / Twitter 検証環境 Windows 10 Home (1903) Python 3.6.8 opencv-python==4
![[OpenCV] 写真の中からマルフク看板を探す実験 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/20645230ab91434069a65491bf2f2e501f8ef169/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCT3BlbkNWJTVEJTIwJUU1JTg2JTk5JUU3JTlDJTlGJUUzJTgxJUFFJUU0JUI4JUFEJUUzJTgxJThCJUUzJTgyJTg5JUUzJTgzJTlFJUUzJTgzJUFCJUUzJTgzJTk1JUUzJTgyJUFGJUU3JTlDJThCJUU2JTlEJUJGJUUzJTgyJTkyJUU2JThFJUEyJUUzJTgxJTk5JUU1JUFFJTlGJUU5JUE4JTkzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1mZjUyZGE0Mzk1ZjcyMmMyOGZkMmM4OGE1MTE5Zjc4Mw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBldmVyeWxpdHRsZSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZTdlNGI5ZWVlNGVlYTNhOTRkMzVjMDkyZTViYThlN2I%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D02e1bf61b82d31c54a5d68510a379c38)
自動運転自動車が物体を検出する機械学習モデルに対し、超音波を用いて誤った結果を導くという「ポルターガイスト」攻撃の研究成果を中国・浙江大学などの研究グループが発表している(GitHub プロジェクトページ、 The Registerの記事、 論文: PDF)。 ポルターガイスト攻撃は研究チームが AMpLe (injecting physics into Adversarial Machine Learning) 攻撃と呼ぶ、機械学習モデルに対する物理的な攻撃の一つ。超音波のほか、可視光や赤外線、レーザー、電波、磁場、熱、液体などを用いてセンサーの出力を操作し、誤った結果を導くというものだ。今回の研究は現行の製品ではなく、まだ見ぬ将来の自律走行車がどのように映像スタビライズシステムへの音響攻撃を回避していくかの理解を深めることが目的だという。 映像スタビライザーの加速度センサーやジャイロス
深層学習による斜視眼の自動判定アルゴリズムの提案！
3つの要点 ✔️ スマートフォンの普及により、後天的な発症が増加している斜視眼—斜視—は、白内障といった重篤な目の疾患や脳神経障害との関連があると指摘されている。特に幼少期における発症率が高いことから、予後改善などの実現のために早期発見が重要である。 ✔️ 本研究では，視線の写真・深層学習アルゴリズムに基づき、斜視眼をスクリーニングする深層学習—DL—モデルの構築・検証をおこなう。 ✔️ 評価結果として、area under ROC curve— AUC—は約0.99であった：94.0%の感度と99.3%の特異性を達成していることが確認された。 Detection of Referable Horizontal Strabismus in Children's Primary Gaze Photographs Using Deep Learning written by Ce Zheng;
【YOLOXで自前のアプリを作る。その1】- YOLOXで学習させるための、COCO形式の自前データセットを作成する。 - Qiita
【YOLOXで自前のアプリを作る。その1】- YOLOXで学習させるための、COCO形式の自前データセットを作成する。DeepLearningDockerAIdocker-composeYOLOX 画像に写っているものを検出する「物体検出」にはR-CNNやSSD,YOLOといったディープラーニングを用いた手法があります。 なかでもYOLOは処理速度が速く精度も高いといわれています。 このYOLOにはいくつかバージョンがあるのですが、今回は最新バージョンであるYOLOXで使える学習データセットを自作したいと思います． 最終的には自分で用意した画像から学習データを作成して、そのデータでYOLOXを学習させ自作のPythonアプリに組み込むところまでやろうと思います。 ・【YOLOXで自前のアプリを作る。その1】- YOLOXで学習させるための、COCO形式の自前データセットを作成する。 ← イ
概要 この頃、自然言語屋さんが良く使うTransformerが画像認識の方にまでやって来ているので、このAttention構造だけ理解すりゃあ良いのだろうと思っていたけど、Transformerをそのまま使う人も増えてきた。Transformerの人気が出たのが2017年なので、きっとTransformerに特化した速い実装とかが転がってるんじゃないかと勝手に想像。 そんなわけで、 画像認識屋さんのための「初めてのAttention」 の続きで、Transformerがなんなのか画像認識屋さん向けに説明してみる。 画像認識屋さんの方から、Attention構造を使うっていうのは 画像認識でもConvolutionの代わりにAttentionが使われ始めたので、論文まとめ こんな感じで、ピクセルごとをTokenと考えて、全部のピクセルをバラバラに入れると計算量が増えて無理だから、見る範囲を絞
ヘルステックベンチャーと医療倫理｜Shohei
株式会社Ubieに入社して10ヶ月が経過しました。私のメインの業務はプロダクト開発ですが、社内医師として「医療倫理」の価値観の必要性を強く感じ、２０２２年秋に「医療倫理・医療安全（Medical Safety and Ethics, MSE）」という部署を社内に立ち上げました。MSEの主な役割は、ユーザーが触れうるすべてのコンテンツ、体験が医療倫理・医療安全的に妥当かどうかのサーベイランスならびに第三者的なレビューです。医療倫理の難しいところは、「決められた法を遵守すれば良い」わけではなく、むしろガイドライン外の答えがない領域に対してどのような見解を出すか、です。この記事では、今までの医療倫理の歴史を振り返りつつ、当社の取り組み、そしてITとAIが医療に浸透していく中での「新時代の医療倫理」について考察してみたいと思います。 そもそも「倫理」とは？「倫理」という言葉自体は聞いたことがあって
物体検出(Single Shot MultiBox Detector)画像データ用XMLファイル制作GUI - Qiita
目次 参考ページ ダウンロードリンク 使い方 参考ページ 物体認識用データセット作成支援ツール（Faster R-CNNとかSSDとか PythonのTkinterを使ってみる コピペでできる！Tkinter 【python】マウスドラッグで画像から範囲指定する https://shizenkarasuzon.hatenablog.com/entry/2018/12/31/080612 http://y-okamoto-psy1949.la.coocan.jp/Python/misc/DrawFigs/ https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q10220548240 【Python】Tkinterによる複数ウィンドウの作成 Tkinterの色指定で使用可能な値 Python：処理ファイルをGUIから選択する方法 P
もし生物情報科学専攻の学部生が "StableDiffusion" を理解しようとしたら 1 ~AlexNet~ - 何だって、したしむ
かくびーが東大の生物情報科学科の学生になったのは、大学二年生の八月末日、夏休み半ばのことだった。 別にもしドラ読んだことないのでこれ以上はやめておきます。 さて、発端は以下のツイートです。 そういえば、もし今度越境する知性会議あれば"Stable Diffusion を基礎から理解してみた"やってみたいな— かくびー (@cakkby2) 2022年11月12日 もちろん発表の形でもよかったのですが、せっかくなのでブログの方で連載する形で進めてみようかと思いました。 こちらの記事に、どういう論文を読み進めていけば StableDiffusion など拡散モデルの理解が可能になるかが紹介されていました。 ja.stateofaiguides.com そこで、実際に画像系の深層学習にはあまり詳しくない自分が、これらの論文を読んだうえで、文字に起こしておけば、将来何かの役に立つかもしれないという
はじめに 近年、ディープラーニングの進化により、画像認識技術は飛躍的に向上しています。特に物体検出の分野では、Faster R-CNNのようなモデルが業界のスタンダードとして確立し、多くの応用例を生み出しています。しかし、このような高度なモデルをゼロから実装するのは非常に困難であり、多くの研究者やエンジニアは既存のライブラリを使用して開発を進めています。 torchvision は、PyTorchの公式拡張ライブラリとして、画像認識のためのデータセット、モデル、変換関数を提供しています。そして、その中にはFaster R-CNNの実装も含まれています。 本記事では、Faster R-CNNの論文をベースとしつつ、細かい処理はtorchvision に組み込まれているFaster R-CNNの実装を参考にし、モデルの内部構造や動作原理を明らかにします。 環境 torchvision==0.1
衛星画像からの飛行機の検出は、画像の複雑な背景と、センサーの形状や大気の影響によって引き起こされるデータ取得条件の違いのため、困難な作業です。深層学習手法は、飛行機の自動検出のための信頼できる正確なソリューションを提供します。ただし、有望な結果を得るには、膨大な量のトレーニングデータが必要です。この研究では、Google Earth（GE）の画像を使用し、画像上の各飛行機の境界ボックスにラベルを付けることで、高解像度飛行機（HRPlanes）と呼ばれる新しい飛行機検出データセットを作成します。 HRPlaneには、世界中のいくつかの異なる空港のGE画像が含まれており、さまざまな衛星から取得したさまざまな風景、季節、衛星の形状条件を表します。広く使用されている2つのオブジェクト検出方法、つまりYOLOv4とFasterR-CNNを使用してデータセットを評価しました。私たちの予備的な結果は、提
PyTorchにおけるFocal Lossの実装を行ない、簡単な追試を行ない性能がどのようになるか見ていきます。 Focal Lossについて Facebook AI Research (FAIR)によって2017年に物体検出を対象に提案された損失関数です。 Focal Loss for Dense Object Detection – arXiv 「物体検出におけるR-CNNなどの2段階手法に比べて、1段階手法は高速な一方で性能が劣る課題があった。この性能が劣る理由は、クラス間の不均衡であることを発見し、これを解決するためにFocal lossを提案した。この損失関数を組み込んだネットワークを提案し、既存の2段階検出器の性能を超えつつ、一段階検出器と同等の速度を達成した。」 論文の概要は上記のような内容で、ここでFocal Lossが使われています。Focal Lossは、分類が容易なサ
【論文読み】Semi-convolutional Operators for Instance Segmentation - Qiita
Instance Segmentation のタスクに対する手法を整理・分解し、精度をより向上する Semi-convolutional operators を提案した論文です。 この記事は、Wantedlyの勉強会で取り上げられた論文・技術をまとめたものです。 2018年に読んだ機械学習系論文・技術まとめ at Wantedly Advent Calendar 2018 - Qiita Reference Semi-convolutional Operators for Instance Segmentation [David Novotny, Samuel Albanie, Diane Larlus, and Andrea Vedaldi. ECCV 2018] https://arxiv.org/abs/1807.10712 （文中の図表は論文より引用しています） まずはじめに簡単に
ビデオアクション検出（時空間アクションローカリゼーション）は、通常、今日のビデオの人間中心のインテリジェント分析の開始点です。 Faster R-CNNの2段階のパラダイムは、オブジェクト検出におけるビデオアクション検出の標準パラダイムを刺激します。つまり、最初に人物の提案を生成し、次にアクションを分類します。 。ただし、既存のソリューションはどれも、「誰が、いつ、どこで、何を」レベルまで、きめ細かいアクション検出を提供できませんでした。このホワイトペーパーでは、事前定義されたキーアクションを空間的（関連するターゲットIDと場所を予測することにより）および時間的（正確なフレームインデックスで時間を予測することにより）に正確かつ効率的にローカライズするための追跡ベースのソリューションを紹介します。このソリューションは、2021年の低電力コンピュータビジョンチャレンジ（LPCVC）のUAVビデ
有糸分裂DOmain一般化（MIDOG）チャレンジのためのドメイン適応カスケードR-CNN
Domain Adaptive Cascade R-CNN for MItosis DOmain Generalization (MIDOG) Challenge デジタル組織病理学画像の有糸分裂検出のためのドメイン適応カスケードR-CNN法の概要を提示します。包括的なデータ拡張と既存の一般的な検出アーキテクチャの適応により、提案された方法は、MICCAI2021のMItosis DOmain Generalization（MIDOG）チャレンジで設定された予備テストで0.7500のF1スコアを達成しました。 We present a summary of the domain adaptive cascade R-CNN method for mitosis detection of digital histopathology images. By comprehensive data
Mask R-CNNをCOCO以外のデータセットで学習するために、maskrcnn-benchmarkで提供されているdockerを使おうとしたらいろいろとエラーが起こり詰まったので、遭遇したエラーと解決した方法をメモしておきます。 エラーと解決策 ImportError: libGL.so.1: cannot open shared object file: No such file or directory このエラーは、cv2のインポートをしようとした時に出た。
画像キャプション生成 (Image Captioning): (1) 基本編 | CVMLエキスパートガイド
1. 画像キャプション生成 とは [概要] 画像キャプション生成(Image Captioning)とは，１枚の画像を入力として，その画像中で行われている出来事や人物・動物などの振る舞いなどを説明するキャプション(caption)の文章を生成する問題である．画像中の各要素をそれぞれ画像認識モデルで認識したのち，その画像特徴量や識別されたラベルをもとに，言語モデルを用いてキャプションを生成する． この記事では，画像キャプション生成の技術のうち，ディープラーニング以前の初期の研究から，2017~2018年頃までの深層学習ベースの「基本的手法」を紹介する． 1.1 問題の位置付け 1.1.1 Vision-Language 問題の１つとして 画像キャプション生成は，「画像・動画」と「その説明文章」の対応関係を学習するVision and Language (Vision-Language) の問
Amazon SageMaker で Detectron2 を使って物体検出する | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker で Detectron2 を使って物体検出する この記事は、こちらの AWS blog を翻訳したものです。 深層学習は、さまざまな分野で機械学習（ML）を実装する際の最重要課題となっています。ニューラルネットワークの柔軟性の高さを背景に、コンピュータビジョン（CV）の物体検出タスクなどではニューラルネットワークが人間よりも優れた性能を発揮することが可能になってきました。 CVタスクの1つである物体検出は、医療、小売、農業など様々な分野で応用されています。たとえば小売業では、店舗の棚の画像からSKU（Stock Keeping Unit）を検出して、購買者の傾向を分析したり、商品の再入荷時期を特定したりしたいと考えています。物体検出モデルは、このような多様なユースケースを実現し、店舗内のオペレーションを自動化
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MASK R-CNNで、画像から物体を検出し、形を推定する | cedro-blog
物体検出モデルの進展 Part2 ~YOLOからR-FCNまで~ - Qiita
【Kaggle挑戦記】NLFコンペ振り返り【#5】 - まだタイトルない
【論文読み】画像をグラフ構造として特徴抽出するVisionGNN - Qiita
Unity 合成データを用いた人間中心型のコンピュータービジョン | Unity Blog
Mask R-CNN とK-Meansクラスタリングで画像中の対象物の色を抽出する - Qiita
深層学習ベースの物体検出モデルを使用した手首X線画像の骨折検出
最新の機械学習モデルはライブラリに集約されつつある Detectron2の使い方 - Qiita
オブジェクト検出：速度と精度の比較（より高速なR-CNN、R-FCN、SSD、FPN、RetinaNet、YOLOv3）
物体検出とDeep Learning ～ 入門から応用まで ～ - AI事業 - マクニカ
キャベツ栽培軽労化への取り組み～生育診断アドバイスシステムと収穫支援機械の開発～｜農畜産業振興機構
３番煎じぐらいだけど YOLOv4 をまとめてみた - Qiita
CVPR 2019 網羅的サーベイ報告会 - 物体検知編 - - Qiita
Faster R-CNNをpytorchでサクッと動かしてみた - Qiita
Detectron2で小銭を数える - Qiita
[OpenCV] 写真の中からマルフク看板を探す実験 - Qiita
超音波で自動運転自動車の物体検出を誤らせる「ポルターガイスト」攻撃 | スラド セキュリティ
画像認識屋さんのための「はじめてのTransformer」 - Qiita
torchvisionの実装から見るFaster R-CNN - Qiita
HRPlanes：ディープラーニング用の高解像度飛行機データセット
【PyTorch】Focal Lossの実装と効果の確認【自作損失関数】
E ^ 2TAD：エネルギー効率の高い追跡ベースのアクション検出器
maskrcnn-benchmarkの環境構築で遭遇したエラーと解決方法 - Qiita