愛知県は製造業が盛んなことで有名ですが、農業総産出額も2922億円（2021年）で全国8位です。そのうちキャベツの産出額は、181億円で約6％を占め、全国シェアも19％と常に全国1位の座を競っている状況です。 このようにキャベツは愛知県にとって重要な農産物です。しかし、2020年に愛知県農業総合試験場が生産者に対して行ったヒアリング調査では、将来の生産継続、順位維持に対して悲観的な結果が報告されています。加えて、キャベツを生産する農作業が身体的に負担の大きい重労働であることから、担い手の高齢化に伴い、農作業の軽労化への強い要望が挙げられています。 キャベツの収穫作業は、広大な圃場(ほじょう)に定植されたキャベツの結球状態を確認しながら刈り取り、1個当たり1キログラムを超えるキャベツを作業車に搭載して運搬し、収穫の総重量は300キログラムに及ぶこともあります。国内大手の農機具メーカーから販売
【YOLOXで自前のアプリを作る。その2】- GoogleColaboratoryでYOLOXをとりあえず試す。 - Qiita
画像に写っているものを検出する「物体検出」にはR-CNNやSSD,YOLOといったディープラーニングを用いた手法があります。 なかでもYOLOは処理速度が速く精度も高いといわれています。 このYOLOにはいくつかバージョンがあるのですが、今回は最新バージョンであるYOLOXをGoogleColaboratoryで試す方法について記載していこうと思います。 最終的には自分で用意した画像から学習データを作成して、そのデータでYOLOXを学習させ自作のPythonアプリに組み込むところまでやろうと思います。 ・【YOLOXで自前のアプリを作る。その1】- YOLOXで学習させるための、COCO形式の自前データセットを作成する。 ・【YOLOXで自前のアプリを作る。その2】- GoogleColaboratoryでYOLOXをとりあえず試す。 ← イマココ ・【YOLOXで自前のアプリを作る。その
ザックリまとめ Hybrid Task Cascade for Instance Segmentation論文 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Hybrid Task Cascade for Instance Segmentation論文まとめ 2019年1月にsubmitされた論文です。 Cascade-R-CNNをInstance Segmentationにも適用した論文。 arXivはこちら 関連論文 Faster R-CNN論文 2015年発表 Mask R-CNN論文 2017年発表 Cascade R-CNN論文 2017年発表 まず本論文の概要を説明し、続いて関連手法を説明する形で見ていこうと思います。 Hybrid Task Cascade for Instan
記事の更新 動かしやすいようにcolab実装版を書きました。 ぜひ以下の記事をご参照ください。 （dataloaderが速くなった） 2022/4/26更新 学習,推論,評価基盤を整えて，バグの修正を行ったコードを公開しました． 実験を行う際はこちらのコードを使用することをお勧めします． https://github.com/Ryunosuke-Ikeda/Faster-R-CNN-pytorch はじめに Faster R-CNNをちゃんとしたデータセットで動かしている記事が少なくてかなり苦労したから備忘録 初めての記事投稿なので至らないところもあるとは思いますが何か間違い等ありましたらご指摘をお願いします。 諸注意 ※本記事はPSCAL VOCフォーマットのデータセット向けです。 私はBDD100KというデータセットをPascalVOCフォーマットに変換して学習を行ったためclassラ
はじめに この記事ではDetectron2というFacebook AIが開発している物体検出ライブラリを利用して，自作のデータセットに対して物体検出をしてみます．実際にやってみるとDetectron2に関する日本語・英語の情報があまり見つからず少し苦労したので，私と同じようにDetectron2で物体検出をしようとしている人の助けになれば幸いです． データセットとして日本硬貨４種類（1円，5円，10円，100円）が含まれた画像を用意し，PretrainedのFaster R-CNNを訓練しています．結果として次のように硬貨を検知できました． ※データセットに50円，500円硬貨が含まれていないのは，たまたま財布に入っていなかったためです． ※今気づきましたがhundredをスペルミスしてますね．恥ずかしいですが直すのが面倒なのでこのままで行きます． 僕は深層学習に関して全く詳しくないため，
はじめに OpenCVを使った画像処理の実験。 物体検出の練習として、一部界隈で熱狂的なファンを持つ（？）マルフク看板を写真の画像から探してみます。 といっても物体検出というほど立派なことをしていないので、いくらでも改善の余地がありそうですが、まずは取っ掛かりとして。 マルフク看板？ こんなの。 民家や小屋に貼られているのを見たことのある方もいらっしゃると思います。 最近見なくなったとお思いの方も多いかもしれません。 ここではあまり書いていませんでしたが、ファンサイトやTwitterのBotも作ってたりする筋金入りのマルフク看板ファンなのであります。（宣伝） トップページ - マルフク看板コレクション (RC) 電話の金融マルフクbot (@029bot) / Twitter 検証環境 Windows 10 Home (1903) Python 3.6.8 opencv-python==4
![[OpenCV] 写真の中からマルフク看板を探す実験 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/20645230ab91434069a65491bf2f2e501f8ef169/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCT3BlbkNWJTVEJTIwJUU1JTg2JTk5JUU3JTlDJTlGJUUzJTgxJUFFJUU0JUI4JUFEJUUzJTgxJThCJUUzJTgyJTg5JUUzJTgzJTlFJUUzJTgzJUFCJUUzJTgzJTk1JUUzJTgyJUFGJUU3JTlDJThCJUU2JTlEJUJGJUUzJTgyJTkyJUU2JThFJUEyJUUzJTgxJTk5JUU1JUFFJTlGJUU5JUE4JTkzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1mZjUyZGE0Mzk1ZjcyMmMyOGZkMmM4OGE1MTE5Zjc4Mw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBldmVyeWxpdHRsZSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZTdlNGI5ZWVlNGVlYTNhOTRkMzVjMDkyZTViYThlN2I%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D02e1bf61b82d31c54a5d68510a379c38)
Deep Learning資格試験 まとめ
はじめに 日本ディープラーニング協会の Deep Learning 資格試験（E 資格）の受験に向けて、調べた内容をまとめていきます。 応用数学 線形代数 演算規則 和 スカラー倍 行列式 単位行列 逆行列 連立方程式 行基本変形 固有値分解 固有値、固有ベクトル 特異値分解 いろいろな距離 マンハッタン距離 ユークリッド距離 マハラノビス距離 確率・統計（１） 集合 和集合 共通部分 絶対補 相対補 確率 頻度確率 ベイズ確率 条件付き確率 独立な事象の同時確率 ベイズ則 期待値 分散・共分散 分散 共分散 標準偏差 確率変数と確率分布 さまざまな分布 確率・統計（２） 統計的推定 最尤推定 情報理論 自己情報量 平均情報量 結合エントロピー 条件付きエントロピー 相互情報量 相対エントロピー 交差エントロピー 機械学習 機械学習（１） 学習アルゴリズム タスクＴ 性能指標Ｐ 経験Ｅ 前
Deformable DETRの解説
概要 DETRには以下の弱点がある。 高解像度の画像を扱うことができない。 収束に非常に長い時間がかかる。like 10x ~20x slower than Faster R-CNN. 高解像度画像を扱うことができないのは計算量が O(H^2W^2)であるためであり、収束に非常に長い時間がかかるのは、画像全体を注目するように初期化されたAttention Mapを意味のあるスパースなPixelのみに注目するように学習するコストが高いからであると考えられる。 この2つの課題を緩和するためにDeformable DETR = 画像の一部にのみ注目するTransformerを提案する。 Method Deformable ConvolutionにInspireされ、画像のスパースな一部の点まわりからのみ情報を受け取るDeformable Attention Moduleを提案。 Deformab
自動運転自動車が物体を検出する機械学習モデルに対し、超音波を用いて誤った結果を導くという「ポルターガイスト」攻撃の研究成果を中国・浙江大学などの研究グループが発表している(GitHub プロジェクトページ、 The Registerの記事、 論文: PDF)。 ポルターガイスト攻撃は研究チームが AMpLe (injecting physics into Adversarial Machine Learning) 攻撃と呼ぶ、機械学習モデルに対する物理的な攻撃の一つ。超音波のほか、可視光や赤外線、レーザー、電波、磁場、熱、液体などを用いてセンサーの出力を操作し、誤った結果を導くというものだ。今回の研究は現行の製品ではなく、まだ見ぬ将来の自律走行車がどのように映像スタビライズシステムへの音響攻撃を回避していくかの理解を深めることが目的だという。 映像スタビライザーの加速度センサーやジャイロス
物体検出(Single Shot MultiBox Detector)画像データ用XMLファイル制作GUI - Qiita
目次 参考ページ ダウンロードリンク 使い方 参考ページ 物体認識用データセット作成支援ツール（Faster R-CNNとかSSDとか PythonのTkinterを使ってみる コピペでできる！Tkinter 【python】マウスドラッグで画像から範囲指定する https://shizenkarasuzon.hatenablog.com/entry/2018/12/31/080612 http://y-okamoto-psy1949.la.coocan.jp/Python/misc/DrawFigs/ https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q10220548240 【Python】Tkinterによる複数ウィンドウの作成 Tkinterの色指定で使用可能な値 Python：処理ファイルをGUIから選択する方法 P
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 概要 この頃、自然言語屋さんが良く使うTransformerが画像認識の方にまでやって来ているので、このAttention構造だけ理解すりゃあ良いのだろうと思っていたけど、Transformerをそのまま使う人も増えてきた。Transformerの人気が出たのが2017年なので、きっとTransformerに特化した速い実装とかが転がってるんじゃないかと勝手に想像。 そんなわけで、 画像認識屋さんのための「初めてのAttention」 の続きで、Transformerがなんなのか画像認識屋さん向けに説明してみる。 画像認識屋さんの方から
ヘルステックベンチャーと医療倫理｜Shohei
株式会社Ubieに入社して10ヶ月が経過しました。私のメインの業務はプロダクト開発ですが、社内医師として「医療倫理」の価値観の必要性を強く感じ、２０２２年秋に「医療倫理・医療安全（Medical Safety and Ethics, MSE）」という部署を社内に立ち上げました。MSEの主な役割は、ユーザーが触れうるすべてのコンテンツ、体験が医療倫理・医療安全的に妥当かどうかのサーベイランスならびに第三者的なレビューです。医療倫理の難しいところは、「決められた法を遵守すれば良い」わけではなく、むしろガイドライン外の答えがない領域に対してどのような見解を出すか、です。この記事では、今までの医療倫理の歴史を振り返りつつ、当社の取り組み、そしてITとAIが医療に浸透していく中での「新時代の医療倫理」について考察してみたいと思います。 そもそも「倫理」とは？「倫理」という言葉自体は聞いたことがあって
YOLOとは？画像認識・物体検出の従来手法との違いやメリット・デメリット、最新バージョン、特徴を詳しく解説【2025年版】 - AI Market
YOLOは「You Only Look Once」の略で、AIを活用した画像認識および動画認識で広く使われている代表的な物体検出手法の一つです。物体検出の領域ではおそらく最も多く活用されているAIモデルです。 AIによる自動解析や自動処理がビジネスにおいて必要とされているなか、特にAIを活用した画像・映像解析の役割は大きくなっており、生産性の向上に不可欠な存在となっています。その中でもYOLOは、物体検出における既存のアプローチの限界を克服する新しい手法として注目を集め、多くのAIプロジェクトで実際に活用されています。 本記事では、YOLOの概念について深掘りし、物体検出速度が早い理由、従来手法との違い、YOLOの特徴、バージョン、そしてそのメリット・デメリットについて詳述します。 画像解析技術の導入を検討している経営者の方、より迅速かつ正確な解析手法を求めている方にとって有益な情報源とな
【YOLOXで自前のアプリを作る。その1】- YOLOXで学習させるための、COCO形式の自前データセットを作成する。 - Qiita
画像に写っているものを検出する「物体検出」にはR-CNNやSSD,YOLOといったディープラーニングを用いた手法があります。 なかでもYOLOは処理速度が速く精度も高いといわれています。 このYOLOにはいくつかバージョンがあるのですが、今回は最新バージョンであるYOLOXで使える学習データセットを自作したいと思います． 最終的には自分で用意した画像から学習データを作成して、そのデータでYOLOXを学習させ自作のPythonアプリに組み込むところまでやろうと思います。 ・【YOLOXで自前のアプリを作る。その1】- YOLOXで学習させるための、COCO形式の自前データセットを作成する。 ← イマココ ・【YOLOXで自前のアプリを作る。その2】- GoogleColaboratoryでYOLOXをとりあえず試す。 ・【YOLOXで自前のアプリを作る。その3】- GoogleColabor
はじめに 近年、ディープラーニングの進化により、画像認識技術は飛躍的に向上しています。特に物体検出の分野では、Faster R-CNNのようなモデルが業界のスタンダードとして確立し、多くの応用例を生み出しています。しかし、このような高度なモデルをゼロから実装するのは非常に困難であり、多くの研究者やエンジニアは既存のライブラリを使用して開発を進めています。 torchvision は、PyTorchの公式拡張ライブラリとして、画像認識のためのデータセット、モデル、変換関数を提供しています。そして、その中にはFaster R-CNNの実装も含まれています。 本記事では、Faster R-CNNの論文をベースとしつつ、細かい処理はtorchvision に組み込まれているFaster R-CNNの実装を参考にし、モデルの内部構造や動作原理を明らかにします。 環境 torchvision==0.1
衛星画像からの飛行機の検出は、画像の複雑な背景と、センサーの形状や大気の影響によって引き起こされるデータ取得条件の違いのため、困難な作業です。深層学習手法は、飛行機の自動検出のための信頼できる正確なソリューションを提供します。ただし、有望な結果を得るには、膨大な量のトレーニングデータが必要です。この研究では、Google Earth（GE）の画像を使用し、画像上の各飛行機の境界ボックスにラベルを付けることで、高解像度飛行機（HRPlanes）と呼ばれる新しい飛行機検出データセットを作成します。 HRPlaneには、世界中のいくつかの異なる空港のGE画像が含まれており、さまざまな衛星から取得したさまざまな風景、季節、衛星の形状条件を表します。広く使用されている2つのオブジェクト検出方法、つまりYOLOv4とFasterR-CNNを使用してデータセットを評価しました。私たちの予備的な結果は、提
PyTorchにおけるFocal Lossの実装を行ない、簡単な追試を行ない性能がどのようになるか見ていきます。 Focal Lossについて Facebook AI Research (FAIR)によって2017年に物体検出を対象に提案された損失関数です。 Focal Loss for Dense Object Detection – arXiv 「物体検出におけるR-CNNなどの2段階手法に比べて、1段階手法は高速な一方で性能が劣る課題があった。この性能が劣る理由は、クラス間の不均衡であることを発見し、これを解決するためにFocal lossを提案した。この損失関数を組み込んだネットワークを提案し、既存の2段階検出器の性能を超えつつ、一段階検出器と同等の速度を達成した。」 論文の概要は上記のような内容で、ここでFocal Lossが使われています。Focal Lossは、分類が容易なサ
もし生物情報科学専攻の学部生が "StableDiffusion" を理解しようとしたら 1 ~AlexNet~ - 何だって、したしむ
かくびーが東大の生物情報科学科の学生になったのは、大学二年生の八月末日、夏休み半ばのことだった。 別にもしドラ読んだことないのでこれ以上はやめておきます。 さて、発端は以下のツイートです。 そういえば、もし今度越境する知性会議あれば"Stable Diffusion を基礎から理解してみた"やってみたいな— かくびー (@cakkby2) 2022年11月12日 もちろん発表の形でもよかったのですが、せっかくなのでブログの方で連載する形で進めてみようかと思いました。 こちらの記事に、どういう論文を読み進めていけば StableDiffusion など拡散モデルの理解が可能になるかが紹介されていました。 ja.stateofaiguides.com そこで、実際に画像系の深層学習にはあまり詳しくない自分が、これらの論文を読んだうえで、文字に起こしておけば、将来何かの役に立つかもしれないという
【論文読み】Semi-convolutional Operators for Instance Segmentation - Qiita
Instance Segmentation のタスクに対する手法を整理・分解し、精度をより向上する Semi-convolutional operators を提案した論文です。 この記事は、Wantedlyの勉強会で取り上げられた論文・技術をまとめたものです。 2018年に読んだ機械学習系論文・技術まとめ at Wantedly Advent Calendar 2018 - Qiita Reference Semi-convolutional Operators for Instance Segmentation [David Novotny, Samuel Albanie, Diane Larlus, and Andrea Vedaldi. ECCV 2018] https://arxiv.org/abs/1807.10712 （文中の図表は論文より引用しています） Instance
画像キャプション生成 (Image Captioning): (1) 基本編 | CVMLエキスパートガイド
1. 画像キャプション生成 とは [概要] 画像キャプション生成(Image Captioning)とは，１枚の画像を入力として，その画像中で行われている出来事や人物・動物などの振る舞いなどを説明するキャプション(caption)の文章を生成する問題である．画像中の各要素をそれぞれ画像認識モデルで認識したのち，その画像特徴量や識別されたラベルをもとに，言語モデルを用いてキャプションを生成する． この記事では，画像キャプション生成の技術のうち，ディープラーニング以前の初期の研究から，2017~2018年頃までの深層学習ベースの「基本的手法」を紹介する． 1.1 問題の位置付け 1.1.1 Vision-Language 問題の１つとして 画像キャプション生成は，「画像・動画」と「その説明文章」の対応関係を学習するVision and Language (Vision-Language) の問
ビデオアクション検出（時空間アクションローカリゼーション）は、通常、今日のビデオの人間中心のインテリジェント分析の開始点です。 Faster R-CNNの2段階のパラダイムは、オブジェクト検出におけるビデオアクション検出の標準パラダイムを刺激します。つまり、最初に人物の提案を生成し、次にアクションを分類します。 。ただし、既存のソリューションはどれも、「誰が、いつ、どこで、何を」レベルまで、きめ細かいアクション検出を提供できませんでした。このホワイトペーパーでは、事前定義されたキーアクションを空間的（関連するターゲットIDと場所を予測することにより）および時間的（正確なフレームインデックスで時間を予測することにより）に正確かつ効率的にローカライズするための追跡ベースのソリューションを紹介します。このソリューションは、2021年の低電力コンピュータビジョンチャレンジ（LPCVC）のUAVビデ
有糸分裂DOmain一般化（MIDOG）チャレンジのためのドメイン適応カスケードR-CNN
Domain Adaptive Cascade R-CNN for MItosis DOmain Generalization (MIDOG) Challenge デジタル組織病理学画像の有糸分裂検出のためのドメイン適応カスケードR-CNN法の概要を提示します。包括的なデータ拡張と既存の一般的な検出アーキテクチャの適応により、提案された方法は、MICCAI2021のMItosis DOmain Generalization（MIDOG）チャレンジで設定された予備テストで0.7500のF1スコアを達成しました。 We present a summary of the domain adaptive cascade R-CNN method for mitosis detection of digital histopathology images. By comprehensive data
Mask R-CNNをCOCO以外のデータセットで学習するために、maskrcnn-benchmarkで提供されているdockerを使おうとしたらいろいろとエラーが起こり詰まったので、遭遇したエラーと解決した方法をメモしておきます。 エラーと解決策 ImportError: libGL.so.1: cannot open shared object file: No such file or directory このエラーは、cv2のインポートをしようとした時に出た。
Amazon SageMaker で Detectron2 を使って物体検出する | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker で Detectron2 を使って物体検出する この記事は、こちらの AWS blog を翻訳したものです。 深層学習は、さまざまな分野で機械学習（ML）を実装する際の最重要課題となっています。ニューラルネットワークの柔軟性の高さを背景に、コンピュータビジョン（CV）の物体検出タスクなどではニューラルネットワークが人間よりも優れた性能を発揮することが可能になってきました。 CVタスクの1つである物体検出は、医療、小売、農業など様々な分野で応用されています。たとえば小売業では、店舗の棚の画像からSKU（Stock Keeping Unit）を検出して、購買者の傾向を分析したり、商品の再入荷時期を特定したりしたいと考えています。物体検出モデルは、このような多様なユースケースを実現し、店舗内のオペレーションを自動化
Gaussian Kernel-based Cross Modal Network for Spatio-Temporal Video Grounding 時空間ビデオグラウンディング（STVG）は、自然言語クエリに従って意味的に関心のあるオブジェクトの時空間チューブをローカライズすることを目的とした挑戦的なタスクです。以前の作品のほとんどは、Faster R-CNNによって抽出されたアンカーボックスに大きく依存しているだけでなく、ビデオを一連の個別のフレームと見なしているため、時間的モデリングが欠けています。代わりに、この論文では、ガウスカーネルベースのクロスモーダルネットワーク（GKCMN）と呼ばれるSTVGのアンカーフリーフレームワークを最初に提案しました。具体的には、各ビデオフレームの学習済みガウスカーネルベースのヒートマップを利用して、クエリ関連のオブジェクトを特定します。直列接
📖コンピュータビジョンの入門者向け おすすめ書籍 【ベスト7 (2022年・春版)】 | CVMLエキスパートガイド
1. 記事の概要：おすすめ書籍の3カテゴリ コンピュータビジョンとディープラーニングの入門者むけ「おすすめ書籍」のうち，この記事では2022年(令和4年)・春 時点での，上位ベスト7の書籍を，以下3つのカテゴリで紹介したい： テキスト (2.1節) コーディングを学べる書籍(＝作って学ぶ系) (2.2節) BERTの本 (2.3節) 大学の学部4年生ごろに，(ディープラーニングを用いた)コンピュータビジョン系の研究室に配属された際に，最初の半年~１年でまず読んでおくと脱初心者を達成しやすくなるおすすめ書籍ベスト7を紹介する．つまり，大学院でコンピュータビジョンを専門で学び研究する予定の人が，最初にこなしていくと良いと思う本を，7冊列挙する． 親ページ：📖コンピュータビジョン・ディープラーニングのおすすめ書籍リスト もちろん，エンジニアでこれからコンピュータビジョンや深層学習を学びたいとい
課題：プラスチック廃棄物による海洋汚染が深刻 汚水は私たちの健康と生活に悪影響を及ぼす。特に海外では、汚水による健康被害が大きく、年間170万の人々が汚水が原因の病気で亡くなっている。 また、海の汚染に目を向ければ、私たち日本人にとっても他人事ではない。プラスチック廃棄物によって海が汚染され、魚などの動物性タンパク質が今も減少しているのである。 水質資源の保護は人類の義務の一つである。そうした中、水面のゴミを清掃するロボットが開発されてきた。ゴミを自動的に発見するためには、Faster R-CNNやYOLOなどの近年の物体認識AI技術が使用されている。しかし、ゴミの検出はまだ完璧ではなく、今も研究が進められている。 【告知】AIDB HRの人材側登録者全員に対し、業界研究の手間を削減できるように「AI事業を行う企業リスト」を配布します。無料登録後すぐに閲覧とダウンロードが可能です。▼ 動的
図表を含む文書を解読するためのAI、レイアウト解析について - Stockmark Tech Blog
はじめに ストックマークResearcherの會田です。普段はマルチモーダルLLMや文書画像処理の研究開発に従事しています。 LLMの登場により、さまざまなデータソースを活用したチャットアプリケーションが急速に増えています。一方、企業の社内文書はWord, pptx, pdfなど多様かつ画像や文字が入り乱れているため、単純なデータ変換ではLLMによる実用的な検索、回答生成に限界があります。そこで文書の構造化技術が重要になります。このような構造化技術はAIやルールベースを組み合わせて実現しますが、この記事ではそのコア技術であるレイアウト解析について解説します。 ストックマークのRAG検証プラットフォームSAT（Stockmark A Technology）では、独自のレイアウト解析技術を搭載し、図表を含む非構造化データの整理を可能にしています。 sat.stockmark.co.jp 以前R
論文メモ: An intriguing failing of convolutional neural networks and the CoordConv solution - け日記
畳み込みニューラルネットワークが持つ座標変換の問題に着目してCoordConvを提案したAn intriguing failing of convolutional neural networks and the CoordConv solution (NeurIPS'18, arXiv) について紹介します。 @incollection{NIPS2018_8169, title = {An intriguing failing of convolutional neural networks and the CoordConv solution}, author = {Liu, Rosanne and Lehman, Joel and Molino, Piero and Petroski Such, Felipe and Frank, Eric and Sergeev, Alex and
本記事の目的 もともと本業でデータサイエンスやディープラーニングを扱っていたわけでもなく、ディープラーニング周りは「なんとなく知っている」という状態。ちゃんと勉強したいと思いながらもなかなか手が出ず、モデル実装の経験もない。 上記の状態から、この1年間くらいでやっと、初めてディープラーニング実装の経験をするところまでたどり着いた。とりあえずデータサイエンスの入口に立てた（かもしれない）ということで、整理のためここまで取り組んできたことをまとめてみた。 これから勉強を始める、誰かのために役立てば嬉しい。 ＜画像ディープラーニングの始め方＞ ◇ ステップ1. 画像系AIの全体像を把握する ◇ ステップ2. 画像分類を実装してみる ◇ ステップ3. 理論をフォローアップする ◇ ステップ4. 実装の経験を積む ステップ1．画像系AIの全体像を把握する とりあえず初心者向けの書籍や動画などを見て全
オープンソースの地理空間情報ソフトウェアをテーマとしたイベント「FOSS4G」が新潟で開催 2019.09.30 イベント OSS, オープンデータ, コミュニティ オープンソースの地理空間情報ソフトウェア群を意味する「FOSS4G（Free Open Source Software for GeoSpatial）」をテーマとしたカンファレンス「FOSS4G 2019 NIIGATA」が9月13日と14日の2日間、新潟市のNICOプラザ会議室にて開催された。同カンファレンスは、オープンソース地理空間ソフトウェアの支援と構築を目的としたOSGeo財団（The Open Source Geospatial Foundation）の日本支部である「OSGeo日本支部 （OSGeo.JP）」が主催するイベントで、2008年にスタートし、これまで北海道や東京、東海、関西などのエリアで開催されてきた。
物体検出のDeepLearning読むべき論文7選とポイントまとめ【EfficientDetまでの道筋】 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? お久しぶりです。 2012年のHintonさんのAlexNetによるILSVRCでの圧勝を皮切りに、画像認識の世界でもDeepLearningが脚光を浴びることとなりました。 物体検出の世界でも現在DeepLearningを用いたモデルが主流になっています。 https://paperswithcode.com/sota/object-detection-on-coco を見ると、 COCO test-devにおいて、state-of-the-art(SoTA)のモデルはEfficientDet-D7xのようです。 独断と偏見も少々あり
概論＆全体的な研究トレンドの概観④（Cascade R-CNN、CBNet）｜物体検出(Object Detection)の研究トレンドを俯瞰する #5 - Liberal Art’s diary
当シリーズでは物体検出の研究トレンドをまとめています。 #1ではHOG(Histograms of Oriented Gradient)[2005]からR-CNN[2013]までについて、#2ではFast R-CNN、FasterRCNN、YOLO、SSDについて、#3ではFPN、RetinaNet、M2Detについて、#4ではM2Detの著者実装について取り扱いました。 #5では2019年の研究として、Cascade R-CNN[2019]とCBNet[2019]について取り扱います。 以下目次になります。 1. Cascade R-CNN[2019] 2. CBNet[2019] 3. まとめ 1. Cascade R-CNN[2019] 1節では2019年6月の研究である"Cascade R-CNN: High Quality Object Detection and Instanc
3つの要点 ✔️CGのレンダリング技術を画像セグメンテーションに応用 ✔️領域に応じてサンプリング密度を変化させ、確度が低いピクセルのみを重点的に予測する「PointRend」を提案 ✔️演算量の増加を抑えつつ、インスタンス境界の分類において、高精度化を実現 PointRend: Image Segmentation as Rendering written by Alexander Kirillov, Yuxin Wu, Kaiming He, Ross Girshick (Submitted on 17 Dec 2019) subjects : Computer Vision and Pattern Recognition (cs.CV) 画像セグメンテーションは、自動運転などにも応用される重要な研究分野です。 従来のセグメンテーションの方法では、入力画像をエンコードし、特徴量マップと
理化学研究所(理研)、岐阜大学、東北大学、立教大学の4者は9月14日、大強度陽子加速器施設J-PARCにおいてK中間子ビームが照射された写真乾板データを、独自に開発した機械学習モデルによって解析することで、ハイパー核の一種である「ハイパートライトン」の生成と崩壊の事象を可視的に検出することに成功したと発表した。 同成果は、理研 開拓研究本部 齋藤高エネルギー原子核研究室の齋藤武彦主任研究員、岐阜大 教育学部・工学研究科の仲澤和馬シニア教授(理研 開拓研究本部 齋藤高エネルギー原子核研究室 客員研究員兼任)、東北大大学院 理学研究科の吉田純也助教(理研 開拓研究本部 齋藤高エネルギー原子核研究室 客員研究員兼任)、立教大大学院 人工知能科学研究科の瀧雅人准教授、理研 開拓研究本部 齋藤高エネルギー原子核研究室の江川弘行基礎科学特別研究員、同・笠置歩大学院生リサーチ・アソシエイト、同・齋藤奈美
インスタンスセグメンテーション (Instance Segmentation) | CVMLエキスパートガイド
同じ画素毎のクラス識別の中において，2個以上の同一クラスの複数インスタンスが写っている際に，セマンティックセグメンテーションでは，インスタンスの違いは区別せず「意味クラスの識別」だけをおこなう(図1-c)．従って，図1-c のように，2つの「dog」インスタンス同士が物体間遮蔽している場合だと，それらの境界は判別できず，1領域につながった状態で各領域が推定される． 親記事：画像認識の代表的なタスクのまとめ [ディープラーニング] 関連記事：セマンティックセグメンテーション (Semantic Segmentation) 一方，インスタンスセグメンテーションでは，それぞれ個別のインスタンス領域マスクを区別するので，物体間の境界も区別して，各物体インスタンスのマスクを推定する(図1-d)．従って，図1-dのように，物体間遮蔽した犬同士も個別に別領域としてマスクを推定する問題設定である．また，遮
Mashykom ホーム・ページ
以下の web site は人工知能（AI）及びロボティクス（ Robotics）を基礎から学習したいと思う人たち向けの学習素材を提供します。入門から初級レベルまでになっています。ChatGPT などの生成的人工知能が急速に発達していますが、その基礎は Deep Learning（深層学習または機械学習）と呼ばれるデータサイエンスにおけるニューラルネットワークに関する概念とその利用技術です。Deep Learning の基礎を説明しています。 なお、プログラミングに必要な言語（Python, C++, Rust , Javascript, Swift, WebGL）及び Linux OS の説明も付けました。 各ページで使用されるコードの多くは GitHub repository 及びGoogle Colaboratoryにアップされています。 Last updated at 2024.1
Computer Vision
これまで勉強したディープラーニングによる一般物体検出手法のアルゴリズム一覧。 R-CNN (Regions with CNN features)：ディープラーニングによる一般物体検出手法今まで一般物体認識や一般物体検出に […]
【Instance Segmentation】MaskRCNN : Instance Segmentationの基礎 - Qiita
概要 Semantic Segmentationは知ってるけど、Instance Segmentationの仕組みがわからない。どうやって物体毎に分類するんじゃ？ てことでMaskRCNNをもう一度調べてみた。 使ったコードのリンク貼っておきます https://github.com/yokosyun/instance-segmentation semantic segmentaionについて知りたい方はこちら https://qiita.com/minh33/items/6e42041dd5108d5fc2f0 https://qiita.com/minh33/items/d800394f480b2d6eef33 Instance Segmentation(MaskRCNNの場合) RPNで推定されたBoundingBoxのエリアに対してのみsemantic segmentationする
Faster R-CNN | CVMLエキスパートガイド
1. R-CNN (Region-CNN)とは [概要] R-CNN (Region-CNN)とは，2ステージ構成で，Coarse-to-Fineな予測を行う，2ステージ型 物体検出である [Girshick et al 続きを読む…
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
キャベツ栽培軽労化への取り組み～生育診断アドバイスシステムと収穫支援機械の開発～｜農畜産業振興機構
Faster R-CNNをpytorchでサクッと動かしてみた - Qiita
Detectron2で小銭を数える - Qiita
[OpenCV] 写真の中からマルフク看板を探す実験 - Qiita
超音波で自動運転自動車の物体検出を誤らせる「ポルターガイスト」攻撃 | スラド セキュリティ
画像認識屋さんのための「はじめてのTransformer」 - Qiita
torchvisionの実装から見るFaster R-CNN - Qiita
HRPlanes：ディープラーニング用の高解像度飛行機データセット
【PyTorch】Focal Lossの実装と効果の確認【自作損失関数】
E ^ 2TAD：エネルギー効率の高い追跡ベースのアクション検出器
maskrcnn-benchmarkの環境構築で遭遇したエラーと解決方法 - Qiita
時空間ビデオ接地のためのガウスカーネルベースのクロスモーダルネットワーク
海のゴミを回収するロボットの開発、YOLOv3改良で実現（AI×環境）【論文】 | AIDB
画像ディープラーニングの始め方（画像系AIの概要理解からUdemy受講, E資格取得まで） - Qiita
オープンソースの地理空間情報ソフトウェアをテーマとしたイベント「FOSS4G」が新潟で開催
レンダリングを応用した画像セグメンテーション「PointRend」
ハイパー核「ハイパートライトン」の生成と崩壊、理研などが可視的検出に成功