教師あり学習のクラス分類タスクにおいては、既に様々な正則化手法が考案・実用化されています。 例えば、荷重減衰（Weight Decay）、ドロップアウト、バッチ正規化やレイヤー正規化などが知名度高いでしょう。 しかし「ラベル平滑化（Label Smoothing)」というのは、「あ～なんか聞いたことある」とか「何それ？」というくらい、認知度がありません。 なぜでしょう？実装は恐ろしいほど簡単で、ちゃんと 論文もある（※1） んですが。 ※1）「Rethinking the Inception Architecture for Computer Vision」のP6「7. Model Regularization via Label Smoothing」 本稿では、ラベル平滑化の正則化の効果をMNISTを使用して実験し、少なくともこの実験の条件下においては正則化の効果があることを示しています
Every year, we have a new iPhone that claims to be faster and better in every way. And yes, these new computer vision models and new image sensors can exercise the phone as hard as they can. However, you could already take good pictures on an iPhone 10 years ago. These are incremental improvements. These incremental asks only deserve incremental improvements. Once in a few years, there are program
OpenCV directly in the browser (webassembly + webworker)by aralroca on Tuesday, May 5, 2020 • 10 min read We'll see how to use the OpenCV library directly on the browser! To do this, we will compile OpenCV to webassembly and then run it inside a webworker. What is OpenCV OpenCV is the most popular library of Computer Vision, and has existed since 1999! What it does is providing a user-friendly and
【加藤さん向け】オンプレで動かす機械学習パイプラインをSagemaker用に変更するときのポイント【社内共有】 | DevelopersIO
せーのでございます。 北海道はもうそろそろ秋の気配。みなさんも秋物の洋服をクリーニングに出そうとしたり、観葉植物の日当たりを工夫したりしてる時 もともとオンプレやEC2で動かすために組んでいた機械学習のパイプラインをSagemaker用に書き直したいなと思うことって、よくありますよね。 でも、この作業にはSagemakerの勘所を押さえておく必要があります。今回はそんな書き換え作業時に押さえておくポイントを、がっつり社内向けに記述しておきます。 今回は特にターゲット層として機械学習関連を一緒に作業している「加藤さん」を念頭にこの記事を書いています。ですので「加藤さん」と同じくらいのバックグラウンドをお持ちの読者の方であればスッと入ってくるかと思います。 「加藤さん」像 私の考える「加藤さん」は AWSのサービスについては基本押さえている 機械学習の基本的な用語や流れ（データセットなど）はわ
While the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in conjunction with convolutional networks, or used to replace certain components of convolutional networks while keeping their overall structure in place. We show that this reliance on CNNs is not nece
GitHub - vt-vl-lab/3d-photo-inpainting: [CVPR 2020] 3D Photography using Context-aware Layered Depth Inpainting
We propose a method for converting a single RGB-D input image into a 3D photo, i.e., a multi-layer representation for novel view synthesis that contains hallucinated color and depth structures in regions occluded in the original view. We use a Layered Depth Image with explicit pixel connectivity as underlying representation, and present a learning-based inpainting model that iteratively synthesize
![GitHub - vt-vl-lab/3d-photo-inpainting: [CVPR 2020] 3D Photography using Context-aware Layered Depth Inpainting](https://cdn-ak-scissors.b.st-hatena.com/image/square/c65e0d2abf80585aefa3a38134fffc15e551d74b/height=288;version=1;width=512/https%3A%2F%2Fopengraph.githubassets.com%2F51a7675ac7fe0058ab2824c977a880ed151458f95f5d8663745387feec8e9350%2Fvt-vl-lab%2F3d-photo-inpainting)
３つの要点 ✔️ その１ ImageNetでTop-1 Acc. 88.4 %を叩き出し、SoTAモデル。おまけに高いロバスト性を兼ね備える。 ✔️ その２ Self-trainingにおいてStudentに強いノイズをかけ、反復的にTeacherとStudentを入れ変える。 ✔️ その３ TeacherおよびStudentのベースモデルはEfficientNet(解説)を使用し、EfficentNet-L2という拡張モデルでSoTA Self-training with Noisy Student improves ImageNet classification written by Qizhe Xie, Minh-Thang Luong, Eduard Hovy, Quoc V. Le (Submitted on 11 Nov 2019 (v1), last revised 7
About
Computer-designed organisms A scalable pipeline for designing novel organisms, such as xenobots About Most technologies are made from steel, concrete, chemicals and plastics, which degrade over time and can produce harmful ecological and health side effects. It would thus be useful to build technologies using self-renewing and biocompatible materials, of which the ideal candidates are living syste
Dive deep into Amazon SageMaker Studio Classis Notebooks architecture | Amazon Web Services
AWS Machine Learning Blog Dive deep into Amazon SageMaker Studio Classis Notebooks architecture NOTE: Amazon SageMaker Studio and Amazon SageMaker Studio Classic are two of the machine learning environments that you can use to interact with SageMaker. If your domain was created after November 30, 2023, Studio is your default experience. If your domain was created before November 30, 2023, Amazon S
Detailed Contents Pre-Labs 1-3: CNNs, Transformers, PyTorch Lightning We review some prerequisites -- the DNN architectures we'll be using and basic model training with PyTorch -- and introduce PyTorch Lightning. Published August 10, 2022. Lecture 1: Course Vision and When to Use ML We review the purpose of the course and consider when it's a good (or bad!) idea to use ML. Published August 8, 2022
Knowledge Graphs (KGs) have emerged as a compelling abstraction for organizing the world’s structured knowledge, and as a way to integrate information extracted from multiple data sources. Knowledge graphs have started to play a central role in representing the information extracted using natural language processing and computer vision. Domain knowledge expressed in KGs is being input into machine
ということで，下記の魚眼カメラのキャリブレーションエントリからの「スピンオフ？」としてホモグラフィー行列の計算エントリを書き残します． daily-tech.hatenablog.com ０．ホモグラフィー行列とは何か？ 平面を撮影した２つの画像は射影変換と呼ばれる関係で結ばれます．って，これだけ書くと意味わかんないんで図を書いてみます． 射影変換とホモグラフィー行列 ３年前に画像処理を勉強し始めて本を読んだ時には，「で，それがなんなの？」と思ってたんですが，これって結構役に立ちます．大事なことは上述の「ホモグラフィー行列Hがわかっていれば，カメラAに写っているキャリブボードと同一平面上にある点のカメラBでの座標を計算できる」というところで，自動車に搭載されているアラウンドビューモニタなんかもこれを使ってます．（ちなみに，”同一平面に”というのがポイントで，同一平面上にない点は変なところに
こんにちは。CTO室リサーチャーの鈴木です。今回は、深層学習の分野でここ数年盛り上がっているContrastive Learning系の手法について、主だった論文を系統的にまとめて紹介したいと思います。 はじめに 近年発展した自己教師あり学習（Self-Supervised Learning：SSL）は、アノテーション情報を人の手ではなく機械的に付与することで、データセットの構築にかかる時間やコストを軽減し、深層学習モデルの精度向上を目指した手法です。自然言語処理分野におけるSSLは大きな成功を収め、ChatGPT等の超高性能なチャットボットの出現にも影響を与えました。 SSLは主に深層学習モデルの「事前」学習として用いられます。SSLによって、文章や画像に含まれる一般的な特徴を大量のデータから学習することができます。これにより、文章生成や画像認識などの本学習の効率が向上し、最終的な性能向
マイクロソフトはAIを全製品に展開 日常とビジネスはどう変わる？ AIとの向き合い方は？（1/2 ページ） 日本マイクロソフトは3月16日、同日開催の「Azure AI Day 2023」に先駆ける形で「Microsoft AI」についての最新事情を紹介する報道関係者向け説明会を開催した。 折しも開催前日にあたるタイミングで、OpenAIが最新のAI言語学習モデル「GPT-4（Generative Pretrained Transformer-4）」を発表した直後であり、否応なくMicrosoftとAIに関する取り組みに注目が集まる中での開催だ。説明会では、これまでのMicrosoftのAIに関する取り組みについて説明しつつ、あらゆる製品にAIが組み込まれることによる変化について解説された。 製品への統合が着々と進むOpenAIの技術 既報の通り、MicrosoftとOpenAIの関係は2
Hoping to win a machine learning competition in 2022? Here’s what you need to know. I collaborated with ML Contests, using their database of over 80 competitions that took place in 2021 across Kaggle, DrivenData, AICrowd, Zindi, and 13 other platforms. Wherever the information was available, we categorized winners to figure out what made them win. PlatformsWe were able to gather 83 competitions ac
Self-Organising Textures
This article is part of the Differentiable Self-organizing Systems Thread, an experimental format collecting invited short articles delving into differentiable self-organizing systems, interspersed with critical commentary from several experts in adjacent fields. Self-classifying MNIST Digits Adversarial Reprogramming of Neural Cellular Automata Neural Cellular Automata (NCA We use NCA to refer to
GPT-3, explained: This new language AI is uncanny, funny — and a big deal
OpenAI co-founder and chair Greg Brockman, OpenAI co-founder and CEO Sam Altman, and TechCrunch news editor Frederic Lardinois during TechCrunch Disrupt San Francisco 2019. Steve Jennings/Getty Images for TechCrunch Kelsey Piper is a senior writer at Future Perfect, Vox’s effective altruism-inspired section on the world’s biggest challenges. She explores wide-ranging topics like climate change, ar
Human learning is inherently multi-modal as jointly leveraging multiple senses helps us understand and analyze new information better. Unsurprisingly, recent advances in multi-modal learning take inspiration from the effectiveness of this process to create models that can process and link information using various modalities such as image, video, text, audio, body gestures, facial expressions, and
ChatGPTは2021年9月までのWebテキストで学習しているので2022年の知識を持っておらず、ワールドカップ2022年大会の優勝者を知らなかったりします。 BingではWeb検索と組み合わせることで解決しているので、それを自分で作ってしまえばいいのでは、とやってみました。 ちなみにやっていることは次のような流れ。 GPTで質問を検索キーワードに変換 そのキーワードでGoogle検索 検索結果１位のサイトにアクセス アクセス結果をGPTで要約 GPTを使う部分を説明すると、1.ではEdit APIを使っています。 var editReq = EditRequest.builder().input(text) .instruction("質問に答えるためのWeb検索キーワードに変換") .temperature(0.4) .model("text-davinci-edit-001").b
メタ傘下のメタAIは4月17日（現地時間）、「自己教師ありモデル」を採用し、微調整を必要としない高性能なコンピュータービジョンモデル「DINOv2」を発表、デモサイトとともにオープンソースで公開した。 自己教師ありモデルとは Announced by Mark Zuckerberg this morning — today we're releasing DINOv2, the first method for training computer vision models that uses self-supervised learning to achieve results matching or exceeding industry standards. More on this new work ➡️ https://t.co/h5exzLJsFtpic.twitter.com/
Rust detection using machine learning on AWS | Amazon Web Services
AWS Machine Learning Blog Rust detection using machine learning on AWS Visual inspection of industrial environments is a common requirement across heavy industries, such as transportation, construction, and shipbuilding, and typically requires qualified experts to perform the inspection. Inspection locations can often be remote or in adverse environments that put humans at risk, such as bridges, s
はじめまして、ティアフォーでパートタイムエンジニアをしている村松です。 今回は、AutowareのPerceptionモジュールにおけるObject Recognitionを改善するために調査した内容について紹介します。 Autowareのアーキテクチャの詳細については過去の記事をご覧ください。 tech.tier4.jp 論文紹介 Pseudo-LiDAR PointFusion Frustum PointNets PointPainting さいごに 論文紹介 今回は、カメラ画像のみまたはカメラ画像とLiDAR点群の両方を活用した３次元での物体検出の論文を４つ紹介します。 Pseudo-LiDAR まず最初に紹介するのは、カメラ画像のみを使って３次元物体検出をする手法です。この手法は、CVPR2019で採択された論文*1で、現在Teslaでも使われています。Teslaの取り組みについて
Companies pay cloud computing providers like Amazon, Microsoft, and Google big money to avoid operating their own digital infrastructure. Google’s cloud division will soon invite customers to outsource something less tangible than CPUs and disk drives—the rights and wrongs of using artificial intelligence. The company plans to launch new AI ethics services before the end of the year. Initially, Go
データアナリティクス事業本部の鈴木です。 教師あり学習で画像の物体認識を行う際には、一般的には以下の情報が必要になります。 画像 アノテーションデータ（どこになんの物体が写っているかなど） 公開されているデータセットでは、アノテーションデータがすでに準備されていることも多いですが、新しい問題に取り組む際には、基本的には自分でアノテーションを付ける必要があります。 今回は画像にアノテーションデータとしてバウンディングボックスを付けるために、Computer Vision Annotation Tool (以降、CVAT)を調べたのでご紹介します。 CVATとは インテルで開発されている、コンピュータビジョンアルゴリズム用のラベリングツールです。 MITライセンスで配布されており、ソースコードはGitHubで公開されています。 ウェブベースのツールで、Dockerでサーバーを起動し、Googl
It’s not just a fiscal fiasco: greying economies also innovate less
“Adam is a special child,” says the voice-over, as the camera pans across abandoned classrooms and deserted maternity wards. “He’s the last child born in Italy.” The short film made for Plasmon, an Italian brand of baby food owned by Kraft-Heinz, a giant American firm, is set in 2050. It imagines an Italy where babies are a thing of the past. It is exaggerating for effect, of course, but not by as
コンピュータビジョン分野における世界最高峰の国際会議ICCV21の論文&コード紹介（後編） - NTT Communications Engineers' Blog
はじめに こんにちは、イノベーションセンターの鈴ヶ嶺・齋藤です。本記事は前回の記事の後編となっており、引き続きICCV2021の論文を紹介します。 engineers.ntt.com 論文紹介 Swin Transformer: Hierarchical Vision Transformer using Shifted Windows(ORAL PAPER & Marr Prize Best Paper) Swin Transformerとは この論文では、NLPで汎用バックボーンとして活用されているTransformer1の適用範囲を拡大して、コンピュータビジョンにおいても汎用バックボーンとして使用可能とするVision Transformer(ViT)2ベースのSwin Transformerを新たに提案しています。 これまでの映像分野におけるViTの課題は、主に2つあります。まず1つ
Yann LeCun Quits Twitter Amid Acrimonious Exchanges on AI Bias | Synced
Yann LeCun Quits Twitter Amid Acrimonious Exchanges on AI Bias Turing Award Winner and Facebook Chief AI Scientist Yann LeCun has announced his exit from Twitter after getting involved in a long and often acrimonious dispute regarding racial biases in AI. This is an updated version. Turing Award Winner and Facebook Chief AI Scientist Yann LeCun has announced his exit from popular social networking
※CS: Coming Soon ※一枚絵バージョンは、Twitterに投稿してあります。 目的別 – おすすめAR SDK8選 最後に、用途別のおすすめSDKをピックアップしました。 モバイルARアプリの開発 ARCore/ARKit； 機能が豊富で、Unityを介せば開発が容易。 Vuforia； 対応端末が多く、Unityだけで開発が可能。 Kudan； オクルージョンとロケーションベースAR。 Web ARアプリの開発 8th Wall Web； 機能が豊富。 AR.js； オープンソース。 プロトタイピング 8th Wall AR Camera； とにかく手軽（マーカーレスAR） Wikitude Studio； 使いやすく、手軽（マーカーAR） Reality Composer； Apple謹製で、使いやすい。 AR SDK全17個の詳細情報（サービス/開発環境/機能/料金プラ
3つの要点 ✔️ 香港大学とテンセントが共同で，新しいバーチャル試着技術を開発 ✔️ セグメンテーション情報を用いないパースフリーな「teacher-tutor-student」モデルを提案 ✔️ 各種データセットでSoTAを達成 Parser-Free Virtual Try-on via Distilling Appearance Flows written by Yuying Ge, Yibing Song, Ruimao Zhang, Chongjian Ge, Wei Liu, Ping Luo (Submitted on 8 Mar 2021 (v1), last revised 9 Mar 2021 (this version, v2)) Comments: Accepted by CVPR2021 Subjects: Computer Vision and Pattern
言語データセットには多量の重複文が潜んでいる！
3つの要点 ✔️ 現在のデータセットには、学習データとテストデータに重複がある ✔️ モデルが重複データをそのまま記憶してしまう ✔️ 重複データを削除する事でモデルも良くなる Deduplicating Training Data Makes Language Models Bette written by Katherine Lee, Daphne Ippolito, Andrew Nystrom, Chiyuan Zhang, Douglas Eck, Chris Callison-Burch, Nicholas Carlini (Submitted on 14 Jul 2021) Comments: Published on arxiv. Subjects: Computation and Language (cs.CL); Machine Learning (cs.LG) cod
3つの要点 ✔️ 複数のタスクで優れた性能を発揮するクロスモーダルなトランスフォーマーベース ✔️ 100,000入力以上のシーケンスを処理する能力を有する ✔️ ImageNet、AudioSet、ModelNet-40のSOTAモデルと同等以上の性能を発揮 Perceiver: General Perception with Iterative Attention written by Andrew Jaegle, Felix Gimeno, Andrew Brock, Andrew Zisserman, Oriol Vinyals, Joao Carreira (Submitted on 4 Mar 2021) Comments: Published on arxiv. Subjects: Computer Vision and Pattern Recognition (cs.CV
May 17, 2020 Volume 18, issue 2 PDF Dark Patterns: Past, Present, and Future The evolution of tricky user interfaces Arvind Narayanan, Arunesh Mathur, Marshini Chetty, and Mihir Kshirsagar Dark patterns are user interfaces that benefit an online service by leading users into making decisions they might not otherwise make. Some dark patterns deceive users while others covertly manipulate or coerce
3つの要点 ✔️ 一枚の画像のみで学習 ✔️ GANを用いずに高品質な画像生成を実現 ✔️ 低解像度から徐々に高解像度にするネットワークをEnd-to-Endで学習 Training End-to-end Single Image Generators without GANs written by Yael Vinker,Nir Zabari,Yedid Hoshen (Submitted on 7 Apr 2020) Comments: Published by arXiv Subjects: Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG); Image and Video Processing (eess.IV); Machine Learning (stat.ML) 本論文では一枚の
re:Invent 2020 Liveblog: Andy Jassy Keynote | Amazon Web Services
AWS News Blog re:Invent 2020 Liveblog: Andy Jassy Keynote Jeff Barr‘s liveblog of Andy Jassy’s re:Invent keynote on Dec. 1, 2020 has ended, but you can read all about the event – from Jeff’s perspective – below. Be sure to follow along with all the top re:Invent announcements here, and we’ll also use this space to keep you posted about other re:Invent liveblogs as they happen! 10:58 AM – And we a
The Modern AI Infrastructure trusted by CohereOpenAIUberCanvaJasper Ray is the most popular open source framework for scaling and productionizing AI workloads. From Generative AI and LLMs to computer vision, Ray powers the world’s most ambitious AI workloads.
先日のOpenAI DevDayで、GPT-4 Turbo with visionというものが発表されました。Chat Completions APIで画像ファイルをインプットとして渡して、画像解析をしてくれるAPIです。 私は以前、「Azure Computer Vision APIの日本語OCR機能を使ってみる」や「Google Cloud Vision APIの日本語OCR機能を使ってみる」で、各クラウドの画像認識APIの日本語OCR機能を検証するエントリーを書きました。OpenAIも画像認識APIが使えるようになったので、まったく同じ検証方法で評価してみました。 GPT-4 Turbo with vision OCR機能の利用 OpenAIのAPI Keyを準備します。API Keyを取得されていない方は、「OpenAI API Key取得」で検索してください。 今回の検証コードは
AzureのAI-OCR機能(Read API)で「日本語の手書きテキスト」を読み取ってみる Part.1 (2022年2月 Public Preview版) - Qiita
AzureのAI-OCR機能(Read API)で「日本語の手書きテキスト」を読み取ってみる Part.1 (2022年2月 Public Preview版)AzureOCR手書き文字CognitiveServicesAI-OCR Public Previewが開始！Read API v3.2 で「日本語の手書きテキスト」を読み取る 2022年2月14日に、Azure Cognitive Services の Vision API(画像認識)で提供されているOCR機能(Read API v3.2)に、「日本語の手書きテキスト」 を認識する機能が、Public Preview版として追加されました。 この記事では、「日本語の手書きテキスト」機能の使い方と、実際に試した認識精度をご紹介します。 【マイクロソフト社公式情報 - Public Preview の開始】 Public preview
Virtual GPU device plugin for inference workloads in Kubernetes | Amazon Web Services
AWS Open Source Blog Virtual GPU device plugin for inference workloads in Kubernetes Machine learning (ML) has become a centerpiece for enterprise transformation. AWS provides a broad and deep set of ML capabilities for builders with all levels of expertise. Developers with no prior ML experience can seamlessly build sophisticated AI-driven applications using AWS AI services. Developers and data s
最先端のテクノロジーを使ってみよう！Yahoo! JAPAN Hack Day 2021 Onlineを開催します
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、Hack Dayプロデューサーの善積です。 ヤフーが例年開催しているテクノロジーイベント「Yahoo! JAPAN Hack Day」が、今年は3月20〜21日にかけてオンラインで開催されます。 Hack Dayってどんなイベント？ テクノロジーをもっと身近に、もっと楽しむための、お祭りのようなイベントです。 24時間で開発した作品を、90秒で発表して競い合うという、ジェットコースターのような2日間ですが、濃密な時間のなかで、チームメイトとの絆の深まりや、濃密な開発経験、大きな達成感を得ることができます。 現在も出場チームを募集中なので、興味が湧いた方はぜひ出場登録しましょう！ 初めてのオンライン開催、全国どこからでも
すべての発表は以下のスライドからどうぞ、この記事は70ページある中の5ページ目だけの話 Ignite 2020 アップデート Azure AI 編 Azure Cognitive Search Azure Cognitive Services Azure Machine Learning Azure Bot Service / Azure Bot Framework 最後に Azure Cognitive Search プライベートエンドポイント機能がGA Azure 仮想ネットワークの中にローカルIPでエンドポイントが出てくる機能、自分のIPじゃないと嫌だという方へ インデクサのManaged ID機能がGA マネージド ID は、Azure Active Directory (Azure AD) で自動管理される ID を Azure サービスで使用できるようにする機能、 Azure
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マイナーな正則化手法「ラベル平滑化」は実は効果アリアリらしい - Qiita
Stretch iPhone to its Limit, a 2GiB Model that can Draw Everything in Your Pocket
OpenCV directly in the browser (webassembly + webworker)
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
画像認識の最新SoTAモデル「Noisy Student」を徹底解説！
The Full Stack - FSDL 2022
An Introduction to Knowledge Graphs
２画像間のホモグラフィー行列の計算 - Daily Tech Blog
Contrastive Learningの最新動向のレビュー - Morpho Tech Blog
マイクロソフトはAIを全製品に展開 日常とビジネスはどう変わる？ AIとの向き合い方は？
WINNING APPROACH ML COMPETITION 2022
A Dive into Vision-Language Models
ChatGPTより賢く質問に答えれるチャットBotを作る(誇張表現) - きしだのHatena
メタ、最先端のコンピュータービジョンモデル「DINOv2」をオープンソースで公開 (1/2)
自動運転における３次元での物体検出に画像データを活用する論文紹介 - TIER IV Tech Blog
Google Offers to Help Others With the Tricky Ethics of AI
CVATでバウンディングボックスをアノテーションしてみる | DevelopersIO
AR用SDK全17個を徹底比較！ – 開発ターゲット・機能・料金を一覧表付きで解説 | XR-Hub
バーチャル試着の実現はもう間近！？ 生成モデル最前線！【PF-AFN】
モーダル依存のないトランスフォーマー：Perceiver Model
Dark Patterns: Past, Present, and Future - ACM Queue
GANなしで高品質な画像生成を実現！一枚の画像から学習するAugurOneとは
Anyscale | Scalable Compute for AI and Python
OpenAIのGPT-4 Turbo with visionを日本語OCRとして使ってみる
Ignite 2020 アップデート Azure AI 編 - Qiita