テキストからの実世界理解に向けて
IBIS2023 企画セッション1 Vision and Languageの最前線 テキストからの実世界理解に向けて
Contrastive Representation Learning
Date: May 31, 2021 | Estimated Reading Time: 39 min | Author: Lilian Weng The goal of contrastive representation learning is to learn such an embedding space in which similar sample pairs stay close to each other while dissimilar ones are far apart. Contrastive learning can be applied to both supervised and unsupervised settings. When working with unsupervised data, contrastive learning is one of
NLPとVision-and-Languageの基礎・最新動向 (2) / DEIM Tutorial Part 2 Vision-and-Language
DEIM2023 第15回データ工学と情報マネジメントに関するフォーラム チュートリアル講演資料 Part2: Vision-and-Language
The Best GPUs for Deep Learning in 2023 — An In-depth Analysis
Deep learning is a field with intense computational requirements, and your choice of GPU will fundamentally determine your deep learning experience. But what features are important if you want to buy a new GPU? GPU RAM, cores, tensor cores, caches? How to make a cost-efficient choice? This blog post will delve into these questions, tackle common misconceptions, give you an intuitive understanding
30分で完全理解するTransformerの世界
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
Making Deep Learning go Brrrr From First Principles
Making Deep Learning Go Brrrr From First Principles So, you want to improve the performance of your deep learning model. How might you approach such a task? Often, folk fall back to a grab-bag of tricks that might've worked before or saw on a tweet. "Use in-place operations! Set gradients to None! Install PyTorch 1.10.0 but not 1.10.1!" It's understandable why users often take such an ad-hoc appro
ECCV2022の枝刈り論文 (3) - Qiita
概要 この記事では、ECCV2022の枝刈り論文を紹介します。1 その1 その2 Ensemble Knowledge Guided Sub-network Search and Fine-tuning for Filter Pruning 概要：NASベースの枝刈り。(NASで刈ってFine-tuneする) 新規性：(1) 探索時と探索後の精度が変わる (2)Fine-tuneが必要 な課題の対策をする。 キモ：(1) ロスの面の変化が少ない場合は表現能力が高いことを実験的に示した。(2)EKG(アンサンブル)で高速に探す。 評価：ResNetで実験した。 SPViT: Enabling Faster Vision Transformers via Latency-aware Soft Token Pruning 概要：SPViT. Latency-awareで画像毎に最適化するタイプの
忙しい人のためのTuning Playbook | Hippocampus's Garden
忙しい人のためのTuning PlaybookJanuary 26, 2023 | 11 min read | 2,444 views jadeep-learning先日、Google ResearchとHarvard大学のメンバーが『Deep Learning Tuning Playbook』を公開しました。この資料は、性能の良い深層学習モデルを作る方法（特に、ハイパーパラメータの決め方）を解説したものです。ハイパーパラメータは深層学習の成否を支配する重要な要素の一つです。しかし、ハイパーパラメータの決め方に関する知識は論文や教科書では取り上げられず、「達人たち」に属人化していました。Tuning Playbookは、これを言語化して資料にまとめようという重要な試みです 1。 Tuning Playbookは素晴らしい資料ですが、他人に気軽に薦めるには長すぎると感じました。そこで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DeepSpeed Meetup in Japan on May 23, 2024
HammingMesh: A Network Topology for Large-Scale Deep Learning
Revealing the Dark Secrets of Masked Image Modeling
FastMIM: Expediting Masked Image Modeling Pre-training for Vision
MimCo: Masked Image Modeling Pre-training with Contrastive Teacher
ICLR 2023 Conference
Stanford MedAI
GitHub - NVIDIA/FasterTransformer: Transformer related optimization, including BERT, GPT
MoEfication: Transformer Feed-forward Layers are Mixtures of Experts
potts-xcs224u-webinar2023 - public version
https://qiita.com/tags/%E8%AB%96%E6%96%87%E8%AA%AD%E3%81%BF/feed
Understanding Deep Learning