なぜビジョントランスフォーマーはこれほど高性能なのか。
3つの要点 ✔️ ViTは、すべての層でより均一な表現（特徴量）を持っている。つまり各層での表現が似ている。 ✔️ ViTは、自己注意（self-attention）により早期にグローバルな情報を集約できる。 ✔️ ViTは、表現を下位層から上位層へ強く伝搬させる。 Do Vision Transformers See Like Convolutional Neural Networks? written by Maithra Raghu, Thomas Unterthiner, Simon Kornblith, Chiyuan Zhang, Alexey Dosovitskiy (Submitted on 19 Aug 2021 (v1), last revised 3 Mar 2022 (this version, v2)) Comments: Published on arxiv.
【Deep Learning研修（発展）】系列データモデリング (RNN / LSTM / Transformer) 第７回「Transformer」
【Deep Learning研修（発展）】（ https://www.youtube.com/playlist?list=PLbtqZvaoOVPA-keirzqx2wzpujxE-fzyt ）はディープラーニング・機械学習に関する発展的な話題を幅広く紹介する研修動画シリーズです。Neural Network Consoleチャンネル（https://www.youtube.com/c/NeuralNetworkConsole/ ）でもディープラーニングに関するより基礎的な内容の解説動画を公開しておりますので、ぜひそちらも御覧ください。 本動画は「系列データモデリング」の第７回の動画です。前回のAttentionに続き、深層学習分野において大きなインパクトを与えた手法であるTransformerについて説明します。 [スライド5] Attention Is All You Need
【徹底解説】VAEをはじめからていねいに | Academaid
初学者の分かりやすさを優先するため，多少正確でない表現が混在することがあります。もし致命的な間違いがあればご指摘いただけると助かります。 はじめに 近年の深層学習ブームにおいて，VAE（変分オートエンコーダ: variational autoencoder）の果たした貢献は非常に大きいです。GAN（敵対的生成ネットワーク: generative adversarial network）やFlowと並んで，生成モデルの三大巨頭として主に教師なし学習や半教師あり学習で応用されています。 多くの書籍やWeb上の資料では「VAEはオートエンコーダの発展手法である」と説明されています。名前にもAE（オートエンコーダ）と入っているので，そう思ってしまうのは一見当然のことのように思えます。しかし，語弊を恐れずに言うと，この説明は深刻な誤解を読者に与えています。Kingmaらの原著論文を読めば，VAEがA
Transformerよりもシンプル？「MLP-Mixer」爆誕（1日目） ～Abstract / Introduction編～
Transformerよりもシンプル？「MLP-Mixer」爆誕（1日目） ～Abstract / Introduction編～ ニツオです。TwitterでAIやMLについて関連する話題を紹介してます。海外の研究者をフォローしていますので、情報源を増やしたい方はお気軽にフォローください。 さて、2021年5月にMLP-Mixerというモデルが爆誕しました。本日はその解説シリーズ1日目です。 1日目： Abstract / Introduction 2日目： Mixer Architecture 3日目： Experiments 4日目： Related Work 5日目： Conclusion 6日目： Appendix 7日目： Source Code 「MLP-Mixer: An all-MLP Architecture for Vision」の原文はこちらです。2021年5月4日に
Deepでポン用実験管理ツール（サービス）の比較2021 - Qiita
皆様メリークリスマス！ふぁむたろうです。 記事遅れてしまいすみませんでした 自分はここ1年くらいのコンペでは脳死で wandb（Weights & Bias） を使って実験管理をしていたのですが、1年の節目ということで他のツール（サービス）も見てみようと思い記事にしました。 （余談ですが wandb の読み方は「Weights & Bias」でも「ワンディービー」でも「ダブリューアンドビー」でも良いっぽいです） 特に業務上で使う場合 pricing 等も気をつけなきゃいけないため、この記事ではそこらへんにも触れていければと思います。 とはいえ昨今の実験管理ツールはたくさんあるので、今回は以下の5つに絞って比較してみます。 （pytorch lightning に標準装備されているもの） TensorBoard MLflow Neptune.ai Weights & Biases Comet
JAXとPyTorch、どっちが速いのか検証してみた - まったり勉強ノート
高速化が趣味＆仕事なので、最近よく目にするJAXの速度が気になってました。このため、今回は日ごろ使っているPyTorchと比較したので、その結果のまとめを紹介します。 結論 結果だけ知りたい方が多いだろうと思ったので先に結論から書くと、私のPyTorch力では力及ばず、今回の検証では JAXのほうがPyTorchの2.2倍速い という結果でした。ここから詳しく評価について説明します。 評価方法 今回、JAXとPyTorchを比較するにあたり、この前紹介したSmooth Smith Watermanのコードを利用しました。Smooth Smith Watermanについて知りたいという方は以下の記事をご覧ください。 この記事で紹介したJAXコードは論文の著者が頑張って高速化した結果なため、十分最適化された結果であるという認識です。このため、今回はPyTorchのコードを私が作成し、測定を行い
TorchServe — PyTorch/Serve master documentation
Learn Get Started Run PyTorch locally or get started quickly with one of the supported cloud platforms Tutorials Whats new in PyTorch tutorials Learn the Basics Familiarize yourself with PyTorch concepts and modules PyTorch Recipes Bite-size, ready-to-deploy PyTorch code examples Intro to PyTorch - YouTube Series Master PyTorch basics with our engaging YouTube tutorial series
TensorFlowServingを使用してTensorFlowモデルをトレーニングして提供する | TFX
TensorFlowServingを使用してTensorFlowモデルをトレーニングして提供する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このガイドでは、分類するためのニューラルネットワークモデル列車スニーカーやTシャツのように、服の画像を、訓練されたモデルを保存し、その後でそれを提供していますTensorFlowサービング。焦点はTensorFlowがそうモデリングやトレーニングご覧に焦点を当て、完全例えば、むしろTensorFlowにおけるモデリングとトレーニングよりも、サービング上での基本的な分類の例を。 このガイドでは使用していますtf.keras 、TensorFlowでビルドや電車モデルへの高レベルAPIを。 import sys # Confirm that we're using Python 3 assert sys.versio
PyTorchでの学習・推論を高速化するコツ集 - Qiita
本記事では、NVIDIAから発表されているPyTorchでのディープラーニングを高速化するコツ集を紹介します。 【※NEW】22年6月新記事：スクラム関連の研修・資格のまとめ & おすすめの研修受講方法 本記事について 本記事は、NVIDIAのArun Mallyaさんの発表、 「PyTorch Performance Tuning Guide - Szymon Migacz, NVIDIA」 に、説明やプログラムを追加して、解説します。 本記事のポイントは、Andrej KarpathyがTwitterで呟いている通りとなります。 good quick tutorial on optimizing your PyTorch code ⏲️: https://t.co/7CIDWfrI0J quick summary: pic.twitter.com/6J1SJcWJsl — Andrej
AIのべりすと (AI Novelist)
Write Stories, with the Largest Public Japanese AI ever! AIで小説を書こう！ AI Novelist is the largest public Japanese storywriting AI, trained from scratch by more than 2TB corpus. You may start from one of the example prompts or start with your own text! Tips: You may want to enter at the least 5-6 lines worth of a seed text to make sure the AI understands the context/genre.
PyTorch to JAX 移行ガイド（MLP学習編）
背景 「JAX最高」「GoogleではみんなJAXやってる」などと巷で言われているが、研の活動をやってると、比較手法がPyTorchで提供されていたり、ちょっと特殊な損失関数とかを使わないといけなかったり、あとはネットワーク魔改造をしたくなったりと、「とりあえずまずはPyTorchでやっとくか…」と思わせる要素がたくさんあり、PyTorchから抜け出せずにいた。 ムムッでもこれは2013年ごろを思い出す…その頃自分はとにかくMatlabで全部書いてて、なかなかPythonに移行出来ずにいた。そんななか「飯の種ネタをPythonで書き始めれば、Pythonできない→成果が出ない→死」なので自動的にPythonを習得できるのでは？？？と思い、えいやとPythonの海に飛び込んだのである。思えばPyTorchもDockerもそんな感じで飛び込んだが、今こそJAXに飛び込む時なのかもしれない。 移
BERT以降の事前学習済みモデルのトレンドと主要モデルを紹介！ Part 1 学習方法編 - ELYZA Tech Blog
はじめまして，インターン生の三澤遼です。本記事では，BERT以降の事前学習済みモデルを体系化し，主要なモデルについて解説します。TransformerやBERTについて事前知識があると理解しやすいと思います。 BERT以降のNLP分野の発展 学習方法の改良について 事前学習 Masked Language Modeling 改良版Masked Language Modeling RoBERTa (2019-07) Translation Language Modeling XLM (2019-01) Sequence-to-Sequence Masked Language Modeling T5 (2020-07) Permuted Language Modeling XLNet (2020-01) Denoising Auto Encoder BART (2019-10) Contras
Deep Learning for AI – Communications of the ACM
How can neural networks learn the rich internal representations required for difficult tasks such as recognizing objects or understanding language? Yoshua Bengio, Yann LeCun, and Geoffrey Hinton are recipients of the 2018 ACM A.M. Turing Award for breakthroughs that have made deep neural networks a critical component of computing. Research on artificial neural networks was motivated by the observa
The Illustrated Transformer – Jay Alammar – Visualizing machine learning one concept at a time
Jay Alammar Visualizing machine learning one concept at a time. @JayAlammar on Twitter. YouTube Channel Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 points, 3 comments) Translations: Arabic, Chinese (Simplified) 1, Chinese (Simplified) 2, French 1, French 2, Italian, Japanese, Korean, Persian, Russian, Spanish 1, Spanish 2, Vietnamese Watch: MIT’s Deep Learning St
TensorFlow 2.4 : ガイド : 基本 – Tensor へのイントロダクション – ClassCat® AI Research
TensorFlow 2.4 : ガイド : 基本 – Tensor へのイントロダクション (翻訳/解説) 翻訳 : (株)クラスキャット セールスインフォメーション 作成日時 : 12/22/2020 * 本ページは、TensorFlow org サイトの Guide – TensorFlow Basics の以下のページを翻訳した上で 適宜、補足説明したものです： Introduction to Tensors * サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。 * ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。
学習率のWarmupで大きいバッチサイズでもいい感じに訓練する - Qiita
最近になって論文でたびたび目にする学習率のWarmupについて、CIFAR-10で実験してみました。その結果、Warmupを使うとバッチサイズの増加にともなう精度の急落を、ある程度緩和できることがわかりました。大きいバッチサイズで訓練したり、訓練を高速化したい場合は、このWarmupが非常に有効となるでしょう。 きっかけ Google I/O'19の講演を聞いていたら、学習率のウォームアップについて話していました。RetinaNetをTPUで訓練する話です。 曰く、「このケースではResNet50の訓練済みモデルを初期値として使い、レイヤーを固定せず、全てのレイヤーを訓練させる。大きいバッチサイズを使っているので、訓練済み係数が壊れてしまう可能性がある。学習の最初は低い学習率を使い、徐々にあげていくという学習率のコントロールを行う」（ビデオ39分付近）とのことです。 このアイディアはこの講
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
年末年始に振り返る 2021年の人工知能10大トレンドと必読論文
BLOG | Panasonic AI | パナソニックの人工知能研究開発 - Panasonic
Introducing Pathways: A next-generation AI architecture
Quiver