トランスフォーマーは RNN である - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
拙著『深層ニューラルネットワークの高速化』が重版して第 2 刷となりました。皆さまありがとうございます！ 深層ニューラルネットワークの高速化 (ML Systems) 作者:佐藤 竜馬技術評論社Amazon もはや恒例、重版に感謝して書き下ろし専門記事をお届けします。 本稿では、SNS などでもたびたび話題になるトランスフォーマーは RNN であるという話をします。本稿では単に形式的に包含性を指摘するだけでなく、トランスフォーマーと RNN はどの程度似ているのかや、そこから導かれる応用上の意味についても詳しくご紹介します。 本稿は『深層ニューラルネットワークの高速化』の第 6.3 節と第 7.2 節に基づいています。 過去回 拡散モデルと最適輸送（最適輸送第 5 刷） GNN の最新動向（グラフニューラルネットワーク第 3 刷） 深層学習で部分空間を扱うときは射影行列を考えるとよい（グラ
従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？
ChatGPTやBardなど、2023年7月時点で商用利用されている大規模言語モデルはほとんど全てがトランスフォーマーというアーキテクチャを利用したモデルですが、トランスフォーマー型のモデルは入力の長さの2乗に比例して計算量が増加するため、入力サイズが制限されてしまう問題があります。そうした問題に応えて、大きいデータへの対応や推論時のメモリ使用量の削減を達成しつつトランスフォーマー型に匹敵する性能を出せるアーキテクチャ「RWKV」について、著者の一人がブログで解説しています。 The RWKV language model: An RNN with the advantages of a transformer | The Good Minima https://johanwind.github.io/2023/03/23/rwkv_overview.html How the RWKV l
Zero-shot Learning網羅的サーベイ：CLIPが切り開いたVision & Languageの新しい世界 - エクサウィザーズ Engineer Blog
こんにちは！ 画像システムグループで機械学習エンジニアをやっている小島です。 この記事では、今ホットな「Zero-shot Learning」と「Vision & Language」に関する最新情報を、CLIPという研究を起点として網羅的にサーベイをしていきます。このために論文1000本に目を通し、70本程度を記事にしました。 Zero-shotやVision & Languageは、Stable Diffusionに代表される画像生成AIとも密接に関連している技術です。この記事を通して、Vision & Languageの奥深い世界を体感できるでしょう。 注意事項 この記事は非常に長いため、全部読むのに1時間以上かかる可能性があるので、休憩を取りながら、または必要な部分だけ読んでください。各セクションを個別に読んでも問題ありません。 また、文章中の画像は、特別な記載がない限り、引用元の論
Online Label Smoothingの実装と評価 - Qiita
はじめに 過学習防止効果があるとされるLabel Smoothingだが、これに改良を加えたというOnline Label Smoothingの論文を見つけたので、tf.kerasで実装して評価して見た。 Online Label Smoothingとは まず、Label Smoothingについて簡単に説明する。 画像分類のタスクにおいては、正解のラベルとしてOne Hotのベクトルを使用する。これは正解のクラスに対応する値だけが1.0でその他は0.0となったもの。 これは当然の様に思えるが、このまま学習させると「過学習を招く」、及び「モデルが自信を持ちすぎてしまう」といった問題があるとして、Inceptionモデルの論文で提案されたのが、Label Smoothingである。 具体的には、学習時のラベルとして「正解のクラスの値は少し割り引いて、減らした値は全てのクラスに均等に分割して加
Deep Learningにおける知識の蒸留 | Code Craft House
ここ数年のDeep Learningの発展は目覚ましく、急速に実用化が進んでいます。タスクによっては人間に匹敵する精度に達しているものもあり、システムの一部品としてデプロイする場面も増えてくると思います。そこで問題になるのが計算機資源の制約です。学習時には大量の学習データを用意し、GPUなどの計算資源で数時間や数日かかるような学習をしますが、推論時には限られたメモリや計算資源のもとで動作させる必要があります。リアルタイムに大量の入力データを捌く必要があったり、スマートフォンやエッジデバイスなどで動作させる場合には、この制約はさらに強くなります。 深くて大きいモデルの方が精度が出るが、実用を考えると軽量なモデルにする必要がある。こういった場面で最近よく使われる手法として、 知識の蒸留 (Knowledge Distillation) と呼ばれる方法があります。これは、（典型的には）大きくて複
The Transformer Family Version 2.0
Date: January 27, 2023 | Estimated Reading Time: 46 min | Author: Lilian Weng Many new Transformer architecture improvements have been proposed since my last post on “The Transformer Family” about three years ago. Here I did a big refactoring and enrichment of that 2020 post — restructure the hierarchy of sections and improve many sections with more recent papers. Version 2.0 is a superset of the
Google BrainのSwitch Transformer言語モデル、16兆個のパラメータに到達
Google Brainの研究者たちは、より大きく、より良いものを追求し続ける中で、新たに提案したSwitch Transformer言語モデルを、計算コストを抑えながら1.6兆個のパラメータにまでスケールアップした。研究チームは、Mixture of Experts (MoE) ルーティングアルゴリズムを単純化し、データ、モデル、専門家の並列性を効率的に組み合わせ、この「法外な数のパラメータ」を可能にした。 最近の多くのシンプルなディープラーニングアーキテクチャは、より複雑なアルゴリズムよりも優れた性能を発揮していますが、このような性能向上には膨大な計算予算、膨大なデータセット、膨大なパラメータ数が必要となる。研究チームは、ディープラーニングモデルはすべての入力に対して同じパラメータを再利用する傾向があるのに対し、Mixture of Experts (MoE)モデルは異なるパラメータを
はじめての自然言語処理 Switch Transformer の検証 | オブジェクトの広場
Transformer のパラメータ数を増やしながらも必要な計算量の増加を抑えることができる Switch Transfomer のご紹介です。Google さんのように1兆6千億パラメータは無理ですが、規模が小さいモデルでも効果が見込めるようなので、実際に動かして確認してみたいと思います。 1. はじめに 今回は今年1月に発表された Switch Transformer 1 の話です。 Transformer というモデルはそのサイズに応じて性能が伸びることが良く知られています2。近年どんどん巨大化しており、 Switch Transformer ではついにパラメータ数が1兆6千億個に達しました3。 この連載ではこの手の巨大なモデルは「スゴイのはわかるんですけれど、デモをつつくぐらいで手元で動かせないなぁ～。」とスルーしていたのですが、 Switch Transformer はパラメータ
Deep Metric Learning の定番⁈ Triplet Lossを徹底解説 - Qiita
はじめに Deep Learningを使った距離学習（Metric Learning）は、人物同定（Person Re-Identification）をはじめ、顔認識、細かい画像の分類、および画像検索など多くのコンピュータビジョンタスクにおいて広く利用されています。その中でも損失関数にTriplet Lossを用いたMetiric Learningは比較的ポピュラーなやり方で、関連論文もこれまでたくさん発表されています。本稿では、まず画像分類（Classification）タスクとMetric Learningの違いを考察し、次にTriplet Lossがどのように改良されてきたのか、その変遷をまとめています。 画像分類タスクとしてのPerson Re-Identification Person Re-Identificationとは同一人物を認識するタスクです。これを一般的な画像分類タス
コンピュータビジョン分野のトップカンファレンスであるECCV2022からワークショップの模様を紹介（前編） - NTT Communications Engineers' Blog
目次 目次 はじめに ECCV2022概要 Workshop Instance-Level Recognition Workshop Keynote talk: Image Search and Matching Kaggle Google Universal Image Embedding Challenge Keynote talk: Few-Shot Learning for Object Aware Visual Recognition Language Assisted Product Search Granularity aware Adaptation for Image Retrieval over Multiple Tasks Where in the World is this Image? Transformer-based Geo-localization in t
OpenAIがリリースした高精度な音声認識モデル”Whisper”を使って、オンライン会議の音声を書き起こししてみた | DevelopersIO
こんちには。 データアナリティクス事業本部 機械学習チームの中村です。 2022/09/22の夕方ごろ、OpenAIが音声認識ですごいものを出したらしいというニュースが社内のSlackをにぎわせていました。 個人的には、いくら認識が凄いって言っても、実際日本語は微妙なんじゃないかな…？と思っていたのですが… ですが… … … … おお！？(上記はGitHubにあるWER: Word Error Rateのグラフです) これは！？ これは結構良さげな数値を出している！？(たぶん) ってことで元音声屋さんとしては、これは試すしかない！ということで動かしてみました！(投稿は翌日になってしまいましたが…) なお、本記事では論文内容の詳細などには触れませんのでご了承ください。(後日できたらがんばります) いますぐ使いたい人向け 今すぐ使いたい方は、Hugging Faceでブラウザから書き起こしを試
言語処理のニューラルネットワークモデルが脳の働きと同じ構造をしているという仮説
脳がどのように時間を把握するのかという研究や選択的に恐怖やトラウマなどの記憶を消去する実験など、「脳がどのように機能して、脳のどこで何をするのか？」という疑問は依然として不明な点が多くなっています。そのような脳の働きについて、言語処理の深層学習モデルであるTransformerが、脳の機能を追跡する類似モデルとして役に立つことが示されました。 Quanta Magazine https://www.quantamagazine.org/how-ai-transformers-mimic-parts-of-the-brain-20220912/ Relating transformers to models and neural representations of the hippocampal formation | OpenReview https://openreview.net/f
U-Net：ディープラーニングによるSemantic Segmentation手法
※このネットワーク図では具体例として入力画像と特徴マップのサイズも記載されているが、U-Netは全結合層を持たないため、入力画像サイズを固定する必要はない。 この論文では細胞と背景のセグメンテーションが目的なので出力は2チャンネル(2クラス分類)。 Encoder-Decoder構造 U-NetもFCNやSegNetと同様に全結合層を持たず、畳み込み層で構成されている。U-NetもSegNetのようにほぼ左右対称のEncoder–Decoder構造で、Encoderのpoolingを経てダウンサンプリングされた特徴マップをDecoderでアップサンプリングしていく。 U-NetとSegNetの大きな違いは、Encoderの各層で出力される特徴マップをDecoderの対応する各層の特徴マップに連結(concatenation)するアプローチを導入した点。このアプローチはスキップ接続と呼ばれて
【論文読解】U2-Net: Going Deeper with Nested U-Structure for Salient Object Detection - Qiita
【論文読解】U2-Net: Going Deeper with Nested U-Structure for Salient Object DetectionDeepLearningSaliencyMap 概要 $\mathrm{U}^2$-NetというSaliency Object Detection（SOD）のためのネットワーク構造を提案している論文を読んだので紹介します。 SODは画像中の目立つ物体の領域を特定するというタスクですが、本論文で提案している$\mathrm{U}^2$-NetはSOTAを達成しているほか、軽量バージョンでも当時のSOTAに匹敵する精度を実現しています。 また、論文の段階ではSODを主な適用先とみなしていたようですが、直感的にわかるように、本手法は一般的なセマンティックセグメンテーションやエッジ検出のようなタスクにも使えることが明らかになってきています。つ
[論文紹介] U^2-Net
Xuebin Qin, Zichen Zhang, Chenyang Huang, Masood Dehghan, Osmar R. Zaiane, Martin Jagersand 概要 U-Net をネストした構造の U^2-Net を提唱し、画像の中から「興味の対象」を抽出する SOD(Salient Object Detection) タスクにおいて、SOTA を達成。また、パラメータ数を抑えた U^2-Net^\dagger では、パラメタサイズがたかだか 4.7M にもかかわらず、既存の手法と遜色のない精度を達成した。既存の手法と違い、 ImageNet による事前学習を行わず、フルスクラッチで訓練しているため、ImageNet と分布の異なる画像であっても利用可能。 検証画像 (c) および (d) を見ると、他の手法よりも精度良く物体を抽出できていることがわかる。 モデルサ
![[論文紹介] U^2-Net](https://cdn-ak-scissors.b.st-hatena.com/image/square/0c2ecee5f44f37ee017d7f72eb7ae4c35cf0112f/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--9MtYrewM--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E8%2525AB%252596%2525E6%252596%252587%2525E7%2525B4%2525B9%2525E4%2525BB%25258B%25255D%252520U%25255E2-Net%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Aohtaman%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9saDMuZ29vZ2xldXNlcmNvbnRlbnQuY29tL2EtL0FPaDE0R2l3cGFNNU1ua0EwU05mTWNVRE40aVBMVFoxenRJbGJ4ZkE4eXVwLWRzPXM5Ni1j%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
コンピュータビジョン分野における世界最高峰の国際会議CVPR2022からワークショップの模様を紹介（前編） - NTT Communications Engineers' Blog
目次 目次 はじめに CVPR2022概要 Workshop on Image Matching: Local Features & Beyond SuperPoint and SuperGlue: Lessons Learned Large-scale 3D reconstruction Deployment - Successes, Challenges, Open Problems Unstructured Object Matching using Co-Salient Region Segmentation Nerfels: Renderable Neural Codes for Improved Camera Pose Estimation Feature Query Networks: Neural Surface Description for Camera Pose Re
Thoth Children | 知識と質問が集まる技術学術情報集積所
隠れマルコフモデル(HMM, Hidden Markov Model)は、内部の観測できない状態を外部で観測できる状態から推定する技術. 内部の状態は確率でどれかの状態に遷移し、遷移した先で決まった確率で観測される状態を出力する.ビタビアルゴリズムで内部の最も考えられる状態遷移を予測し、Forward-Barckwardアルゴリズムで各時刻、各状態の確率を算出し、BaumWelchアルゴリズムでそもそもモデルのパラメータを推定する.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - yahoojapan/JGLUE: JGLUE: Japanese General Language Understanding Evaluation
GitHub - BlinkDL/ChatRWKV: ChatRWKV is like ChatGPT but powered by RWKV (100% RNN) language model, and open source.
AI 激動の年！2022年の人工知能10大トレンドと必読論文
