検索対象

並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 18 件 / 18件

新着順 人気順

RNNの検索結果1 - 18 件 / 18件

タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。

RNNに関するエントリは18件あります。 機械学習、 python、 deep learning などが関連タグです。 人気エントリには 『RNNでTransformer並みの性能を実現するRWKVがやばい』などがあります。

RNNの関連エントリー

  • RNNでTransformer並みの性能を実現するRWKVがやばい

    (本記事は数時間前からRWKVの手法について調べ始めた著者が、手法をまとめるためのメモ書きとして深夜テンション書いたレベルのものです。内容の正確さについて保証しないので各自最後にある参考文献の確認をお願いします。日本語の記事でRWKVの手法について解説されたものが見当たらなかったので、一部僕の見解が含まれますが英語版中国語版の翻訳程度に受け取ってもらえたら幸いです。中国語は一切読めないけど・・・） Introduction 昨今の生成系AIブームの中で、OpenAIが開発するChatGPT、特にGPT4の性能は目を引くものがあります。ですが、そのモデルを動かすための計算資源にも目を引くものがあり、LLaMA.cppなどローカルで動かそうとする試みは存在するにせよ、やはり一般の家庭でしかも現実的な電気代でGPT4を動かすという未来は遠そうです。 さて、そんな話題のChatGPTやGPT4です

      RNNでTransformer並みの性能を実現するRWKVがやばい

    • トランスフォーマーは RNN である - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

      拙著『深層ニューラルネットワークの高速化』が重版して第 2 刷となりました。皆さまありがとうございます！ 深層ニューラルネットワークの高速化 (ML Systems) 作者:佐藤 竜馬技術評論社Amazon もはや恒例、重版に感謝して書き下ろし専門記事をお届けします。 本稿では、SNS などでもたびたび話題になるトランスフォーマーは RNN であるという話をします。本稿では単に形式的に包含性を指摘するだけでなく、トランスフォーマーと RNN はどの程度似ているのかや、そこから導かれる応用上の意味についても詳しくご紹介します。 本稿は『深層ニューラルネットワークの高速化』の第 6.3 節と第 7.2 節に基づいています。 過去回 拡散モデルと最適輸送（最適輸送第 5 刷） GNN の最新動向（グラフニューラルネットワーク第 3 刷） 深層学習で部分空間を扱うときは射影行列を考えるとよい（グラ

        トランスフォーマーは RNN である - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

      • QDくん⚡️Python x 機械学習 x 金融工学 on Twitter: "筑波大が無料公開している機械学習の講義動画 https://t.co/aOlSBqYefi ・講義ノートもダウンロード可能 ・単回帰に始まりCNN, RNN, GANまでひと通り学べる https://t.co/CqpnzfBfOm"

        筑波大が無料公開している機械学習の講義動画 https://t.co/aOlSBqYefi ・講義ノートもダウンロード可能 ・単回帰に始まりCNN, RNN, GANまでひと通り学べる https://t.co/CqpnzfBfOm

          QDくん⚡️Python x 機械学習 x 金融工学 on Twitter: "筑波大が無料公開している機械学習の講義動画 https://t.co/aOlSBqYefi ・講義ノートもダウンロード可能 ・単回帰に始まりCNN, RNN, GANまでひと通り学べる https://t.co/CqpnzfBfOm"

        • シングルGPUで動作するTransformer相当のRNNモデル　RWKV-Raven-14Bを試してみた | DevelopersIO

          こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はシングルGPUで動作するTransformer相当のRNNモデル、という噂のRWKVについて試してみたいと思います。 RWKVとは TransformerベースのLLMと同等の性能を持つ、並列化可能なRNNモデルであり、Attentionフリー(Attention構造を持たない)なモデルです。 ライセンス形態がApache License 2.0かつ、シングルGPUでも動作する点が凄いところとなっています。 GitHub https://github.com/BlinkDL/RWKV-LM Huggin Face https://huggingface.co/BlinkDL Hugging Face側にモデルがいくつか公開されており、rwkv-4が付くものが最近よく話題で使用されているもので

            シングルGPUで動作するTransformer相当のRNNモデル　RWKV-Raven-14Bを試してみた | DevelopersIO

            • RNNの関連エントリー

          • 【翻訳転載】時空の旅：Attentionは二乗時間RNN - Qiita

            \left( \begin{array}{cc} y_i^{(t)} \\ z_i^{(t)} \\ \end{array} \right) = \left( \begin{array}{cc} y_i^{(t-1)} \\ z_i^{(t-1)} \\ \end{array} \right) +e^{q_i\cdot k_{i-t+1}} \left( \begin{array}{cc} v_{i-t+1} \\ 1 \\ \end{array} \right), o_i=\frac{y_i^{(i)}}{z_i^{(i)}} \qquad(2) 筆者が読んだ文献の中では、「Self-attention Does Not Need O(n^2) Memory」が初めて上の式にたどり着き、この式でAttention計算の最適化を試みた。また、この式は現在主流の加速技術であるFlash At

              【翻訳転載】時空の旅：Attentionは二乗時間RNN - Qiita

            • GitHub - BlinkDL/ChatRWKV: ChatRWKV is like ChatGPT but powered by RWKV (100% RNN) language model, and open source.

              You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                GitHub - BlinkDL/ChatRWKV: ChatRWKV is like ChatGPT but powered by RWKV (100% RNN) language model, and open source.

              • GitHub - BlinkDL/RWKV-LM: RWKV (pronounced RwaKuv) is an RNN with great LLM performance, which can also be directly trained like a GPT transformer (parallelizable). We are at RWKV-7 "Goose". So it's combining the best of RNN and transformer - great perfor

                RWKV website: https://rwkv.com (with 150+ papers training various RWKV models) RWKV twitter: https://twitter.com/BlinkDL_AI (lastest news) RWKV discord: https://discord.gg/bDSBUMeFpc RWKV-7 "Goose" is the strongest linear-time & constant-space (no kv-cache) & attention-free & 100% RNN architecture on this planet at this moment, suitable for LLM and multimodal applications and more (see rwkv.com).

                  GitHub - BlinkDL/RWKV-LM: RWKV (pronounced RwaKuv) is an RNN with great LLM performance, which can also be directly trained like a GPT transformer (parallelizable). We are at RWKV-7 "Goose". So it's combining the best of RNN and transformer - great perfor

                • Introducing RWKV - An RNN with the advantages of a transformer

                  ChatGPT and chatbot-powered applications have captured significant attention in the Natural Language Processing (NLP) domain. The community is constantly seeking strong, reliable and open-source models for their applications and use cases. The rise of these powerful models stems from the democratization and widespread adoption of transformer-based models, first introduced by Vaswani et al. in 2017

                    Introducing RWKV - An RNN with the advantages of a transformer

                  • The RWKV language model: An RNN with the advantages of a transformer

                    For a while, I’ve been following and contributing to the RWKV language model, an open source large language model with great potential. As ChatGPT and large language models in general have gotten a lot of attention recently, I think it’s a good time to write about RWKV. In this post, I will try to explain what is so special about RWKV compared to most language models (transformers). The other RWKV

                    • Python: PyTorch の RNN を検算してみる - CUBE SUGAR CONTAINER

                      今回は、PyTorch の RNN (Recurrent Neural Network) が内部的にどんな処理をしているのか確認してみる。 なお、ここでいう RNN は、再起的な構造をもったニューラルネットワークの総称ではなく、いわゆる古典的な Simple RNN を指している。 これを書いている人は、ニューラルネットワークが何もわからないので、再帰的な構造があったりすると尚更わからなくなる。 そこで、中身について知っておきたいと考えたのがモチベーションになっている。 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 11.5.2 BuildVersion: 20G95 $ python -V Python 3.9.6 $ pip list | grep torch torch 1.9.0 もくじ もくじ 下準備 モデルを

                        Python: PyTorch の RNN を検算してみる - CUBE SUGAR CONTAINER

                      • [PyTorch]RNNを使った時系列予測 - Qiita

                        0. はじめに DeepLearningを使用した時系列/自然言語処理に関して調べたことをシェアしていく記事の第1弾です。第1回はRNN(Recurrent neural network)を扱います。 RNNの日本語記事はかなりありましたが、LSTMではなくRNNを使用した「sin波予測」以外のサンプルが少なかったり(というかほぼ無かった)Kerasを使用したRNN記事と比べて圧倒的にPyTorchで書かれた記事が少ないと感じたので、私なりに初心者でもわかるような直感的な表現を使いつつこの記事ではまとめていこうと思います。 RNNは今や古いので誰にも使われていませんが、いろんな分野の基礎になっているので理解しておくことは重要だと考えています。 例)テキスト解析、感情分析、文章翻訳、チャットボット、動画分析・・・etc なお、本記事では自然言語ではなく「時系列処理」に関してRNNを適応した例

                          [PyTorch]RNNを使った時系列予測 - Qiita

                        • 【Deep Learning研修（発展）】系列データモデリング (RNN / LSTM / Transformer)　第１回「イントロダクション」

                          【Deep Learning研修（発展）】（ https://www.youtube.com/playlist?list=PLbtqZvaoOVPA-keirzqx2wzpujxE-fzyt ）はディープラーニング・機械学習に関する発展的な話題を幅広く紹介する研修動画シリーズです。Neural Network Consoleチャンネル（https://www.youtube.com/c/NeuralNetworkConsole/ ）でもディープラーニングに関するより基礎的な内容の解説動画を公開しておりますので、ぜひそちらも御覧ください。 本動画は「系列データモデリング」の第１回の動画です。系列データとは何か、どのような応用事例があるのか、そして本研修で扱う内容について説明しています。 [スライド4] Found in translation: More accurate, fluen

                            【Deep Learning研修（発展）】系列データモデリング (RNN / LSTM / Transformer)　第１回「イントロダクション」

                          • 自然言語処理に使われるLSTMとは？RNNとの違いや特徴を紹介

                            第三次AIブームと呼ばれる昨今、さまざまな企業が積極的にAI(人工知能)を導入し始めており、私たちの生活にも溶け込みつつある状況です。スマートフォンでも気軽にAIを利用できるため、もはや欠かせない存在といっても過言ではないでしょう。 その中でも、チャットボットやスマートスピーカーに用いられている「自然言語処理」は、多くの価値を見出すことから特に注目されています。今回は、その自然言語処理に使われる「LSTM」について詳しくご紹介していきます。RNNとの違いについても解説していきますので、ぜひ参考にしてみてください。 ディープラーニングについて詳しく知りたい方は以下の記事もご覧ください。 ディープラーニングとは？仕組みやできること、実用例をわかりやすく紹介 LSTMとは、「Long Short Term Memory」を略した言葉であり、ニューラルネットワークに使用される層の一つです。このLS

                              自然言語処理に使われるLSTMとは？RNNとの違いや特徴を紹介

                            • Yoshihiko Suhara on Twitter: "せっかく作ったので昨年秋に担当したデータサイエンスコースの大学院生向け講義の資料と演習用Google Colabを公開しました。ディープラーニングの基本であるAutoEncoder、CNN、GAN、RNN、Transformerな… https://t.co/lO2n3tClNl"

                              せっかく作ったので昨年秋に担当したデータサイエンスコースの大学院生向け講義の資料と演習用Google Colabを公開しました。ディープラーニングの基本であるAutoEncoder、CNN、GAN、RNN、Transformerな… https://t.co/lO2n3tClNl

                                Yoshihiko Suhara on Twitter: "せっかく作ったので昨年秋に担当したデータサイエンスコースの大学院生向け講義の資料と演習用Google Colabを公開しました。ディープラーニングの基本であるAutoEncoder、CNN、GAN、RNN、Transformerな… https://t.co/lO2n3tClNl"

                              • 自動取引に使えそうな深層学習による時系列データ予測の手法まとめ (RNN, CNN, Transformer, ……)｜j26

                                深層学習系 基礎①：RNN, LSTM, GRU 昔は時系列で深層学習と言ったら基本 RNN 系しか考えられないような状況だったと思う。RNN は内部状態を時系列方向に渡す NN の総称で、内部状態の計算をイカしたやり方でやる RNN の一種が LSTM や GRU という関係。 いろんな亜種も提案されてきたけど、結局普通の LSTM, GRU が普通によく使われる印象。とある激ツヨ botter は LSTM, GRU でめっちゃ勝ってるっぽい……凄い。けど、かなりノウハウがある様子なので、普通に OHLCV を突っ込むだけで勝てるかは謎。 深層学習系 基礎②：CNN, Dilated CNNCNN は主に画像分類等で圧倒的な性能を発揮してきたが、時系列予測でも利用できる。画像では縦横方向の二次元の畳み込みを行うが、時系列データでは時間方向の一次元の畳み込みを利用する。 CNN の課題は

                                  自動取引に使えそうな深層学習による時系列データ予測の手法まとめ (RNN, CNN, Transformer, ……)｜j26

                                • kaz / AI Academy on Twitter: "「筑波大学オープンコースウェア」を活用すると機械学習概論から単回帰・重回帰、SVM、k-means,PCA,ニューラルネットワーク,CNN,RNN,GANなどが全て「無料」で学べます。 上記20本が講義動画で登録なしで学べます。… https://t.co/qoD0vhifGz"

                                  「筑波大学オープンコースウェア」を活用すると機械学習概論から単回帰・重回帰、SVM、k-means,PCA,ニューラルネットワーク,CNN,RNN,GANなどが全て「無料」で学べます。 上記20本が講義動画で登録なしで学べます。… https://t.co/qoD0vhifGz

                                    kaz / AI Academy on Twitter: "「筑波大学オープンコースウェア」を活用すると機械学習概論から単回帰・重回帰、SVM、k-means,PCA,ニューラルネットワーク,CNN,RNN,GANなどが全て「無料」で学べます。 上記20本が講義動画で登録なしで学べます。… https://t.co/qoD0vhifGz"

                                  • 【Deep Learning研修（発展）】系列データモデリング (RNN / LSTM / Transformer)　第７回「Transformer」

                                    【Deep Learning研修（発展）】（ https://www.youtube.com/playlist?list=PLbtqZvaoOVPA-keirzqx2wzpujxE-fzyt ）はディープラーニング・機械学習に関する発展的な話題を幅広く紹介する研修動画シリーズです。Neural Network Consoleチャンネル（https://www.youtube.com/c/NeuralNetworkConsole/ ）でもディープラーニングに関するより基礎的な内容の解説動画を公開しておりますので、ぜひそちらも御覧ください。 本動画は「系列データモデリング」の第７回の動画です。前回のAttentionに続き、深層学習分野において大きなインパクトを与えた手法であるTransformerについて説明します。 [スライド5] Attention Is All You Need

                                      【Deep Learning研修（発展）】系列データモデリング (RNN / LSTM / Transformer)　第７回「Transformer」

                                    • 🎍QDくん🎍Python x 機械学習 x 金融工学 on Twitter: "SONYがYouTubeに無料公開している、系列データモデリングのコース。説明が丁寧でわかりやすい。RNN, LSTM, seq2seq, attention, Transformer, word2vec, BERTなど盛り沢山の… https://t.co/i5GSLIaLEo"

                                      SONYがYouTubeに無料公開している、系列データモデリングのコース。説明が丁寧でわかりやすい。RNN, LSTM, seq2seq, attention, Transformer, word2vec, BERTなど盛り沢山の… https://t.co/i5GSLIaLEo

                                        🎍QDくん🎍Python x 機械学習 x 金融工学 on Twitter: "SONYがYouTubeに無料公開している、系列データモデリングのコース。説明が丁寧でわかりやすい。RNN, LSTM, seq2seq, attention, Transformer, word2vec, BERTなど盛り沢山の… https://t.co/i5GSLIaLEo"
                                      1

                                      新着記事

                                      はてなブックマーク

                                      公式Twitter

                                      はてなのサービス

                                      • App Storeからダウンロード
                                      • Google Playで手に入れよう
                                      Copyright © 2005-2026 Hatena. All Rights Reserved.