並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 37 件 / 37件

新着順 人気順

RNNの検索結果1 - 37 件 / 37件

タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。

RNNに関するエントリは37件あります。 機械学習自然言語処理NLP などが関連タグです。 人気エントリには 『AIが描きかけのおちんちんを仕上げてくれる「dick-rnn」』などがあります。
  • AIが描きかけのおちんちんを仕上げてくれる「dick-rnn」

    ニューラルネットワークを用いてお絵描き途中の線からイラストを仕上げる「Sketch-RNN」のようなリカレントニューラルネットワーク(RNN)モデルとして作成された「dick-rnn」は、その名の通り「dick(おちんちん)」のイラストに特化したRNNです。 [P] I trained a recurrent neural network trained to draw dick doodles : MachineLearning https://www.reddit.com/r/MachineLearning/comments/g6og9l/p_i_trained_a_recurrent_neural_network_trained_to/ 「dick-rnn」を作成したのは海外掲示板・redditユーザーのrichardさん。同氏によると、「dick-rnn」はお絵描き途中の線からイラ

      AIが描きかけのおちんちんを仕上げてくれる「dick-rnn」
    • RNNでTransformer並みの性能を実現するRWKVがやばい

      (本記事は数時間前からRWKVの手法について調べ始めた著者が、手法をまとめるためのメモ書きとして深夜テンション書いたレベルのものです。内容の正確さについて保証しないので各自最後にある参考文献の確認をお願いします。日本語の記事でRWKVの手法について解説されたものが見当たらなかったので、一部僕の見解が含まれますが英語版中国語版の翻訳程度に受け取ってもらえたら幸いです。中国語は一切読めないけど・・・) Introduction 昨今の生成系AIブームの中で、OpenAIが開発するChatGPT、特にGPT4の性能は目を引くものがあります。ですが、そのモデルを動かすための計算資源にも目を引くものがあり、LLaMA.cppなどローカルで動かそうとする試みは存在するにせよ、やはり一般の家庭でしかも現実的な電気代でGPT4を動かすという未来は遠そうです。 さて、そんな話題のChatGPTやGPT4です

        RNNでTransformer並みの性能を実現するRWKVがやばい
      • トランスフォーマーは RNN である - ジョイジョイジョイ

        拙著『深層ニューラルネットワークの高速化』が重版して第 2 刷となりました。皆さまありがとうございます! 深層ニューラルネットワークの高速化 (ML Systems) 作者:佐藤 竜馬技術評論社Amazon もはや恒例、重版に感謝して書き下ろし専門記事をお届けします。 本稿では、SNS などでもたびたび話題になるトランスフォーマーは RNN であるという話をします。本稿では単に形式的に包含性を指摘するだけでなく、トランスフォーマーと RNN はどの程度似ているのかや、そこから導かれる応用上の意味についても詳しくご紹介します。 本稿は『深層ニューラルネットワークの高速化』の第 6.3 節と第 7.2 節に基づいています。 過去回 拡散モデルと最適輸送(最適輸送第 5 刷) GNN の最新動向(グラフニューラルネットワーク第 3 刷) 深層学習で部分空間を扱うときは射影行列を考えるとよい(グラ

          トランスフォーマーは RNN である - ジョイジョイジョイ
        • QDくん⚡️Python x 機械学習 x 金融工学 on Twitter: "筑波大が無料公開している機械学習の講義動画 https://t.co/aOlSBqYefi ・講義ノートもダウンロード可能 ・単回帰に始まりCNN, RNN, GANまでひと通り学べる https://t.co/CqpnzfBfOm"

          筑波大が無料公開している機械学習の講義動画 https://t.co/aOlSBqYefi ・講義ノートもダウンロード可能 ・単回帰に始まりCNN, RNN, GANまでひと通り学べる https://t.co/CqpnzfBfOm

            QDくん⚡️Python x 機械学習 x 金融工学 on Twitter: "筑波大が無料公開している機械学習の講義動画 https://t.co/aOlSBqYefi ・講義ノートもダウンロード可能 ・単回帰に始まりCNN, RNN, GANまでひと通り学べる https://t.co/CqpnzfBfOm"
          • RNNからTransformerまでの歴史を辿る ~DNNを使ったNLPを浅く広く勉強~ - arutema47's blog

            Amazon Prime 一ヶ月無料 Seq2seqからBERTまでのNLPモデルの歴史をざっとまとめる。 DNNは知ってるけどTransformerってなんだかわからない、って人におすすめです。 Abst. 画像認識にもTransformerが使われることが多く、DeepRLやGPT-3といったNLPモデルも身近になってきています。"Attention is 何?"と言えなくなってきたので勉強しました。 Feedforward NetworksからSeq2Seq, Attention機構からTransformer登場、そしてBERT GPTといった最新モデルまでの流れを広く浅く記述する予定。 またKaggle NLPコンペの上位解法から利用例を探る。 Tl;DR TransformerはSelf-Attentionという機構でデータ内の時系列的特徴を抽出でき、従来のRNNを始めとするNN

              RNNからTransformerまでの歴史を辿る ~DNNを使ったNLPを浅く広く勉強~ - arutema47's blog
            • シングルGPUで動作するTransformer相当のRNNモデル RWKV-Raven-14Bを試してみた | DevelopersIO

              こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はシングルGPUで動作するTransformer相当のRNNモデル、という噂のRWKVについて試してみたいと思います。 RWKVとは TransformerベースのLLMと同等の性能を持つ、並列化可能なRNNモデルであり、Attentionフリー(Attention構造を持たない)なモデルです。 ライセンス形態がApache License 2.0かつ、シングルGPUでも動作する点が凄いところとなっています。 GitHub https://github.com/BlinkDL/RWKV-LM Huggin Face https://huggingface.co/BlinkDL Hugging Face側にモデルがいくつか公開されており、rwkv-4が付くものが最近よく話題で使用されているもので

                シングルGPUで動作するTransformer相当のRNNモデル RWKV-Raven-14Bを試してみた | DevelopersIO
              • 【翻訳転載】時空の旅:Attentionは二乗時間RNN - Qiita

                この記事は中国のNLP研究者Jianlin Su氏が運営するブログ「科学空間」で掲載された解説記事の日本語訳です。 原文の掲載日は2024/3/18です。 苏剑林. (Mar. 18, 2024). 《时空之章:将Attention视为平方复杂度的RNN 》[Blog post]. Retrieved from https://kexue.fm/archives/10017 近年、線形時間の学習・推論計算量を持つRNNが、少なからずの研究者やユーザーから改めて注目され始めており、どこか「文芸復興」の様相を呈している。その代表作にRWKV、RetNet、Mambaなどが挙げられる。RNNを言語モデルとして使う際の最大の特徴は一回の生成が費やす空間・時間計算量が定数であることだ。系列全体でみると、定数の空間計算量と線形な時間計算量を持つことになる。もちろん、どんな物事にも両面性がある。Atte

                  【翻訳転載】時空の旅:Attentionは二乗時間RNN - Qiita
                • [文章生成]PyTorchのRNNクラスを使って文章生成を行う準備をしよう

                  今回の目的 前回はマルコフ連鎖を用いて、青空文庫で公開されている梶井基次郎の著作データから文章を生成しました。今回から数回に分けてディープラーニングの手法を用いて、文章の生成に挑戦してみましょう。 ここで一つ考えたいのは、文章というものの構造です。例えば、梶井基次郎の『檸檬』には「檸檬などごくありふれている。」という1文があります。これを分かち書きにすると「檸檬 など ごく ありふれ て いる 。」となりますが、これは「檸檬」→「など」→「ごく」→「ありふれ」→「て」→「いる」→「。」と形態素が連続して登場する(時系列)データだと考えられます。こうしたデータを扱うのに適したニューラルネットワークとしてRNNがあります。本連載でも「RNNに触れてみよう:サイン波の推測」などで少し触れました。今回はこのRNNを用いて文章を生成するための準備を、次回は実際に文章を生成する予定です。 ここで問題な

                    [文章生成]PyTorchのRNNクラスを使って文章生成を行う準備をしよう
                  • GitHub - BlinkDL/ChatRWKV: ChatRWKV is like ChatGPT but powered by RWKV (100% RNN) language model, and open source.

                    You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                      GitHub - BlinkDL/ChatRWKV: ChatRWKV is like ChatGPT but powered by RWKV (100% RNN) language model, and open source.
                    • GitHub - BlinkDL/RWKV-LM: RWKV is an RNN with transformer-level LLM performance. It can be directly trained like a GPT (parallelizable). So it's combining the best of RNN and transformer - great performance, fast inference, saves VRAM, fast training, "inf

                      You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                        GitHub - BlinkDL/RWKV-LM: RWKV is an RNN with transformer-level LLM performance. It can be directly trained like a GPT (parallelizable). So it's combining the best of RNN and transformer - great performance, fast inference, saves VRAM, fast training, "inf
                      • ディープラーニングを実装から学ぶ(10-1)RNNの実装(RNN,LSTM,GRU) - Qiita

                        今更ですが、RNNについてです。 RNNもCNNと同様に約2年前に実装していましたが、なかなか書けませんでした。少し時間ができたので、書きます。 RNNですが、例によってMNISTを使って確かめます。 時系列データ RNNは、例えば、株価の推移、商品の売り上げなど時刻ごとに変化するデータの予測に用いられます。 次元としては、以下のような2次元データです。 (t, d) t:時系列長、d:説明変数 tは、月次データの12か月分であれば12、日々データで1週間分であれば7になります。 ここでは、MNISTの画像を時系列データとみなします。 MNISTの画像の例です。 以下のように、上部のピクセルから順に1時刻、2時刻となり最後が28時刻です。 (28,28)のデータになります。 スキャナで上から順番に読み込んでいくイメージです。 RNN(リカレントニューラルネットワーク) 時系列データは、前時

                          ディープラーニングを実装から学ぶ(10-1)RNNの実装(RNN,LSTM,GRU) - Qiita
                        • dick-rnn

                          a neural network trained to draw dicks

                            dick-rnn
                          • 今度こそわかるぞRNN, LSTM編 - Qiita

                            はじめに GW中になにか一つアウトプットしたいと思ったので、自分が最初見たとき、ん?と思ったLSTMについて詳しく書いてみようと思います。 ところどころ数式も交えながら、なるべくわかりやすく書いていきたい所存です・・・! シーケンスモデルの分類 本題に入る前にまず、シーケンス(系列データ)についてまとめます。 シーケンスモデルは以下の分類ができます。 one to one 入力データも出力データも固定サイズのベクトルである一般のニューラルネット。 one to many 入力データはシーケンスではないが、出力データはシーケンスである。 例として、画像キャプショニングがある。 画像キャプショニングでは、入力は画像であり、出力は英語のフレーズになる。 many to one 入力データはシーケンスだが、出力データは固定サイズのベクトルである。 例えば感情分析では、入力はテキストベースであり、出

                              今度こそわかるぞRNN, LSTM編 - Qiita
                            • ニューラルネットワークに基づく時系列予測手法まとめ: LSTNet, RNN, LSTM, GRU - 元コンサルでデータサイエンティスト

                              LSTNetの論文*1を読む機会があったので、関連手法であるニューラルネットワークをベースとした時系列予測の手法についてまとめました。本記事では、RNNをはじめとして、その派生であるLSTM、GRU、LSTNetについて紹介していきます。 RNN (Recurrent Neural Network) RNN(Recurrent Neural Network) とは、ある層の出力を別の層の入力として利用するような再帰的構造を持ったニューラルネットワークです。 RNNの各時刻における中間出力は隠れ状態と呼ばれ、これは当該時刻tの時系列情報と前時刻t-1の隠れ状態を組み合わせて活性化したものです。 tanh(ハイパボリックタンジェント)を使った活性化は下式のように表すことができます。 RNNのメリットは、独立した各時点での情報だけでなく前後の時系列情報を活用することができることです。一方で、RN

                                ニューラルネットワークに基づく時系列予測手法まとめ: LSTNet, RNN, LSTM, GRU - 元コンサルでデータサイエンティスト
                              • The RWKV language model: An RNN with the advantages of a transformer

                                For a while, I’ve been following and contributing to the RWKV language model, an open source large language model with great potential. As ChatGPT and large language models in general have gotten a lot of attention recently, I think it’s a good time to write about RWKV. In this post, I will try to explain what is so special about RWKV compared to most language models (transformers). The other RWKV

                                • RNNに触れてみよう:サイン波の推測

                                  RNNとは RNN(Recurrent Neural Network)とは、「時系列データをうまく扱う」のに適したニューラルネットワークです。ここでいう「時系列データ」とは、連続する複数のデータが時間軸に沿ったものであったり、何らかの順序で並んでいたりするもののことです。数年間にわたる降水量のデータを日ごとにまとめたデータは想像しやすい時系列データの一つでしょう。あるいは「Python is great !」(Pythonはスゴイ!)という英単語の綴りもまた時系列データの一つといえます。この文は「主語 述語 形容詞 感嘆符」という4つの語が一定の規則に従って並べられたもので、こうしたものもRNNでは時系列データとして扱えます。 時系列データを扱う際に重要になるのは、ある時点のデータが、それ以降のデータに影響を与えている(と見なせる)という点です。例えば、サイン波について考えてみましょう。

                                    RNNに触れてみよう:サイン波の推測
                                  • Python: PyTorch の RNN を検算してみる - CUBE SUGAR CONTAINER

                                    今回は、PyTorch の RNN (Recurrent Neural Network) が内部的にどんな処理をしているのか確認してみる。 なお、ここでいう RNN は、再起的な構造をもったニューラルネットワークの総称ではなく、いわゆる古典的な Simple RNN を指している。 これを書いている人は、ニューラルネットワークが何もわからないので、再帰的な構造があったりすると尚更わからなくなる。 そこで、中身について知っておきたいと考えたのがモチベーションになっている。 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 11.5.2 BuildVersion: 20G95 $ python -V Python 3.9.6 $ pip list | grep torch torch 1.9.0 もくじ もくじ 下準備 モデルを

                                      Python: PyTorch の RNN を検算してみる - CUBE SUGAR CONTAINER
                                    • [TensorFlow/Keras] 好きな構造のRNNを組み立てるまでの道のり - Qiita

                                      はじめに 時系列データを入力にとり、今の時刻の入力に加えて前の時刻の「状態」も使って出力を決めるニューラルネットワークの形態に RNN (Recurrent Neural Network) があります。LSTM(Long Short-Term Memory, 長・短期記憶)が有名でしょうか。 時系列データとは、動画やテキストといった、列全体として意味を持つようなデータです。普通のニューラルネットワークは画像や文字といった、形式の決まったある1つのデータを入力に取るわけですが、それらが並んだ動画やテキストを扱うときには、個々の画像(フレーム)や文字はもちろん、その並びにも大きな意味がありますね。このようなデータをうまく扱う構造がRNNというわけです。 ただ普通の全結合層などと違って正直とっつきにくいと思います。私もそうです。 というわけで、まずはRNNが何をするものかを理解して、次に前の時刻

                                        [TensorFlow/Keras] 好きな構造のRNNを組み立てるまでの道のり - Qiita
                                      • Attentionを理解するためにRNN、Word2Vec、LSTM、Seq2Seq、Attentionの順に整理してみた - Qiita

                                        Attentionを理解するためにRNN、Word2Vec、LSTM、Seq2Seq、Attentionの順に整理してみた自然言語処理word2vecRNNAttention Attentionを理解するために、学習した事を整理します。 参考文献 ①「深層学習による自然言語処理」 講談社  坪井祐太 海野裕也 鈴木潤 著 ②「ゼロから作るDeep Learning2 自然言語処理編」 オライリー 斎藤康毅 著 ■RNN(recurrent neural network) 文献①によると、再帰ニューラルネットワーク(RNN)は可変長の入力列を扱うことに優れたネットワーク構造で、前の時刻の隠れ状態ベクトルと現時刻の入力ベクトル(または下層の隠れ状態ベクトル)を使って、現在の隠れ状態ベクトルを更新するとのこと。 う~ん、分かりにくいので絵にしてみました。 上図のxは入力、hは隠れ層です。時刻tで

                                          Attentionを理解するためにRNN、Word2Vec、LSTM、Seq2Seq、Attentionの順に整理してみた - Qiita
                                        • [文章生成]PyTorchのRNNクラスを使って文章を生成してみよう

                                          今回の目的 前回は、分かち書きされたテキストから辞書や学習に使用するデータセットを作成して、訓練データをPyTorchのEmbeddingクラスのインスタンスに入力→RNNクラスに順伝播→全結合層に順伝播→辞書の要素数の出力を得るまでの手順を見てみました。 今回は今述べた処理を行うニューラルネットワークモジュール(クラス)、学習を行う関数などを定義して、実際に学習を行い、最終的に梶井基次郎の小説データからどんな文章が生成されるかまでを見ていくことにします。 前回に記述したコードで、辞書を作成する関数やデータセットやデータローダーを定義するコードなど、今回も使用しているものは今回のノートブックには冒頭に記述してあります(それらのコードを実行するには分かち書きされたテキストファイルwakati.txtが必要です。その作成方法は前回のノートブックの末尾に掲載しているので、そちらを参照してください

                                            [文章生成]PyTorchのRNNクラスを使って文章を生成してみよう
                                          • [TensorFlow/Keras] 好きな構造のRNNを組み立てるまでの道のり - Qiita

                                            はじめに 時系列データを入力にとり、今の時刻の入力に加えて前の時刻の「状態」も使って出力を決めるニューラルネットワークの形態に RNN (Recurrent Neural Network) があります。LSTM(Long Short-Term Memory, 長・短期記憶)が有名でしょうか。 時系列データとは、動画やテキストといった、列全体として意味を持つようなデータです。普通のニューラルネットワークは画像や文字といった、形式の決まったある1つのデータを入力に取るわけですが、それらが並んだ動画やテキストを扱うときには、個々の画像(フレーム)や文字はもちろん、その並びにも大きな意味がありますね。このようなデータをうまく扱う構造がRNNというわけです。 ただ普通の全結合層などと違って正直とっつきにくいと思います。私もそうです。 というわけで、まずはRNNが何をするものかを理解して、次に前の時刻

                                              [TensorFlow/Keras] 好きな構造のRNNを組み立てるまでの道のり - Qiita
                                            • 【Deep Learning研修(発展)】系列データモデリング (RNN / LSTM / Transformer) 第1回「イントロダクション」

                                              【Deep Learning研修(発展)】( https://www.youtube.com/playlist?list=PLbtqZvaoOVPA-keirzqx2wzpujxE-fzyt )はディープラーニング・機械学習に関する発展的な話題を幅広く紹介する研修動画シリーズです。Neural Network Consoleチャンネル(https://www.youtube.com/c/NeuralNetworkConsole/ )でもディープラーニングに関するより基礎的な内容の解説動画を公開しておりますので、ぜひそちらも御覧ください。 本動画は「系列データモデリング」の第1回の動画です。系列データとは何か、どのような応用事例があるのか、そして本研修で扱う内容について説明しています。 [スライド4] Found in translation: More accurate, fluen

                                                【Deep Learning研修(発展)】系列データモデリング (RNN / LSTM / Transformer) 第1回「イントロダクション」
                                              • Introducing RWKV - An RNN with the advantages of a transformer

                                                ChatGPT and chatbot-powered applications have captured significant attention in the Natural Language Processing (NLP) domain. The community is constantly seeking strong, reliable and open-source models for their applications and use cases. The rise of these powerful models stems from the democratization and widespread adoption of transformer-based models, first introduced by Vaswani et al. in 2017

                                                  Introducing RWKV - An RNN with the advantages of a transformer
                                                • 自然言語処理に使われるLSTMとは?RNNとの違いや特徴を紹介

                                                  第三次AIブームと呼ばれる昨今、さまざまな企業が積極的にAI(人工知能)を導入し始めており、私たちの生活にも溶け込みつつある状況です。スマートフォンでも気軽にAIを利用できるため、もはや欠かせない存在といっても過言ではないでしょう。 その中でも、チャットボットやスマートスピーカーに用いられている「自然言語処理」は、多くの価値を見出すことから特に注目されています。今回は、その自然言語処理に使われる「LSTM」について詳しくご紹介していきます。RNNとの違いについても解説していきますので、ぜひ参考にしてみてください。 ディープラーニングについて詳しく知りたい方は以下の記事もご覧ください。 ディープラーニングとは?仕組みやできること、実用例をわかりやすく紹介 LSTMとは、「Long Short Term Memory」を略した言葉であり、ニューラルネットワークに使用される層の一つです。このLS

                                                    自然言語処理に使われるLSTMとは?RNNとの違いや特徴を紹介
                                                  • Yoshihiko Suhara on Twitter: "せっかく作ったので昨年秋に担当したデータサイエンスコースの大学院生向け講義の資料と演習用Google Colabを公開しました。ディープラーニングの基本であるAutoEncoder、CNN、GAN、RNN、Transformerな… https://t.co/lO2n3tClNl"

                                                    せっかく作ったので昨年秋に担当したデータサイエンスコースの大学院生向け講義の資料と演習用Google Colabを公開しました。ディープラーニングの基本であるAutoEncoder、CNN、GAN、RNN、Transformerな… https://t.co/lO2n3tClNl

                                                      Yoshihiko Suhara on Twitter: "せっかく作ったので昨年秋に担当したデータサイエンスコースの大学院生向け講義の資料と演習用Google Colabを公開しました。ディープラーニングの基本であるAutoEncoder、CNN、GAN、RNN、Transformerな… https://t.co/lO2n3tClNl"
                                                    • 自動取引に使えそうな深層学習による時系列データ予測の手法まとめ (RNN, CNN, Transformer, ……)|j26

                                                      深層学習系 基礎①:RNN, LSTM, GRU 昔は時系列で深層学習と言ったら基本 RNN 系しか考えられないような状況だったと思う。RNN は内部状態を時系列方向に渡す NN の総称で、内部状態の計算をイカしたやり方でやる RNN の一種が LSTM や GRU という関係。 いろんな亜種も提案されてきたけど、結局普通の LSTM, GRU が普通によく使われる印象。とある激ツヨ botter は LSTM, GRU でめっちゃ勝ってるっぽい……凄い。けど、かなりノウハウがある様子なので、普通に OHLCV を突っ込むだけで勝てるかは謎。 深層学習系 基礎②:CNN, Dilated CNNCNN は主に画像分類等で圧倒的な性能を発揮してきたが、時系列予測でも利用できる。画像では縦横方向の二次元の畳み込みを行うが、時系列データでは時間方向の一次元の畳み込みを利用する。 CNN の課題は

                                                        自動取引に使えそうな深層学習による時系列データ予測の手法まとめ (RNN, CNN, Transformer, ……)|j26
                                                      • E資格対策振り返り(深層学習-ゲート付きRNN-GRU) - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話

                                                        E資格(JDLA Deep Learning for ENGINEER 2019 #2)対策として学習した深層学習の分野のうち、ゲート付きRNNのひとつGRU(Gated Reccurent Unit)を振り返ります。 GRU(Gated Reccurent Unit) 1.GRUとは何か 2.GRU全体像 3.リセットゲート(R) 4.仮の出力() 5.更新ゲート(Z) 6.出力する要素(ℎ𝑡) GRU(Gated Reccurent Unit) 1.GRUとは何か LSTMと同様にシンプルなRNNの勾配爆発や、勾配消失の欠点を補うために開発されたゲート付きRNNです。 LSTMよりゲート数が少ない構成となっており、その分パラメータ数も少なく計算量が少なくて済みます。 では、今回も全体像から構成要素まで、順に振り返っていきたいと思います。 2.GRU全体像 GRUの全体像は以下の図のよ

                                                          E資格対策振り返り(深層学習-ゲート付きRNN-GRU) - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話
                                                        • kaz / AI Academy on Twitter: "「筑波大学オープンコースウェア」を活用すると機械学習概論から単回帰・重回帰、SVM、k-means,PCA,ニューラルネットワーク,CNN,RNN,GANなどが全て「無料」で学べます。 上記20本が講義動画で登録なしで学べます。… https://t.co/qoD0vhifGz"

                                                          「筑波大学オープンコースウェア」を活用すると機械学習概論から単回帰・重回帰、SVM、k-means,PCA,ニューラルネットワーク,CNN,RNN,GANなどが全て「無料」で学べます。 上記20本が講義動画で登録なしで学べます。… https://t.co/qoD0vhifGz

                                                            kaz / AI Academy on Twitter: "「筑波大学オープンコースウェア」を活用すると機械学習概論から単回帰・重回帰、SVM、k-means,PCA,ニューラルネットワーク,CNN,RNN,GANなどが全て「無料」で学べます。 上記20本が講義動画で登録なしで学べます。… https://t.co/qoD0vhifGz"
                                                          • 色々めんどくさいので作りながら学ぶ自然言語処理(RNN) - Qiita

                                                            自然言語処理とは何? ・自然言語は普段私たちが使っている言葉それをコンピュータで処理する技術を 自然言語処理(natural language processing nlp)という そして、実際何に使われてるの? ・検索エンジニン(キーワード検索とか...) ・機械翻訳 ・予測変換 ・メールファイター ・みんな大好きalexa 色んな技術 ・形態素解析 →文章を単語に分割する技術 ・word2vec →文書内での関係性を踏まえて、単語をベクトルに変換 ・リカレントニュートラルネットワーク →時系列を扱うのが得意なニュートラルネットワーク ・seq2seq →RNNをベースにした文章生成モデル などなど... 建前は置いておいてとりあえず実装していきます。 今回は、文章の自動生成を行っていきます。 使うデータは宮沢賢治の「アメニモマケズ」をデータを使い(風であって宮沢賢治っぽい)文章を生成し

                                                              色々めんどくさいので作りながら学ぶ自然言語処理(RNN) - Qiita
                                                            • 【深層学習】RNN の意味を徹底解説!【ディープラーニングの世界 vol. 8 】 #062 #VRアカデミア #DeepLearning

                                                              RNN は隠れ層の伝播が肝です。 数式を意味として捉える力を RNN シリーズで培ってもらえると嬉しい! 【関連プレイリスト】 Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP ご視聴ありがとうございました! 良い動画だなと思っていただけたら、高評価、チャンネル登録お願いします! 質問や感想など、気軽にコメントしてくださいね。 ========= Twitter: https://twitter.com/AIcia_Solid/ Logo: TEICAさん https://twitter.com/T_E_I_C_A Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん https:

                                                                【深層学習】RNN の意味を徹底解説!【ディープラーニングの世界 vol. 8 】 #062 #VRアカデミア #DeepLearning
                                                              • [PyTorch]RNNを使った時系列予測 - Qiita

                                                                0. はじめに DeepLearningを使用した時系列/自然言語処理に関して調べたことをシェアしていく記事の第1弾です。第1回はRNN(Recurrent neural network)を扱います。 RNNの日本語記事はかなりありましたが、LSTMではなくRNNを使用した「sin波予測」以外のサンプルが少なかったり(というかほぼ無かった)Kerasを使用したRNN記事と比べて圧倒的にPyTorchで書かれた記事が少ないと感じたので、私なりに初心者でもわかるような直感的な表現を使いつつこの記事ではまとめていこうと思います。 RNNは今や古いので誰にも使われていませんが、いろんな分野の基礎になっているので理解しておくことは重要だと考えています。 例)テキスト解析、感情分析、文章翻訳、チャットボット、動画分析・・・etc なお、本記事では自然言語ではなく「時系列処理」に関してRNNを適応した例

                                                                  [PyTorch]RNNを使った時系列予測 - Qiita
                                                                • 【自然言語処理】Deep Learningを使ってアンジャッシュ渡部のAIを作る【RNN】 - Qiita

                                                                  はじめに アンジャッシュ渡部さん(以下敬称略)の記者会見が世間を賑わせましたね。 この記者会見を見て皆さんいろいろと思うところがあるとは思いますが、僕は以下の記事が気になりました。 https://sn-jp.com/archives/22422 今回の記者会見の受け答えで、渡部が特定のワードを連発していたというものです。 特に「本当に」というワードに限っては100回以上使われていました。 これだけ偏った語彙の言葉が連発された記者会見を見て、僕はこう思いました 渡部のセリフをディープラーニングで学習して、渡部っぽい文章を自動生成する渡部AIを作りたい! そうして勢いのままにこの記事を書いています。 結構長くなってしまったので、手っ取り早く結果だけ知りたい人は最後の「実際にやってみた」だけでも読んでもらえればと思います。 自然言語処理の勉強をしながら書いたので間違ってる箇所や正確でない箇所が

                                                                    【自然言語処理】Deep Learningを使ってアンジャッシュ渡部のAIを作る【RNN】 - Qiita
                                                                  • Single Headed Attention RNN: Stop Thinking With Your Head

                                                                    The leading approaches in language modeling are all obsessed with TV shows of my youth - namely Transformers and Sesame Street. Transformers this, Transformers that, and over here a bonfire worth of GPU-TPU-neuromorphic wafer scale silicon. We opt for the lazy path of old and proven techniques with a fancy crypto inspired acronym: the Single Headed Attention RNN (SHA-RNN). The author's lone goal i

                                                                    • 【Deep Learning研修(発展)】系列データモデリング (RNN / LSTM / Transformer) 第7回「Transformer」

                                                                      【Deep Learning研修(発展)】( https://www.youtube.com/playlist?list=PLbtqZvaoOVPA-keirzqx2wzpujxE-fzyt )はディープラーニング・機械学習に関する発展的な話題を幅広く紹介する研修動画シリーズです。Neural Network Consoleチャンネル(https://www.youtube.com/c/NeuralNetworkConsole/ )でもディープラーニングに関するより基礎的な内容の解説動画を公開しておりますので、ぜひそちらも御覧ください。 本動画は「系列データモデリング」の第7回の動画です。前回のAttentionに続き、深層学習分野において大きなインパクトを与えた手法であるTransformerについて説明します。 [スライド5] Attention Is All You Need

                                                                        【Deep Learning研修(発展)】系列データモデリング (RNN / LSTM / Transformer) 第7回「Transformer」
                                                                      • 【GRU,RNN,LSTM】作家の作品をもとに作家らしい文章生成をしてみよう - Qiita

                                                                        はじめに この記事は筆者が学習上作成したnlpモデルを説明したものです。初学者向けの内容になります。具体的にはGRU,LSTM,RNNを使用して芥川龍之介を再現しました。 環境 Google Colaboratoryを使いますので、googleアカウントを持っている方なら誰でも使うことができます。 言語はPythonです。 Google Colaboratoryとは Googleが提供しているデータサイエンス用のノート型シェルです。言語はPythonだけでなく他の言語も対応しています。Google Colaboratoryは非常に手軽かつGPUを使用でき、機械学習や大規模の数理モデルの計算に通常のCPUだと30分かかるところを数分ほどで計算できます。 コードとコーパスの配布 こちらのgithubにて配布しております。 https://github.com/Kokusho-gif/nlp_a

                                                                          【GRU,RNN,LSTM】作家の作品をもとに作家らしい文章生成をしてみよう - Qiita
                                                                        • 🎍QDくん🎍Python x 機械学習 x 金融工学 on Twitter: "SONYがYouTubeに無料公開している、系列データモデリングのコース。説明が丁寧でわかりやすい。RNN, LSTM, seq2seq, attention, Transformer, word2vec, BERTなど盛り沢山の… https://t.co/i5GSLIaLEo"

                                                                          SONYがYouTubeに無料公開している、系列データモデリングのコース。説明が丁寧でわかりやすい。RNN, LSTM, seq2seq, attention, Transformer, word2vec, BERTなど盛り沢山の… https://t.co/i5GSLIaLEo

                                                                            🎍QDくん🎍Python x 機械学習 x 金融工学 on Twitter: "SONYがYouTubeに無料公開している、系列データモデリングのコース。説明が丁寧でわかりやすい。RNN, LSTM, seq2seq, attention, Transformer, word2vec, BERTなど盛り沢山の… https://t.co/i5GSLIaLEo"
                                                                          • RNNとLSTMを理解する - sagantaf

                                                                            この記事の目的 0. 通常のNeural NetworkやConvolutional Neural Networkの問題 1. RNN (Recurrent Neural Network) 2. 勾配消失(爆発)問題 3. LSTM (Long-short term model) 入力ゲートと出力ゲートはなんのために用意されたか? 忘却ゲートはなんのために用意されたか? そのほか 最後に 参考にした書籍やサイト この記事の目的 RNN, LSTMの理論を理解し、Kerasで実装できるようにするために、理論部分をまとめた記事。 0. 通常のNeural NetworkやConvolutional Neural Networkの問題 これまでNNやCNNは入力サイズが固定だった。そのため、毎回同じ入力をするしかなく、時系列情報を入力させることができなかった。 RNN・LSTMは、入力を可変にし

                                                                              RNNとLSTMを理解する - sagantaf
                                                                            1

                                                                            新着記事