東京大学深層学習（Deep Learning基礎講座2022）深層学習と自然言語処理
東京大学深層学習（Deep Learning基礎講座2022）https://deeplearning.jp/lectures/dlb2022/ 「深層学習と自然言語処理」の講義資料です。
タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
東京大学深層学習（Deep Learning基礎講座2022）https://deeplearning.jp/lectures/dlb2022/ 「深層学習と自然言語処理」の講義資料です。
LLMを理解する一歩として「ゼロから作るDeep Learning」をやった - $shibayu36->blog;
LLM、GPT界隈を追いかけていて、GPTの仕組みと限界についての考察（2.1） - conceptualizationという記事を見かけた。これを見たとき、「どういうことか全然理解できない」という気持ちになった。また、その他LLMの解説記事を理解できないことが多く、自分の機械学習知識不足が明確になった。 理解できなかったことは悔しいし、LLMやChatGPTをうまく使いこなすには最低限どのような原理で動いているか理解したいと感じた。そこで一歩目として「ゼロから作るDeep Learning」を完走した。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者:斎藤 康毅オライリージャパンAmazon 知識なしからはじめたので時間はかかったが、次のように進めていった。 自分もコードを写経しながら読む レポジトリは https://github.co
ディープラーニング(Deep Learning)の歴史を振り返る - 渋谷駅前で働くデータサイエンティストのブログ
先日Quora日本語版でこんな回答を書いたのですが、ついでなので少し文脈情報を付け足してブログの方に再録することにしました。理由は単純で、このブログでディープラーニングの歴史についてまとめた記事を今まで書いてきたことがなく、そしてブログ記事にした方がより認識違いや調査不足などについての指摘をもらいやすいと思われたからです。ということで、以下の説明に関してツッコミがあれば是非コメント欄などにお寄せくださいm(_ _)m (A Neural Network Playground) ディープラーニングを語る上で、その前史であるパーセプトロン、そして（人工）ニューラルネットワークの話題は欠かせません。以下大まかに説明していきましょう。（※歴史解説中では敬称略、各種用語は原則カナ表記*1） パーセプトロンの登場 ミンスキーによる批判と第1の冬の時代 誤差逆伝播学習則と中間層を用いたニューラルネットワ
この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 日本語版Twitter https://twitter.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://youtu.be/wjZofJX0v4M?si=9YsuEzHATlhPtpOF Check out our new channel Ufolium https://www.youtube.com/watch?v=wrNCjIjIzuk&pp=ygUj5aSn57Wx6aCY6YG45oyZ44Gu5LuV57WE44G_IHVmb2xpdW0%3D Richard Turner's introduction
Deep Learning is such a fast-moving field and the huge number of research papers and ideas can be overwhelming. The goal of this post is to review ideas that have stood the test of time. These ideas, or improvements of them, have been used over and over again. They’re known to work. If you were to start in Deep Learning today, understanding and implementing each of these techniques would probably
ゼロから作るDeep LearningシリーズはGoogle Colaboratoryで写経して学習するのがおすすめ - karaage. [からあげ]
「ゼロから作るDeep Learningシリーズ」が最高 ゼロから作るDeep Learningは、TensorFlow、Keras、PyTorchといったディープラーニングのフレームワークを一切使わず、基本PythonとNumpyのみでディープラーニングのアルゴリズムを作って理解していくというハードコアな内容です。 シリーズは3冊出ていて、1が画像認識、2が自然言語、3がフレームワークに重点を置いた内容です。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者:斎藤 康毅発売日: 2016/09/24メディア: 単行本（ソフトカバー） ゼロから作るDeep Learning ❸ ―フレームワーク編 作者:斎藤 康毅発売日: 2020/04/20メディア: 単行本（ソフトカバー） ゼロから作るDeep Learning ❷ ―自然言語処理編 作
![ゼロから作るDeep LearningシリーズはGoogle Colaboratoryで写経して学習するのがおすすめ - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/2c2a69d5b137daa21e02c959b2b1c17c0615a8a6/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F3122870ee0374b5482e640420a4bfb0f9b181e00%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fk%252Fkaraage%252F20200523%252F20200523123857.jpg)
「生成Deep Learning」は久しぶりにワクワクするAI関係の本だった - karaage. [からあげ]
「生成Deep Learning」を読みました 生成に特化したAIの本「生成Deep Learning」を読みました。 生成 Deep Learning ―絵を描き、物語や音楽を作り、ゲームをプレイする 作者:David Foster発売日: 2020/10/05メディア: 単行本（ソフトカバー） 独創力とは、思慮深い模倣以外の何ものでもない とは18世紀フランスの哲学者ヴォルテールの言葉とのことですが、AIによる模倣と創造の境界に関して考えさせられるような本でした。 本の内容は、オートエンコーダからはじまりGANでの画像生成、文章生成、音楽生成。アテンション、強化学習の世界モデルまでとタイトル通り生成系のAI技術を幅広くカバーしています。 結構骨太で、AIの本は1冊目という人が読む本ではなくて、何冊かAI関係の書籍を読んで、ある程度自分で実践して、生成系のAI（Auto Encoderと
![「生成Deep Learning」は久しぶりにワクワクするAI関係の本だった - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/e494ea1396ddc31a85476788acec228e462289d9/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2Fe2a0e31d027c68fb5532c587a66afa954fcf90cb%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fk%252Fkaraage%252F20201030%252F20201030014348.jpg)
深層学習時代の文字認識とその周辺 / OCR and related technologies in the Deep Learning era
■イベント ：【SenseTime Japan × Sansan】画像処理勉強会 https://sansan.connpass.com/event/230636/ ■登壇概要 タイトル：深層学習時代の文字認識とその周辺 発表者： 技術本部 DSOC R&D研究員 宮本 優一 ▼Twitter https://twitter.com/SansanRandD
Deep Learning入門
はじめてDeep Learningに触れる方を対象に、Deep Learningの基礎とポイントをできるだけ分かりやすく解説します。
Deepでポン！Deep Learningによるホモグラフィ推定技術の調査（コード有り） - ABEJA Tech Blog
はじめに はじめに ホモグラフィ推定とは 特徴量ベースの手法 特徴点の抽出・特徴量の計算 LIFT: Learned Invariant Feature Transform [1] SuperPoint: Self-Supervised Interest Point Detection and Description [2] LoFTR: Detector-Free Local Feature Matching with Transformers [3] 対応関係の計算 Learning to Find Good Correspondences [4] Neural-Guided RANSAC: Learning Where to Sample Model Hypotheses [5] 画像マッチングベースの方法 Deep Image Homography Estimation [7] C
Google Researchの神資料を読み解いてみる①【Deep Learning Tuning Playbook】 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 研究しなきゃなのはわかってるが何から始めればいいんだ、とりあえずでモデル組んだけどまともに動かん。なにがダメなのか分からねぇ、どこをどういじれば何がどう変わるんだ、、、と日々悲鳴をあげている中、Google Researchの研究者による、Deep Learning Tuning Playbook（ https://github.com/google-research/tuning_playbook ）が公開されました。 どうやら深層学習ネットワークをチューニングする際の考え方やら注意点を、Googleの神たちがまとめてくださ
Description This course concerns the latest techniques in deep learning and representation learning, focusing on supervised and unsupervised deep learning, embedding methods, metric learning, convolutional and recurrent nets, with applications to computer vision, natural language understanding, and speech recognition. The prerequisites include: DS-GA 1001 Intro to Data Science or a graduate-level
本講座は、Deep Learningを用いた強化学習に特化した全6回の講義です。東京大学でDeep Learning基礎講座を公開してきた松尾研究室が、深層学習の基礎を習得済みの学生を対象として開講するものです。 深層学習を用いた強化学習の研究・社会実装のスタートラインに立てるレベルの知識・実装力の習得を目指します。離散制御や連続値制御、モデルベース学習などの強化学習の基礎的なアルゴリズムから、sim2real、模倣学習、Control as Inference、世界モデル、まで深層強化学習の種々のトピックをカバーします。講義のみでなく、実践的な演習を通して、効率的に強化学習について手を動かしながら技術を深く理解します。
問題に感じた箇所や改善すべきと思った点など、コメントいただけますと幸いです。レビューに貢献していただいた方には、感謝の印として、本書に名前を記載させていただく予定です（もちろん、同意のある方のみです）。下記のように、レビューアの方の名前をクレジットとして掲載する予定です。 左は『ゼロから作るDeep Learning ❷』、右は中国語に翻訳された『Deep Learning 2』なお、本のタイトルに「❺」とありますが、前作までの知識がなくても読める内容になっています。前提条件としては、Pythonと数学の基本的な知識が必要になります。数式も多く登場します。ちなみに、本書の概要は次のとおりです。 人気シリーズの第5弾。今回のテーマは「生成モデル」です。本書では「正規分布」から「拡散モデル」に至るまでの技術を繋がりのあるストーリーとして展開します。読者は小さな学びを積み重ねながら、ステップバイ
Deep Learning入門：マルチタスク学習
Deep Learningを用いてマルチタスク学習と呼ばれる、複数の機能を1つのモデルに学習する方法について解説します。 前回の動画：Attention（注意） https://www.youtube.com/watch?v=g5DSLeJozdw ニューラルネットワーク学習の仕組み https://www.youtube.com/watch?v=r8bbe273vEs 再生リスト「実践Deep Learning」 https://www.youtube.com/playlist?list=PLg1wtJlhfh20zNXqPYhQXU6-m5SoN-4Eu 再生リスト「Deep Learning 精度向上テクニック」 https://www.youtube.com/playlist?list=PLg1wtJlhfh216rnmSv_oEDuchRjgUqxBi 再生リスト「De
GitHub - google-research/tuning_playbook: A playbook for systematically maximizing the performance of deep learning models.
Currently, there is an astonishing amount of toil and guesswork involved in actually getting deep neural networks to work well in practice. Even worse, the actual recipes people use to get good results with deep learning are rarely documented. Papers gloss over the process that led to their final results in order to present a cleaner story, and machine learning engineers working on commercial prob
GitHub - mrdbourke/tensorflow-deep-learning: All course materials for the Zero to Mastery Deep Learning with TensorFlow course.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Yann LeCun’s Deep Learning Course at CDS is Now Fully Online & Accessible to All
CDS is excited to announce the release of all materials for Yann LeCun’s Deep Learning, DS-GA 1008, co-taught in Spring 2020 with Alfredo Canziani. This unique course material consists of a mix of close captioned lecture videos, detailed written overviews, and executable Jupyter Notebooks with PyTorch implementations. The course covers the latest techniques in both deep learning and representation
ふかうら王の製作のためにdlshogiのソースコードをくまなく読んだので、Deep Learning型の将棋についてつらつらと書いてみる。 dlshogiとは dlshogiは先月に開催された将棋ソフトの大会「電竜戦」で優勝したGCTのエンジン部分(探索部)でもある。つまりは、dlshogiは現在、世界最強の将棋ソフトと言っても過言ではないだろう。従来の将棋ソフトとはどこが異なるのだろうか。今後、Deep Learning系の将棋ソフトの導入を検討している人向けにざっと書いていく。 ※ 今回書くのは、現在のdlshogiの話である。将来的に改良される可能性は大いにあるが、2020年の電竜戦では、この仕様であったということである。 CPUを使うソフトとGPUを使うソフト、どちらがコスパがいいの？ 今回、電竜戦で優勝したGCTをGeForce RTX 2080で動かすとfloodgateでR3
「作る経験はコピーできない」『ゼロから作るDeep Learning』という技術書の帯に書いてあったキャッチコピーがカッコよすぎる
🌏fugahoge.bsky.social @Kapillareffekt その下の「手を動かして作り、時間をかけて考えた経験にこそ、いつの時代も変わることなく価値がある」ってのも良いね。 twitter.com/ryo1kato/statu… 2022-07-31 16:46:00 bowwownko @bowwownko 確かに良いキャッチコピー。 実装や設計はコピペされてしまうけれども、設計したりより良い実装を書けるか経験などから発現される根源的なところはコピーできないということを結構日頃から自分に言い聞かせている。（アイデアだけ持っていかれたり、実装コピペされたりすることがあるから） twitter.com/ryo1kato/statu… 2022-07-31 17:40:44
ABEJAアドベントカレンダー2020の19日目の記事です。 この記事は何？ 結局AIって何個データ必要なの？ってよく聞かれると思います。 そんなん知るか この記事では、ある程度精度が出ている既存のタスクにおいて、どんなデータを、どのくらいの量与えているかを調べた結果です。ちなみに、僕自身、すべてのタスクを扱ったことがあるわけでは無いので、ほぼ一部適当な部分もあるかと思いますが、ご容赦ください。あと、このデータが入ってないよ！ってツッコミも歓迎です。 あと、技術は常に進んでいるので、ちゃんと最新技術を追っておけば、より少ないデータで良い結果を出すことが出来ないこともない。が、最新技術とはいえ銀の弾丸ではないのが通常で、例えlightweightGANがでたからと言って、100枚で学習できます！とか勝手に広がると困っちゃう。色んなタスクにおいて、まぁ大体どんなタスクも一般的にはこんなもんよっ
M1搭載Macの環境を汚さずにDeep Learningしたい！（Docker, PyTorch, TensorFlow, VSCode, Jupyter） - Qiita
DockerでDeep Learningしたいが、、、 せっかく新しく買ったM1搭載Macなのだから、環境はできるだけ汚さずに開発したいなぁ、という方は少なくないと思われます。 環境をクリーンに保つ方法の一つがDockerですけれども、 Deep Learningに必要なPyTorchとTensorFlowを両方利用できるいいarm64用Dockerイメージが見つからなかったので、なければ作れということで、作ってみました。 （PyTorchのビルドは何の苦労もなくできましたが、TensorFlowのビルドが辛いこと辛いこと、、、ビルドを開始して数時間経過後にエラーやらOut of Memoryやらが発生してその原因を特定してという苦行を何回繰り返したことか・・・） 現状、PyTorch 1.6/1.12とTensorFlow 2.3/2.9が使えます。（2022/08/03現在） 動作確認
Deep Learning (Deep Neural Networks) S.No Course Name University/Instructor(s) Course WebPage Lecture Videos Year
Stanford CS 224N | Natural Language Processing with Deep Learning
Prerequisites Proficiency in Python All class assignments will be in Python (using NumPy and PyTorch). If you need to remind yourself of Python, or you're not very familiar with NumPy, you can come to the Python review session in week 1 (listed in the schedule). If you have a lot of programming experience but in a different language (e.g. C/C++/Matlab/Java/Javascript), you will probably be fine. C
GitHub - google/magika: Detect file content types with deep learning
Important We are about to release a number of new things, and they are ready for testing! We uploaded to pypi a release candidate for v0.6.0 (e.g., magika 0.6.0rc3), it's ready for testing! Please report any problems here: #798. You can install the latest release candidate with pip install --pre magika. A new ML model with support for 200+ content types. A new CLI written in Rust. This will replac
ゼロから作るDeep Learning ❹
人気シリーズの第4弾。今回のテーマは強化学習です。実際のコードを提示し動かしながら学ぶという本シリーズのスタイルを踏襲し、外部ライブラリに頼らず、強化学習を支える基本的な技術やアイデアをゼロから実装しながら学びます。本書では読者が強化学習独特の理論を確実にマスターできるように、強化学習という難解なテーマの構成要素の一つひとつを「理論」と「実践」の双方から丁寧に解説します。数式だけで説明する理論書とは異なり、読者はコードを通してハッとする気づきを数多く得られるでしょう。 関連ファイル サンプルコード 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書籍の刷版、刷り年月日をご確認の上、ご
生成 Deep Learning
以下、日本語版の動作確認で使用したコマンドラインの例です。 $ python 01_generate_data.py car_racing --total_episodes 200 --time_steps 300 $ python 02_train_vae.py --new_model $ python 03_generate_rnn_data.py $ python 04_train_rnn.py --new_model --batch_size 100 $ python 05_train_controller.py car_racing -n 4 -t 1 -e 4 --max_length 1000 賞賛の声 訳者まえがき まえがき 第I部 生成型ディープラーニング入門 1章 生成モデリング 1.1 生成モデリングとは何か？ 1.1.1 生成モデリングと識別モデリング 1.1.2
PyTorchVideo · A deep learning library for video understanding research
# Import all the required components ... # Load pre-trained model model = torch.hub.load('facebookresearch/pytorchvideo', 'slow_r50', pretrained=True) # Load video video = EncodedVideo.from_path('some_video.avi') # Compose video data transforms transform = ApplyTransformToKey( key="video", transform=Compose( [ UniformTemporalSubsample(num_frames), Lambda(lambda x: x/255.0), NormalizeVideo(mean, st
GitHub - facebookresearch/audiocraft: Audiocraft is a library for audio processing and generation with deep learning. It features the state-of-the-art EnCodec audio compressor / tokenizer, along with MusicGen, a simple and controllable music generation LM
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Deep learning等の精度評価に便利なPyCMの紹介と各種指標の比較 - OPTiM TECH BLOG
OPTiM TECH BLOG Advent Calendar 2020 12/8 の記事です。 お久しぶりです。R&Dの加藤です。最近買った大きな買い物はDAHONのK3です。 購入したのは8月末ですが、11月に入るまでスタンドが手に入らなかったです。現状の不満点は空気が入れにくいという事だけですね。輪行するには最適な自転車です。 去年執筆したこの記事はいまだに定期的にアクセスがあって嬉しいですね。まだ読んでない方は是非こちらも読んでみてください。 今回の記事はこれの補足に加え、コードを加えた実践的な内容になります。 tech-blog.optim.co.jp 記事執筆のモチベーションとしては、「最近PyCMというライブラリを使い始めたら思いのほか便利だったので伝えたい」という事なんですが、なかなかボリュームのある記事になってしまいました。忙しい人は必要な章だけかいつまんで読んでください
Deep Learningの先にあるもの。マネーフォワードのCTO、技術顧問、Money Forward Lab所長の技術トップ3に、ビジョンとアプローチを聞く
テックカンパニーをテックカンパニーたらしめているものはなにか？技術か、人か、それともチームなのか。 連載「Technology Company Internals」では、テックカンパニーの内側で働くエンジニアに、技術に精通したエキスパートが対面で話を聞き、テックカンパニーとは何か？を探るだけでなく、テックカンパニーを目指す企業の指針となることを目指します。 「オートノマス・バックオフィス」a.k.a「会社の自動運転」 -- 本日はお集まりいただきありがとうございます。今回は、「数年後のマネーフォワード」をキーワードに、ビジョンとテクノロジーの話を伺えるということで、大変楽しみです。まずは自己紹介をお願いします。 中出: 中出 匠哉と申します。マネーフォワードの取締役執行役員CTOを務めています。経営メンバーの一人として、テクノロジーで競争力を高めていくことをミッションの一つとして取り組んで
Shota Imai@えるエル on Twitter: "深層学習を使う場合の学習効率化,高速化などの手法,テクニックなどが非常に網羅的にまとめられたサーベイ論文です 研究や開発で深層学習を使う人には非常に重要な知見の宝庫 "Efficient Deep Learning: A Surv… https://t.co/wxaJZOzttb"
深層学習を使う場合の学習効率化,高速化などの手法,テクニックなどが非常に網羅的にまとめられたサーベイ論文です 研究や開発で深層学習を使う人には非常に重要な知見の宝庫 "Efficient Deep Learning: A Surv… https://t.co/wxaJZOzttb
MyHeritage Deep Nostalgia™, deep learning technology to animate the faces in still family photos - MyHeritage
現在、MyHeritageのメンバーとしてログインしていません。 表示されているいくつかの情報が制限される可能性があります。 ログイン または MyHeritageへサインアップ
Cloud 1-Click Clusters On-demand GPU clusters for multi-node training & fine-tuning
GitHub - mozilla/TTS: :robot: Deep learning for Text to Speech (Discussion forum: https://discourse.mozilla.org/c/tts)
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - DamRsn/NeuralNote: Audio Plugin for Audio to MIDI transcription using deep learning.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Transformer is a deep neural network that employs a self-attention mechanism to comprehend the contextual relationships within sequential data. Unlike conventional neural networks or updated versions of Recurrent Neural Networks (RNNs) such as Long Short-Term Memory (LSTM), transformer models excel in handling long dependencies between input sequence elements and enable parallel processing. As a r
In this paper I investigate the effect of random seed selection on the accuracy when using popular deep learning architectures for computer vision. I scan a large amount of seeds (up to $10^4$) on CIFAR 10 and I also scan fewer seeds on Imagenet using pre-trained models to investigate large scale datasets. The conclusions are that even if the variance is not very large, it is surprisingly easy to
GitHub - labmlai/annotated_deep_learning_paper_implementations: 🧑🏫 60+ Implementations/tutorials of deep learning papers with side-by-side notes 📝; including transformers (original, xl, switch, feedback, vit, ...), optimizers (adam, adabelief, sophia,
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPTとは何か Transformerの視覚化 | Chapter 5, Deep Learning
Deep Learning ideas that have stood the test of time
DEEP LEARNING · Deep Learning
サマースクール’20：深層強化学習 | Deep Learning JP
『ゼロから作る Deep Learning ❺』 公開レビューのお知らせ｜斎藤 康毅（さいとう こうき）
Understanding Deep Learning
Deep Learning将棋は従来の将棋ソフトとここが違うぞ | やねうら王 公式サイト
Deep Learningの各種タスクにおけるベンチデータセットとデータ数をまとめた - Qiita
Deep Learning Drizzle
GPU Benchmarks for Deep Learning | Lambda
A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks
Torch.manual_seed(3407) is all you need: On the influence of random seeds in deep learning architectures for computer vision
posfie.com
shoyusui.hatenablog.com
cr.hatenablog.com
news.yahoo.co.jp
ampmedia.jp
www.smartnews.com