GitHub - microsoft/DeepSpeed: DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
中学生でもわかる深層学習
第1章 理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章 応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理…
LLMを理解する一歩として「ゼロから作るDeep Learning」をやった - $shibayu36->blog;
LLM、GPT界隈を追いかけていて、GPTの仕組みと限界についての考察（2.1） - conceptualizationという記事を見かけた。これを見たとき、「どういうことか全然理解できない」という気持ちになった。また、その他LLMの解説記事を理解できないことが多く、自分の機械学習知識不足が明確になった。 理解できなかったことは悔しいし、LLMやChatGPTをうまく使いこなすには最低限どのような原理で動いているか理解したいと感じた。そこで一歩目として「ゼロから作るDeep Learning」を完走した。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者:斎藤 康毅オライリージャパンAmazon 知識なしからはじめたので時間はかかったが、次のように進めていった。 自分もコードを写経しながら読む レポジトリは https://github.co
【2023年版】機械学習の日本語無料学習教材まとめ - Qiita
言語&開発基礎編 PythonやSQLなどの言語と開発環境に関連することをまとめました。 機械学習に関する教材はこの次のセクションにまとめてあります。 学習環境 インストール及び使い方チュートリアルのサイトと、ある程度使い慣れた後に役立つtips集を各エディタでまとめました。 Google Colaboratory Python初学者にとって最もわかりやすいPython実行環境です。プログラミングは初めて！という方はまずこのGoogle Colaboratory(通称: Colab)から始めてみて、使い方がある程度わかったら、そのまま次のセクションのPython編に移りましょう。 Pythonプログラミング入門 難易度: ★☆☆ 東京大学の公開しているPython講座ですが、冒頭でColabの使い方を解説しています。使ったことのない方はこちらから！ Google Colabの知っておくべき
30分で完全理解するTransformerの世界
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
【ディープフェイク】Faceswapで複数のソースの纏め方とフィットトレーニング【顔交換】 - kujikunのブログ
※この記事は前回のFaceswapの使い方で大まかな手順を理解した方向けです 前回の記事で複数のソースビデオから画像を集めてトレーニングする事がフォーラムで推奨されていると述べました 今回は複数のソースから抽出した顔画像を束ねる方法と完成度を上げるフィットトレーニングを解説します ※前回の記事はこちらから www.kujikun.com トレーニングデータを見る YouTubeから材料となる顔の動画をDLする 何度も使いたい人物の顔なら画像集を作成した方が楽 Mergeで複数のfsaファイルを束ねる Mergeの設定方法 フィットトレーニングを利用する トレーニングデータは他の人物には使わない事 その他のツールやオプション等 変換前に予め出来をチェック可能なPreview Mixed Precision(※Nvidia製GPUのみ) 動画作成に掛かったコストと時間等 関連リンク トレーニン
【ディープフェイク】Faceswapの使い方【顔交換】 - kujikunのブログ
久々の投稿で最近話題のディープフェイクを作れるFaceswapの使い方の解説をします Faceswapって何? 用意する物と下準備 今回の作業に必要な物 GPUの条件 動画の条件 Faceswapを入手してインストールする ※作業に入る前の注意点と作業フォルダの整理及びその説明 今回の顔交換に使用する動画 今回の実行環境 ステップ①Extractで動画から顔画像の抽出を行う Extractの設定 抽出された画像とfsaファイルの確認 ステップ②画像の選別とfsaファイルのクリーンアップ ソートツールを使って類似する画像の並び替えを行う alignments.fsaファイルに最新の情報を反映させる fsaファイルのクリーンアップ設定法 ステップ③ Trainでトレーニングでモデルデータを作成する トレーニングの手順と設定 トレーニング成果具合の判断 ステップ④Convertで変換して動画を完
「ディープラーニングフレームワーク」とは？ 知識ゼロでもAIがつくれる？
「ディープラーニングフレームワーク」とは ディープラーニングの核になるのは「ニューラルネットワーク」と「機械学習」です。ただ、ニューラルネットワークにも色々な種類がありますし、機械学習の方法もさまざまです。 そこで、よく使われるニューラルネットワークの構成や機械学習の手法を1つにまとめたライブラリなどと一緒に開発支援ツールとして提供しているものが「ディープラーニング向けのフレームワーク」です。 フレームワークは、例えるなら「お惣菜」や「レトルト食品」を多数取り揃えるスーパーマーケットです。あらかじめ調理された食材や料理を組み合わせて夕食を作れば夕食作りの手間が大きく省けるように、フレームワークを使えば、あらかじめ用意されたコードを使って簡単にディープラーニングを使ったプログラムが作れてしまうというわけです。 料理もプログラミングも、最初から全部自分でやるのは効率が悪いです。プログラミングに
GPT-3の衝撃 - ディープラーニングブログ
この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built
月ノ美兎さんの音声合成ツール(Text To Speech) を作ってみた - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 何をした？ Youtube上に公開されている動画の音声から、ディープラーニング技術を用いた音声合成ツールを構築しました。 今回対象にしたのは、バーチャルユーチューバー・にじさんじの委員長こと 月ノ美兎 さん（Youtubeチャンネル） です。 ※選出理由は、単純に私がYoutube上で一番推している方だからです。 成果 動画から抽出した音声と、音声を文章に起こしたテキストの組み合わせのデータセット約50分ぶんを教師データとして学習した結果 ※学習に必要なデータ量は最低でも1時間程度と言われているので、まだまだ足りていません… 月ノ美兎さ
【論文読み】異常検知を支える技術 - Qiita
前回の記事では、ディープラーニングの異常検知に関するベンチマークを 行いました。その結果、「L2-SoftmaxLoss」が一番良い性能を示しました。 本稿では、その元になった「論文の概要」と「異常検知に適用した場合の考察」を 記したいと思います。 ※なお、本稿の図は特に明記がない場合は論文（L2-constrained Softmax Loss for Discriminative Face Verification ）より引用しています。 論文の結論 結論からいうと、論文で言いたかったことは ということです。この意味が分かる方は、既に論文のほとんどを理解できています。 あとは、分類精度を向上させるために、ソフトマックス関数をどう改造するかのお話しです。 ソフトマックス関数のクロスエントロピー 分類問題で良く使われるソフトマックス関数のクロスエントロピーは 以下のとおりです。 L_S=-\
【まとめ】ディープラーニングを使った異常検知 - Qiita
実装 コード全体はこちら DOC 実装はこちらを参考にしてください。 L2-Softmax-Loss 異常検知ではありませんが、こちらで実装しています。 ArcFace 実装は、こちらを参考に（ほとんどコピー）させていただきました。 結果 Fashion MNISTの結果 L2-SoftmaxLossとArcFaceが良いスコアを示しました。 やはり、距離学習による異常検知は性能が良いようです。 中央値が重なって見づらいですが、DOCとの差は中央値で0.05ポイント （全体の精度は10%くらい？）の差が出ています。 L2-SoftmaxLossは、以前の結果と食い違っていますが、以前は データ数も少なく、最適化手法のlrも違う値でした。 cifar-10の結果 こちらも、L2-SoftmaxLossとArcFaceが良いスコアになりました。 DOCとの差はさらに大きくなっています。 met
東大松尾研から新たに無償公開されたDeep Learning講座「DL4US」が良い、という話 - Qiita
5/15より東大松尾研究室からDeepLearningエンジニア養成講座「DL4US」の演習コンテンツが無償公開されました。 ※講義パートは公開されていない DL4USコンテンツ公開ページ 私は業務でデータ分析に携わっており、sklern等での機械学習には触れたことがありますが Deep Learningは「いつか勉強しよう...」と思ってできていない状況でした。 ※一度Udemyで講座を受講しましたが、挫折しています。 まだDL4USのLesson0,1をやってみただけですが、非常に良いものだと感じたのでシェアしたいと思います！！ DL4USについて DL4USの紹介記事から本講座の特徴を引用させていただきます。 アプリケーション指向 高度な数学的知識は不要 1人1台独立した仮想GPU環境を用意 実際にモデルを学習させながら技術を習得 コードはすべてKeras （TensorFlow）と
東大松尾研究室監修のエンジニア向け教育プログラム「DL4US」の演習コンテンツが無償公開 | Ledge.ai
2018年にかけて実施されていた、東京大学松尾研究室が監修するエンジニア向け無償教育プログラム「DL4US」の、演習パートのコンテンツが無償公開された。 関連記事：松尾研監修のディープラーニング無償オンラインプログラム「DL4US」が募集を開始 「DL4US」とは？Deep Learningエンジニア育成講座「DL4US」の演習コンテンツを無償公開しました。実装に重きを置いてエンジニア向けに松尾研で作成したもので、画像認識や翻訳モデルから始まり、生成モデルや強化学習まで扱う実践的な内容になっています。ご興味ある方はぜひ。https://t.co/jLWlrk9UdK — 松尾 豊 (@ymatsuo) 2019年5月15日 DL4USは高度なディープラーニング技術者を育成することを目的とした、アプリケーション指向の無償オンライン教育プログラムだ。 東京大学ディープラーニング基礎講座、応用講
ディープラーニング入門：Chainer チュートリアル
Chainer チュートリアル 数学の基礎、プログラミング言語 Python の基礎から、機械学習・ディープラーニングの理論の基礎とコーディングまでを幅広く解説 ※Chainerの開発はメンテナンスモードに入りました。詳しくはこちらをご覧ください。 何から学ぶべきか迷わない ディープラーニングを学ぶには、大学で学ぶレベルの数学や Python によるプログラミングの知識に加えて、 Chainer のようなディープラーニングフレームワークの使い方まで、幅広い知識が必要となります。 本チュートリアルは、初学者によくある「まず何を学べば良いか」が分からない、 という問題を解決するために設計されました。 初学者は「まず何を」そして「次に何を」と迷うことなく、必要な知識を順番に学習できます。 前提知識から解説 このチュートリアルは、Chainer などのディープラーニングフレームワークを使ったプログ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - lllyasviel/style2paints: sketch + style = paints (TOG2018/SIGGRAPH2018ASIA)
Teslaはカメラを使ってどのように世界を認識しているか
富士通研究所、“次元の呪い”回避する世界初のディープラーニング活用技術を開発
Google はどうやって Deep Learning でメモリ使用量を 99% 削減したか。
GitHub - matsuolab-edu/dl4us
