PyTorchのSeq2Seqをミニバッチ化するときに気をつけたこと - 人工知能とか犬とか
概要 PyTorchチュートリアルに、英仏の機械翻訳モデルを作成するTranslation with a Sequence to Sequence Network and Attentionがあります。 このチュートリアルは、教師データを一つずつ与える形になっており、結構遅いのです。 なので、バッチでの学習ができるように修正を試みたところ、注意ポイントがいくつかあったのでまとめておきます。 RNNのバッチ学習の実装 RNNでバッチ学習を行う際に問題となるのが、入力されるデータ系列の長さがバッチ内で異なることです。 この問題には一般的に、バッチ内での長さを揃えるためのパディングと、パディングした部分が学習の邪魔にならないようにするマスキングを実装して対処する必要があります。 実装自体は割と簡単にできますが、きちんと実装しないと学習が全然進まなかったりするので注意が必要です。 パディング パデ
PyTorchでの学習・推論を高速化するコツ集 - Qiita
本記事では、NVIDIAから発表されているPyTorchでのディープラーニングを高速化するコツ集を紹介します。 【※NEW】22年6月新記事：スクラム関連の研修・資格のまとめ & おすすめの研修受講方法 本記事について 本記事は、NVIDIAのArun Mallyaさんの発表、 「PyTorch Performance Tuning Guide - Szymon Migacz, NVIDIA」 に、説明やプログラムを追加して、解説します。 本記事のポイントは、Andrej KarpathyがTwitterで呟いている通りとなります。 good quick tutorial on optimizing your PyTorch code ⏲️: https://t.co/7CIDWfrI0J quick summary: pic.twitter.com/6J1SJcWJsl — Andrej
pytorch Tensor操作チートシート - Qiita
概要 毎回調べてしまうpytorchのtensorの操作をまとめました 公式のドキュメンテーション以上の内容はありません 環境 pytorch 1.3.1 Tensorの基本操作 list, ndarrrayからTensorを生成する a = [[1,2,3],[4,5,6]] a_np = np.array(a) # tensorにする b = torch.tensor(a_list) b = torch.tensor(a_np) # listからもndarrayからも変換可能 b = torch.from_numpy(a_np) # a_npとbはメモリが共有されるので, 片方を変更するともう片方も変わる # データの型を指定できる dtype >>> b = torch.tensor(a, dtype=float) >>> b = torch.tensor(a).to(torch.f
pyTorch optim SGD徹底解説 - Qiita
2020/1/27 投稿 0. この記事の対象者 pythonを触ったことがあり,実行環境が整っている人 pyTorchをある程度触ったことがある人 pyTorchによる機械学習でoptimizer SGDを理解したい人 pyTorchのoptimizer SGDをNetwork model以外(普通の変数とか)に使いたい人 1. はじめに 昨今では機械学習に対してpython言語による研究が主である.なぜならpythonにはデータ分析や計算を高速で行うためのライブラリ(moduleと呼ばれる)がたくさん存在するからだ. その中でも今回はpyTorchと呼ばれるmoduleを使用し,その中の確率的勾配降下法(SGD)を使ったパラメータの更新手法についてプログラムでの扱い方を解説する. ただしこの記事は自身のメモのようなもので,あくまで参考程度にしてほしいということと,簡潔に言うために間違っ
pyTorchのTensor型とは - Qiita
2019/9/29 投稿 2019/11/8 やや見やすく編集(主観) 2020/2/1 Tensor型の微分計算の解説Link追加 0. この記事の対象者 pythonを触ったことがあり,実行環境が整っている人 pyTorchを初めて触る人 pyTorchのTensor型をしっかり理解したい人 pyTorchでの機械学習でTensor型dataをどう使っているかを知りたい人 1. はじめに 昨今では機械学習に対しpythonという言語が主に使用され,さらにmoduleとしてpyTorchというものが使用されることがある. 今回はそのpyTorchを使用するための前準備としてTensor型というものの説明をしていく. ただしあくまで参考程度にしてほしいということと,簡潔に言うために間違った表現や言い回しをしている場合があるかもしれないが,そこはどうかご了承していただきたい. 2. Tens
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
