PyTorchのシーケンスのpaddingとpackingを使い分ける - Qiita

0. はじめに PyTorchでRNN, LSTM, GRUなどの系列モデルを訓練するには, サンプルの系列としての長さが全て同じでなければなりません。 (ニューラルネットワークの仕組み的にはそんな必要はありませんが, 実際のコーディングでは系列長がバラバラだとエラーを吐いてしまいます) しかし, 訓練させたい文章サンプルが最初から全部同じ長さであることはまず無いでしょう。 このため, 短い文章の末尾にダミー単語を加えておく 長い文章の尻尾を切り取っておく などの工夫をして, 事前にサンプルの系列長を揃える処理をしておく必要があります。 ありがたいことに, PyTorchは系列長を揃えてくれるような関数を4つ用意してくれています: torch.nn.utils.rnn.pad_sequence torch.nn.utils.rnn.pack_sequence torch.nn.utils.

[sh19910711]

"訓練させたい文章サンプルが最初から全部同じ長さであることはまず無い / PyTorchは系列長を揃えてくれるような関数を4つ用意してくれています / pad_sequence: 長さの違うテンソルを与えると短いものの末尾にゼロ埋め" / 2019