Scrapyでformを送信する際にJavaScriptを回避する - Qiita

問題 Scpapy は JavaScript で生成されたコンテンツにアクセスできないため、例えば、確認のために表示されるアラートウィンドウの「OK」をクリックして先に進む、などができないことがある。 根本的な解決策 JavaScriptを制御できるSeleniumなどを併用する。 （参考記事）StackOverflow ScrapyとSeleniumを併用するサンプルコードもある 簡単な解決策（条件付き） 場合によっては もっと簡単に解決できる。 以下のform送信ボタンのように、onclick 処理でJavaScriptのイベントが発動している場合には、scrapyの機能で回避できる。 <input type="submit" onclick="return confirm('確定していいですか？')" name="submit" value="確定" class="button">