AWS EC2 の Ubuntu に GUI を入れてブラウザ操作を自動化する話 - ウェブ雑記

こんにちは これからフロントエンジニアになる予定だけど、バックエンドも、というかクローリングが大好きな僕です。Amazon Web Service を駆使して、効率的かつスピーディーにデータを色々なところから情報を取ってきて、たくさん楽しいことをしたいわけです。 だが、現実はそんなに甘くない 実際にはブラウザを介さないと情報が取れないサイトもたくさんあります。「ちゃんとブラウザでクリックしてくれないと私、データあげないんだから＞＜」的なことを言われるのは日常茶飯事です。（要は javascript）そういう上品なウェブサイトには、ズケズケと土足で踏み込むのではなく、ちゃんと user agent をつけてあげたり、時にはブラウザを介してあげたりして、焦らずゆっくりと(wait() 的な意味で)、丁寧に接してあげなければなりません。 じゃ、ブラウザを使おう というわけで今回は AWS で立て

[kazukichi_0914]

"AWS EC2 の Ubuntu に GUI を入れてブラウザ操作を自動化する話" good read by feedly

[kazuph1986]

EC2ってWindowsあったっけ？あるならこれでIEのテストとかできるかなぁ。

[t_yamo]

ん？Xvfb入れてるのに実際にブラウザを画面に表示させてるのはどういうことだろう。画面に表示するならVNCだけにしてXvfb入れない、画面に表示しないならXvfbだけにしてVNC入れないのどちらかではないのかな。

[iww]

自動でクッキーを焼く準備らしい

[easy-breezy]

EC2でGUI

[siteworkers]

なるほど

[YukeSkywalker]

楽しそう。

[tsukamotch]

AWSにこんな使い方が有ったか、是非試してみたい