くだらないAPIなんていらないよ – 2016年のウェブスクレイピング事情 | POSTD
ソーシャルメディアのAPIとそのレート制限は、あまり気分のよいものではありません。特にInstagram。あんな制限つきAPIを欲しがる人がいったいどこにいるんでしょうね？ 最近のサイトは、スクレイピングやデータマイニングの試みを阻止するのがうまくなってきました。AngelListはPhantomJSすら検出してしまいます（今のところ、他のサイトでそこまでの例は見ていません）。でも、ブラウザ経由での正確なアクションを自動化できたとしたら、サイト側はそれをブロックできるでしょうか？ 並行性を考えたり、さんざん苦労して用意した結果として得られるものを考えたりすると、Seleniumなんて最悪です。あれは、私たちが「スクレイピング」と聞いて思い浮かべるようなことをするためには作られていません。しかし、賢く作り込まれた今どきのサイトを相手にして、インターネットからデータを掘り当てるための信頼できる
テストしないSelenium :: KNIMEでWebスクレイピングしてみよう - Qiita
こんにちは！ みなさんSeleniumで自動テストでクロスブラウザーでGridですか！！ 私 最近ちょっとアレなんですよ〜 Seleniumは「ブラウザーをプログラムから操作する」ライブラリーです。 Seleniumについてのよくある誤解に「Seleniumは自動テストライブラリーである」というのがあります。 誤解なんですよ！ Seleniumは 「ブラウザーをプログラムから操作する」 だけのライブラリーです。自動テストとの親和性が高いのは間違いありませんが、もっと別のことで使ってしまっても何も問題ありません。 自動テスト以外での利用についての記事をWeb上であまり見かけませんが、自動テストの次に多い用途はWebスクレイピングではないでしょうか。 WebスクレイピングでのSeleniumの活用 Webスクレイピングとは、Webサイト上で公開されている何らかのデータをどうにかして取得する処理
Webアプリケーションのテスト自動化ツール「Selenium 3.0」登場、5年ぶりのメジャーバージョンアップ。Selenium Coreのサポートは終了し、WebDriverへ移行
Webブラウザを自動的に操作することでWebアプリケーションの動作テストを自動化してくれるツール「Selenium」の、5年ぶりのメジャーバージョンアップとなる「Selenium 3.0」が正式にリリースされました。 Selenium 3.0では、Seleniumの原型でありブラウザ操作をするための旧来の機能であった「Selenium Core」がなくなり、WebDriverに置き換えられました。 WebDriverはブラウザを外部から操作する方法としてSelenium 2から取り入れられており、現在W3Cによって標準化も進められています。また、モバイルアプリケーションのテスト自動化ツールであるAppiumでも採用されています。 すでにChromeとMicrosoft EdgeにはWebDriver機能が組み込んであるため、Selenium 2でWebDeriverを利用していたのであれば
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
