chrome ヘッドレスの環境構築(Mac編)
初めまして、気づいたらバイトの中で一番古株になっていたイタヤです。 今回はchrome ヘッドレスを用いたスクレイピング手法について説明したいと思います。 chrome ヘッドレスとは 普段みなさんはどのようなブラウザを使っているでしょうか？ 「Google Chrome」「Firefox」「Internet Explorer」など様々だと思います。 chrome ヘッドレスとは、その中の「Google Chrome」を画面表示せず実行するものです。 ※今回は、このchrome ヘッドレスをスクレイピングに用いますが、その用途以外にもブラウザテスト・業務の自動化（RPA）などにも用いられています。 そもそも何故chrome ヘッドレスクローム？ Webページの中には、JavaScriptを用いて動的にHTMLを生成している場合があります。ご存知の方も多いと思いますが、JavaScriptは
Amazonにバレることなく2年間もKindle電子書籍で売れ行きを偽装して不当に2億円以上を荒稼ぎしたプログラマが登場
Amazon.comで販売されているKindle用の電子書籍は、読者のレビュー(書評)やダウンロード数を参考にして書籍をダウンロードするかどうかを決めることができます。それまでどれくらいの読者に読まれた本なのかという情報は、Kindle電子書籍の販売の行方を大きく左右する重要な要素ですが、この情報をねつ造してダウンロード数を荒稼ぎするという行為「catfishing」を、なんと2年間もの長きにわたってAmazonにばれることなく淡々と実行したプログラマの存在が明らかになりました。 Revealed: How one Amazon Kindle scam made millions of dollars | ZDNet http://www.zdnet.com/article/exclusive-inside-a-million-dollar-amazon-kindle-catfishing
まだmechanizeで消耗してるの? WebDriverで銀行をスクレイピング（ProtractorとWebdriverIOを例に） - 詩と創作・思索のひろば
今日はスクレイピングの話をします。 今回のターゲットは三菱東京UFJダイレクト。金融機関もウェブサービスを提供するようになり、金にまつわる情報を電子化しやすくなりましたが、かれらが API を提供しているわけではないので、私たちのほうで取得・加工をしてやる必要があります。今やウェブサイトであれば当然のように JavaScript を使っているわけなので、いわゆる mechanize、つまり HTML の解釈をおこない、リンクのクリックやフォームの送信をシンプルに実装するようなやり方でのスクレイピングはすでに無理筋だといえます。 もちろん今日においてはブラウザオートメーションという方法がすでにありますので、これを利用してやれば、なんの憂いもなく実際に人間が使うようなブラウザをプログラマティックに操作することができます。現在は Selenium WebDriver がデファクトで、これが使用す
全国のSeleniumer必読 - Qiita
アナウンス Selenium 談話会 in Slack まだまだ活動続けています！！(2019/09/09追記) https://selenium-danwakai.connpass.com/ でアナウンスを出しています。 2015/春から「Selenium 談話会 in Slack」というものをはじめました Slack(チャット)を使って日々の困りごとなどを同士とリアルタイムで情報交換することができます 登録されたユーザは2015/06/25時点で35名 => 2019/09/09時点で596名 半年に１回程度でチャット上に集まってテーマを決めて話をしています Ex) 「第３回Selenium談話会 in Slack」 のまとめ 詳細、参加方法などは上記リンク先に書いています 2018/09/18時点で13回開催しています。ご興味のある方はお気軽にご参加ください https://sele
Capybara+Seleniumのユニットテストで使うブラウザを変更する方法 - Haskell雑記帳
昨日 の続きです。 最新版(まだ開発版)のCapybaraを使うと簡単にSelenium経由でFirefoxを使ったユニットテストができると書きましたが、その仕組みが謎だったので調べました。 Seleniumで使うブラウザをFirefoxからChromeに変える spec/spec_helper.rb に以下の設定を書きます。 require 'capybara/rspec' Capybara.register_driver :selenium_chrome do |app| Capybara::Driver::Selenium.new(app, :browser => :chrome) end Capybara.javascript_driver = :selenium_chrome Configuring and adding driversのところに書いてあります。 Sporkを使う
#116 Selenium - RailsCasts
Selenium is a great way to test your app automatically through a browser. See how it works in this episode.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://openbook4.me/sections/1148
イマドキのExcelスクショの撮り方