くだらないAPIなんていらないよ – 2016年のウェブスクレイピング事情 | POSTD
ソーシャルメディアのAPIとそのレート制限は、あまり気分のよいものではありません。特にInstagram。あんな制限つきAPIを欲しがる人がいったいどこにいるんでしょうね？ 最近のサイトは、スクレイピングやデータマイニングの試みを阻止するのがうまくなってきました。AngelListはPhantomJSすら検出してしまいます（今のところ、他のサイトでそこまでの例は見ていません）。でも、ブラウザ経由での正確なアクションを自動化できたとしたら、サイト側はそれをブロックできるでしょうか？ 並行性を考えたり、さんざん苦労して用意した結果として得られるものを考えたりすると、Seleniumなんて最悪です。あれは、私たちが「スクレイピング」と聞いて思い浮かべるようなことをするためには作られていません。しかし、賢く作り込まれた今どきのサイトを相手にして、インターネットからデータを掘り当てるための信頼できる
Seleniumアレルギーのための処方箋 - Qiita
何年も前、SeleniumやWebDriverの話で盛り上がった記憶があります。ただ、その当時はまだRailsなどバックエンド中心の文脈でした。今、フロントエンドに軸足が移る中、ブラウザテストの状況はどうなったのでしょう? 不思議なことに、フロントエンド界隈でそれほど話題に上がって来ないですよね (私の周りだけ?)。結構大事なのに。実は皆さん、「Seleniumアレルギー」なんじゃないですか? 公式サイトに漂う ゼロ年代感(下図)。Javaへの躊躇、「めんどくさい」と聞かされ続けた過去、無意識に避けてしまうのがSeleniumです。 ただ、フロントエンドの文脈でこそ、ブラウザテストは重要度を増しています。そこで「Selenium触りたくない病」の筆者が、 四苦八苦した背景 と、2016年だからこそ 見えてきた落とし所 を書いてみたいと思います。 註: 思ったより長文になってしまいました。先
Selenium 使いのための PhantomJS 解説 - Qiita
この記事は、Selenium Advent Calendar 2013の8日目の記事です。 Web+DB PRESS vol.77の特集1「スマートフォンテスト最前線」の第3章で、様々なSeleniumのDriverの紹介をしました。 4章の中でPhantomJSも取り上げることになっていたため、3章ではあえて取り扱いませんでした。 そこで、本記事では、Selenium使いのためのPhantomJS解説と銘打って、PhantomJSDriverの紹介とそのTipsを解説します。 PhantomJS とは PhantomJS は、ヘッドレスなWebKitベースのブラウザで、JavaScriptの実行も可能です。ヘッドレスなブラウザを操作するために、PhantomJSはJavaScriptのインターフェースを提供しています。またそれをラップした様々な関連ライブラリがあります。 GhostDri
まだmechanizeで消耗してるの? WebDriverで銀行をスクレイピング（ProtractorとWebdriverIOを例に） - 詩と創作・思索のひろば
今日はスクレイピングの話をします。 今回のターゲットは三菱東京UFJダイレクト。金融機関もウェブサービスを提供するようになり、金にまつわる情報を電子化しやすくなりましたが、かれらが API を提供しているわけではないので、私たちのほうで取得・加工をしてやる必要があります。今やウェブサイトであれば当然のように JavaScript を使っているわけなので、いわゆる mechanize、つまり HTML の解釈をおこない、リンクのクリックやフォームの送信をシンプルに実装するようなやり方でのスクレイピングはすでに無理筋だといえます。 もちろん今日においてはブラウザオートメーションという方法がすでにありますので、これを利用してやれば、なんの憂いもなく実際に人間が使うようなブラウザをプログラマティックに操作することができます。現在は Selenium WebDriver がデファクトで、これが使用す
Selenium WebDriver を使った JavaScript 関連のテスト
こんにちはこんにちは！ エンジニア川端です。 春ですね。花見ですね。フェンリルでも、大阪城公園に花見に行ってきました。 花は桜木、男は岩鬼。美しい桜を見てリフレッシュです。 「Sleipnir 3 for Windows」を始めとする各プロダクトの開発者の面白い一面なども見る事ができ、楽しゅうございました。 花見に行くためには定時ダッシュしたいわけですが、そんな時に限ってバグを発見したり、テスト用のチェックシートが積み上がっていたりするものです。 繰り返し繰り返し行うテスト（レグレッション・テスト）は、できるだけ人手をかけずに行い、とっとと花見に 効率的な開発を行いたいもの。開発者のみなさんは色々工夫をされていることと思います。 私はラクダスキーなので、大体のものは Test::More とかでやってしまいますが、最近はちょっと「Selenium」も触ったりしてます。 「Selenium」
FuncUnitを試してみた - Reports
FuncUnitって？ WEBアプリケーションの単体テストフレームワークです． 公式ページ: FuncUnit 基本的にはjQuery風の記法でユーザのアクションを定義し，JavaScriptの単体テストフレームワーク QUnitでアサートするだけでユーザのアクション（テキスト入力，クリック，ドラッグアンドドロップなど）に対するアプリの動作をテストすることができます． なので，jQueryとQUnitを使ったことがある人であれば比較的簡単にテストコードを書くことができます．また，どちらも使ったことがなくても使う分にはそれほど難しいものでもないので，使ってみることをオススメします． 一回書けば延々ブラウザでポチポチする作業とはおさらばです． また，もう一つ重要な点としてコマンドラインからテストが実行できるという点です（実行中にFirefoxやIEが立ち上がったりしますが）．ということはHud
Selenium Generator
バリエーションテストのテストケースを生成します Selenium IDEで作成したシナリオを繰り返し、バリエーションテストのテストケースを生成します。 シナリオを作る Selenium IDEで作成したシナリオを貼り付けてください。
Seleniumでif文的なテストをstoreEvalを使って書いてみる - F.Ko-Jiの「一秒後は未来」
Seleniumでは if / else 文のような条件分岐は定義されていないらしい。 Selenese, by itself, does not support condition statements (if-else, etc.) or iteration (for, while, etc.). » Sequence of Evaluation and Flow Control | Selenium Commands — Selenium Documentation で、ドキュメントによると以下の3通りの解決方法が提示されている。 Selenium-RCを使う storeEvalコマンドを使って JavaScript を実行する goto_sel_ide.js というSelenium IDEの拡張を使う Selenium-RCやSelenium IDEは使ってないので、今回はstor
ブラウザの自動操作の最大の問題，「タイムアウト」を克服するには - 主に言語とシステム開発に関して
ブラウザの自動化を妨害する最後の壁，それはタイムアウト。 Webページのロード時に，ブラウザのビジー状態が解除されず，いつまでも次のステップに進めなくなってしまう現象のこと。 どんなツールを使っても，タイムアウトは必ず発生する。 自動化ツールをたくさん使い込むほど，その問題は浮上しやすい。 例えば， Selenium： open()でタイムアウトが発生する http://d.hatena.ne.jp/w650/20071031/p1 Selenium 注意報：やたらタイムアウトが発生する http://blog.koshigoe.jp/archives/2006... VBA： WEBクエリ取得中のまま固まってしまう http://www.vbalab.net/vbaqa/c-board.c... ※ほかに，UWSCやWSH，また拡張ツールであるExceleniumやIE AutoTest
Selenium IDEの拡張 基礎編 - pirosikick's diary
今日こそSelenium IDEを拡張します。 拡張の仕方 Selenium IDEを起動して、「オプション」→「設定」→「一般」タブに、「Selenium Core拡張スクリプトのパス」という欄でJavascriptファイルを指定します。 拡張スクリプトの書き方 Seleniumのサイトにユーザが作った拡張スクリプトがあるのでそれをそのまま使っても良いです。 サイトに上がっている拡張スクリプトやSelenium IDE自体のスクリプトを参考にして,自分でスクリプトを作ってみるのもよいでしょう。 今日は簡単なコマンドの作り方を紹介します。 コマンドの追加 追加するJavascriptのファイルの中で、「Selenium」のプロトタイプに「do〜」という名前で関数を代入するとコマンドが追加されます。 例）logTestコマンドの追加 Selenium.prototype.doLogTest
Selenium – target=_blankのLinkへの対処方法
Seleniumを既存のWebサイトのテストへ適用しようとする場合に厄介なことの一つが、target=_blankでブラウザの別ウィンドウを開いてしまうようなリンクをテストしようとする場合があります。現バージョンでは、JavaScriptのOpenコマンドで指定するWindowIDがないとselectWindowコマンドが効かないため、新しく開かれたウィンドウを操作することができません。で、それの回避策として、target=_blankをやめてJavaScriptのopen()コマンドを使うように書き換えるという手が使えない場合の対処方法がOpenQAのフォーラム内の下記のスレッドにありました。 target=_blankのLinkへの対処方法 要は、JavaScriptを使って、現在のドキュメント内のtarget=_blankをtarget=’popup’みたいなウィンドウ名（タイトルで
)
Selenium 0.7 Reference (Japanese) - Selenium - Confluence
概要 コマンドはSeleniumに対してどう動くか指示するものです。コマンドにはActionとAccessor、Assertionの三種類があります。 各コマンドの呼び出しは、テストケースのtableにおける以下のような１つの行で表します。 Actionコマンドは、アプリケーションの状態を一般に操作するものです。Actionコマンドは「このリンクをクリックする」とか「あのオプションを選択する」といった動作を行います。動作に失敗するか、エラーが発生した場合は、現在実行中のテストは中止されます。 多くのActionコマンドは"AndWait"サフィックスを付けることができます(例えば"clickAndWait")。このサフィックスはSeleniumに対して、コマンドを実行してサーバへの通信が行われた後に新しいページがロードされるのを待つように指示するものです。 Accessorコマンドは、
SeleniumでJavaScriptを使う方法いろいろ（変数・関数などの利用） | colori
Selenium(Selenium Core, Selenium IDE, Selenium RC など)でテストケースを書く場合、かゆいところに手を届かせたい時に是非とも利用したいのがJavaScriptです。 しかし、まだまだその情報が気軽に手に入らないのが残念なところ。 「ないなら書いてしまえ！」ということでSeleniumでJavaScriptを利用したい場合に使える方法をまとめてみることにしました。 逆引き辞典にしたいのかリファレンスにしたいのかわけがわからんカテゴライズになっていますが、少しづつ増やしていくので気長にお待ちください。 使用バージョンはSelenium 1.0です。 目次 JavaScript基本編 Selenium空間とページ空間の違いによるJavaScriptの使い分け JavaScriptによるDOM指定でエレメント(要素)を特定する 各種コマンドの入力欄に
Web アプリケーションテストツール Selenium のテスト記述から開放してくれる Firefox 拡張 Selenium IDE
Web アプリケーションテストツール Selenium のテスト記述から開放してくれる Firefox 拡張 Selenium IDE 2006-02-15-3: [Firefox][JavaScript] http://www.openqa.org/selenium-ide/ JavaScript を使ってブラウザを介して Web アプリケーションのテストをしてくれる とても便利な Selenium． Selenium のテストを書くのが結構めんどくさかった． このテスト記述から開放してくれる Firefox の拡張があった！ - Selenium http://selenium.thoughtworks.com/ Google で「Selenium」で検索してその検索件数が意図した件数と合致するかテストすることにする． まず，Firefox の [ツール] - [Selenium ID
Selenium Auto Exec Server(AES)
Japanese / English Selenium Auto Exec Server(以降 Selenium AES)は、Seleniumによる継続的なリグレッションテストを行うためのツールです。 プロジェクトにおけるテストの手助けとなることを目標としています。 Selenium AESを使えば、SeleniumのHTML形式のテストを毎日決まった時間に実行し、その結果をメールで送信するといったことが簡単に行えます。 他にもSeleniumを使ったリグレッションテストを手助けするための様々な機能が提供されます。 Selenium AESは、Selenium RCを拡張することにより、実現しています。 また、Selenium RCのHTMLSuiteに対する使い勝手を向上させたツールとして、Selenium HTMLSuite Extensionというものも公開しており、Selenium
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://gal-tonkatsu.net/selenium_tips.html