Dockerで手軽にスクレイピング環境を手に入れる - Qiita
この記事は Docker Advent Calendar 2017 の1日目の記事です。 こんにちは。Emotion Techの子安です。すっかり冬ですね。今日は夜の銀座からお送りします。 なんでもDockerで Dockerに触れるようになって約2年ほど経ちました。最近は技術検証はもちろん、何かをちょっと試したいときなども、新しい環境が必要になるとまずはDockerで構築してみることが当たり前に（自分的には）なってきています。 で、今回はWebからちょこっと何か取ってきたいとき、いわゆるスクレイピングをしたいとき、Dockerがあれば簡単に環境が作れるぞという話をします。 ※なお、スクレイピングは用法・用量を守って正しく行いましょう。あくまで自己責任でお願いしますね。 要件 とあるサイトから情報を抜き出したい ブラウザを操作してサイトを巡回する Docker上に構築する プログラミング言
Headless ChromeをDocker上で動かして、E2Eのテスト - Qiita
この記事はGunosy Advent Calendar 2017の14日目の記事です。 昨日は@harahenikuさんのGoを遅くしないための地味な話でした。 広告技術部の@hoshitocatです。 主な業務はRailsで広告の入稿やレポートのための管理画面の開発をしております。たまにGoで配信側のAPIを触ることがあります。 今回は管理画面でChromeのHeadlessモードを使ったE2Eのテストを導入した話をします。 PhantomJSからChromeへ 私たちはこれまでE2EのテストをPhantomJSを使っていました。 しかし、Javascriptの動作も含めたテストを書いている際に、includes()がPhantomJSだと動作しないことがわかりました。 プロダクトコードをテストコードに合わせて書き直すことも考えましたが、それでは新しく使えるようになった便利な機能をいつま
Dockerを使ってHeadless Chromeを動かしてみる - Qiita
Chrome 59からChromeをヘッドレス環境で実行するHeadless Chromeが搭載されました。 自動テスト等でこの機能を使えると便利そうな気がしたので、DockerでHeadless Chrome が使える環境を整えてみます。 Docker Imageの作成 alpine linuxにはgoogle chromeのパッケージはありません。chromeの元となるオープンソース実装のchromiumのpackageを検索してみると、最新版のchromiumが59.0.3071.86-r0と なっています。 これを利用すればHeadlessで動かすことが出来そうなので、今回はこのパッケージを 利用してみました。Branchがedgeとなっていますので、alpine linuxのイメージを edgeのものを使用しました。 $ docker build -t chromium_head
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker + Rails + System tests with Headless Chrome - RubyFlow
GitHub - GoogleChrome/rendertron: A Headless Chrome rendering solution
