はじめに 前回のエントリー「phantomjs/casperjsによるキャプチャー自動化」で簡単なキャプチャースクリプトを製作しましたがサイトによって背景色が黒くなってしまったりと、課題や改修すべきところがありましたので前回のスクリプトをベースに改修していきたいと思います。 （環境構築は既に済んでいる前提です。） 課題、改修点 ・サイトによっては背景が黒くなってしまう ＞jqueryを読み込んで背景色を書き換えます。 ・キャプチャーするファイルリストを外部ファイル化（csvファイル読み込みも） ＞jsonファイルの外部化だけだと簡単すぎるので、csvファイル読み込みのパターンも実装したいと思います。エクセルからキャプチャーリストを作成したり、website explorerからURLだけ引っ張ってきて連続キャプチャーしたりと使い勝手がよくなります。 ・キャプチャーした画像の保存先を変更した

2020/02/01 追記 [コード付き]誰も知らない関連銘柄を、機械学習を使って素早く見つける こちらに最新の結果を載せました！ 気づいたんですけど、私みたいな貧乏人はショッピングモールでおしゃれなゴミをせっせと買い漁るんですが、お金持ちの人って株を買うらしいんですよね。 考えてみれば貧乏人が欲しがるものって、百均のちょっとしたものから家や車やバイクやゲーム機など、買ったらお金が減るものばかりなんです。 それに比べて、お金持ちが買うものって、株や投資用の土地や、リスクこそあるものの貧乏人が欲しがらないわりに買ったらお金が増える可能性のあるものばかりなんですよねー。 これは悔しい！休日になるたびにせっせとショッピングモールにお金を運んでゴミを買い漁ってる自分を見てお金持ちはきっと笑っているに違いない！いやお金持ちには自分のような人間は視界にすら入らないのか、これはさっそく株を買わないと！と

Windows 7にPhantomJSをインストールする方法.md Windows 7にPhantomJSをインストールする方法 1. PhantomJSのサイトからダウンロード http://phantomjs.org/ 2. ダウロードしたzipファイルを解凍し、c:\直下に置く ※ここではフォルダ名を phantomjs とする 3. 環境設定 コントロールパネル システムとセキュリティ システム システム詳細設定（左メニュー） システムのプロパティが開く、「環境変数」ボタンを押す ユーザー環境変数の Path を選択して、「編集」ボタンを押す 変数値の最後に ; を入力して、　「C:\phantomjs\bin」 と入力して「OK」ボタンを押す 4. コマンドプロンプトを開き path コマンド => ユーザー環境設定の内容を確認 phantomjs -v コマンド => phan

ブラウザ開かなくてもスクリーンショットが取れたり、スクレイピングができたりするCasperJS。 PhantomJSの上に乗ってるらしい。 Windows環境にインストールするのも簡単なのでメモ。 http://casperjs.org/ http://casperjs.org/installation.html CasperJS on Windows 1)PhantomJSのインストール 1-1)PhantomJSをダウンロードしてくる。 http://phantomjs.org/download.html phantomjs-1.9.1-windows.zipをダウンロード→解凍。 1-2)移動→リネーム→PATHを通す。 ・フォルダごとC:\PhantomJSへ移動してリネームする。しなくても多分OK。 ・C:\PhantomJSなり、PhantomJSディレクトリへPATHの設定を

google http://www.google.co.jp/ yahoo http://www.yahoo.co.jp/ github https://github.com/ こんな感じでTSVファイルを記述して実行すると、上の画像のようにPNG画像が出力されます。 1列目がPNGファイル名、2列目がURLです。TSVにしたのは、Excelからコピペできるからですね。 ソースコード utils/phantomjs-capture at master · syon/utils 使い方 Node.js 上で動作します。PhantomJSをインストールしてから↓ $ git clone https://github.com/syon/utils.git $ cd utils/phantomjs-capture/ $ npm install $ node index 『PhantomJS』とは？

CasperJSを使ってクローリングしながらキャプチャを撮りました。 node.jsでクローラを作成していたのですが、 画面キャプチャも撮りたかったので、CasperJSを使うことにしました。 casperjs.org CasperJSはPhantomJSを利用するためのライブラリです。 PhantomJSとはコマンドラインのWebブラウザで、画面表示のないブラウザです。 PhantomJSを使うと、コマンドラインからブラウザ操作をしたり、 画面キャプチャを撮ることができます。 PhantomJSはレンダリングエンジンとしてWebkitを使用しています。 インストール CentOS7に必要な依存関係をインストールしておきます。 # yum install freetype # yum install fontconfig 次にPhantomJSとCasperJSをグローバルインストールしま

突然ですが、「Webスクレイピング」という言葉をご存知でしょうか。 例えば、現存するWebサイトの一部分の要素を取り出して、そこをスマホ向けに改修するとします。その際、Webサイトの該当部分の情報・データを集めてきて、集計し、使える形に整形し直すことが可能なのがWebスクレイピングです。そして、Webスクレイピング専用のツールのことを「Webスクレイピングツール」といいます。 仮に、スクレイピングツールがなかったら、自らインターネット上に膨大な情報の中から、目的のデータを探し出し、抽出して、手作業で集計・整形しないといけません。 ただ、その際、Webスクレイピングツールであれば、Web コンテンツを自動で取得できるので、アッという間に解決することが可能です。このツールは、業務上、大幅な工数削減に役立つなど重宝します。 そこで本記事では、このように便利なWEBスクレイピングツールについて、概