Node.js × PhantomJS で何でもサクサクスクレイピングするよ！ - 凹みTips
はじめに 先日、PhantomJS でログインが必要なページでも自由自在にスクレイピング - 凹みTips という記事を書きました。 前回は PhantomJS のみを用いてスクレイピングを行なっていましたが、スクレイピングした結果を使って色々やりたい！となると、Node.js の力を借りたくなってきます。単純に取得した HTML を利用するだけなら、PhantomJS の fs モジュールを使って HTML をファイルに書き出し、これを Node.js で読み取って…、なんてことをすれば可能ですが、何かしらの入力を受けて動的にページを遷移したい、となると厳しくなってきます。 そこで、本エントリでは PhantomJS を Node.js から使って色々出来るよ！ということを解説したいと思います。 利用するモジュール PhantomJS をラップした Node モジュールは沢山あります。試
Modules | Node.js v10.12.0 Documentation
CommonJS modules are the original way to package JavaScript code for Node.js. Node.js also supports the ECMAScript modules standard used by browsers and other JavaScript runtimes. In Node.js, each file is treated as a separate module. For example, consider a file named foo.js: const circle = require('./circle.js'); console.log(`The area of a circle of radius 4 is ${circle.area(4)}`); copy On the f
運用を気にしたnode.jsのサーバーの開始と例外発生時のあるべき対処
node.jsのサーバーはかなりナイーブで一度でもエラーが起こると停止します。そんなnode.jsのサーバーをバックグラウンドで開始し、例外発生時に理由をログにとりながら止める方法。 node.jsのサーバーを開始するには、サーバーのしかるべきディレクトリにgit cloneし、nohupでプロセスを開始します。git clone myproject /var/www/myproject nohup node app.js // または nohup node app.js > /path/to.log 2>&1 &テストをパスしたサーバーであっても、予期しない新規の例外で停止することがあり得ます。プロセスが止まるような例外であればいいのですが、'uncaughtException'が発生した場合が問題です。良くないことが起こっているのですが、それでもプロセスは止まらず、きっと後になってさら
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
