Windowsでタスクスケジューラを使用せずにnode.jsスクリプトを定期実行する - ほんじゃーねっと
会社の自分のPC(Windows)で何かを定期的に実行したいときは だいたいPythonなりnode.jsなりでスクリプトを書いて タスクスケジューラに登録しておく。 のだけど、 タスクスケジューラは未ログイン時に実行しようとすると ログインアカウントを登録しておく必要があったり、 パスワードを変更した時に更新を忘れて実行に失敗しまくってたり、 そのログイン失敗のせいで社内ネットワークから閉め出されちゃったり、 色々と困ることがある。 Linuxのcrondと同じような仕組みができないか、と探してみたら 「pm2」と「node-cron」の組み合わせで実現できそうだったので、試してみた。 参考情報 こちらの参考ページを読んだらこのあとの内容は読まなくても良いくらいなのだけど、 node.jsで定期的にスクリプトを実行するにはpm2が便利 | 「node-cron」はその名の通りnode.j
node.jsでWebスクレイピングして取得データを保存する - ほんじゃーねっと
node.jsでデータ収集のためのWebスクレイピングを行う。 Webスクレイピングの流れというのはだいたい決まっていて、 WebページにアクセスしてHTMLを取得する 取得したHTMLの中から必要なデータを抽出する 抽出したデータを保存する の3段階となる。 通常、Webスクレイピングが必要となるのは データ取得用のAPIが提供されていない 必要なデータが1ページに収まらず多くのページにまたがっており、手作業でコピペしていくのが難しい 場合で、そのうちWebスクレイピングが可能なのは 対象の各ページが同じフォーマットになっており、パターン化された処理で必要なデータを取得できる 場合となる。 例えば「ページングされた検索結果画面」とか 「同じフォーマットでHTMLが書かれたたくさんの商品詳細画面」 なんかがスクレイピングでデータ取得しやすい。 前提として、 Webスクレイピングは手作業 で
node.jsでリモートのLinux環境やデータベースの操作を自動化する - ほんじゃーねっと
ぼくが仕事でLinuxサーバ環境に接続して行う操作というのはだいたい決まっていて、 コマンドでサーバの状態を確認 ログをファイル出力してダウンロード サービスの設定変更と再起動 SSHトンネル経由でDBアクセス のうちどれかを行うことが多い。 基本は手作業だったり、シェルスクリプトを作って 実行したりする形で対応できるものなのだけど、 結構めんどくさいので、 今回はnode.jsでどこまで自動化できるかを試してみたい。 事前準備 ローカルのWindowsマシンでnode.jsプログラムを実行して、 プログラム経由でLinux環境に接続して色々操作することを 想定しているので、ローカルにnode.js環境をインストールしておく。 この記事に載せてるサンプルは Typescriptで書いているけど、だいたいJavascriptとしても動くと思う。 SSHでLinux環境に接続する まずはSSH
作業自動化のための Node.js 入門 - ほんじゃーねっと
これまでいくつかの記事でNode.jsを使ったスクリプトを載せてきたが、 自動化のためのスクリプトを書いて動かす環境として Node.jsは手軽だし速いし色々ライブラリは揃ってきているし なかなか良い環境だと感じている。 Web系の仕事をしていればJavascriptはある程度親しみのある言語だろうし、 GruntやGulpのようなWeb関連作業を自動化する 機能満載のタスクランナーまで用意されている。 実行環境もインストーラをダウンロードしてインストールすれば パッケージ管理ツール付きで入手することができるので、 すぐに開発を始めることができる。 非同期処理が得意なサーバアプリケーションを作るための環境として 紹介されることが多いけど、この手軽に導入できて Javascriptでサクッとアプリが作れるところだけでも十分に価値があると思う。 ノンプログラマが仕事を効率化するためにプログラミ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
