Puppeteerで特定サイトのスクショを定期的に取得 🌴 officeの杜 🥥
今回使用するモジュール等 puppeteer-core – npm date-utils - npm node-cron - npm xlsx-populate-wrapper - npm nexe – npm 今回使用するリストファイル - xlsx 今回は定期的にpuppeteerを起動させるためにNode-Cronを必要としています。これで10分置きに、xlsxファイルを読み取って、サイトへ移動しながら、スクリーンショットを取り続けるプログラムです。また、Excelデータを読み込ませるためのモジュールも必要です。 今回の操作上の問題点 今回の要件は、特定サイトのスクショを定期的に取り続けることなので、 リストになるxlsxファイルを必要とし、 また、定期的に実行するので、Cronが必要になります。 過去にもNode.jsでNode-Cronを取り扱ったことがありましたが、そのままPu
Google Apps Scriptでスクレイピングを極める【GAS】 🌴 officeの杜 🥥
今回使用するサービス等 スクレイピングサンプル - Google Spreadsheet Google Cloud Functions Puppeteer cheerio for Google Apps Script 以前、PuppeteerとCheerioを使ってテーブルデータをスクレイピングしましたが、参考になるかと思います。 Puppeteerでテーブルデータを取得する 事前準備 注意事項 Google Apps Scriptでのスクレイピングですが、Node.js + Puppeteerで作る場合と異なり、GASだけでスクレイピングする場合には色々と注意事項があります。主に 6分の実行時間制限がある Google Workspaceの場合、UrlfetchAppは100,000 回/1日の制限事項がある JavaScript多用の動的サイトのスクレイピングは出来ない（Puppete
Rubyのgemで株価取得が超簡単だった。 | Project name
株とサイバーって相性良いすよね。 こんにちは。 マツコ・デラックスの面白さに最近はまっているvsannaです。 あの超ニッチなおすすめ商品紹介する番組めっちゃ面白くないすか? 前回記事(【スクレイピングのやり方#1】周りに勧められてスクレイピングなるものをしてみたいけど何すればいいのかわからなかったあの日の自分へ)作成のためのスクレイピングの勉強中に面白いgemを発見したので、今回はそのご紹介です。 対象は、 Rubyの環境がある。(読み書き実行がある程度できる) ドットインストールのRubyを通し見でOK 株価分析に興味がある。 という方です。 でははりきって参りましょう。 今回やってみること ご紹介するのはyahooファイナンスをスクレピングしてくれるgemのjostock。 なお株についてあまり詳しくないので、数字の理解や扱いについては深く突っ込まないていただけると嬉しいです… あ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
