スクレイピングしたデータを良い感じでWordpressで表示したい いろんな方法を試してきました、現在、採用している方法を紹介します 処理の流れ １ Google Cloud Functions でスクレイピングする GCPのFcunctionsにて、puppeteer でスクレイピングを実行します。 http関数にして、cronからcurlで呼ぶも良し、pub/subで呼ぶも良し。 ２ スクレイピングしたデータを、VPSのMYSQLに保存する WordPressと異なるDBを新たに用意してGCP FunctionsからそのDBへinsertします。 WordPressと分けた理由は、サーバーの引越しが簡単にできるようにするため ３ 自作プラグインで、DBのデータを取得、表示用に加工 以前は、表示専用固定ページを用意し、そのページ内で global $wpdb; などしてデータを取得、加工

こんにちは！ほけきよです。 今日は自動化第四弾！！ またまたGoogleに媚びを売るSEO対策です(^^) 前回は内部リンクネットワークの可視化でした。今回は、リンク切れの抽出です！ 悲しきNot Found …Googleさんがお怒りになる前に片付けちゃいましょう！ リンク切れとは？ めんどい 環境を作る コード 実行する 今後の課題/注意 まとめ リンク切れとは？ 自サイトで言うと、こういうのです 悲しいですよね。以前まであったはずのものがなくなるのは… というわけで、リンク切れは早めに対処しましょう！ めんどい そう思い、いちいちリンククリックして確かめてたんですが、 めんどい、めんどうがすぎる 大体のリンクはちゃんと通るのに、通らないリンクを探すなんて、修行ですか？ というわけで、3記事で飽きました。ううーん、そうだ、自動化しよう 環境を作る python(3系) bs4 urll

歌謡ロックbotのリンク切れを直しています。歌謡ロックbotはひたすらYouTubeのPVを流すだけのアカウントで、予め登録した曲のリストから一定時間おきに投稿します。 以前はリンク切れカッターが使えたのですが、YouTubeの仕様が変わったのか、このツールでは判定できなくなりました。 調べてみたところ、YouTubeのAPIを使ってリンク切れをチェックできると書いてあったので、自分で調べてみました。 自サイトに貼りつけたYOUTUBE動画が削除されているか確認する方.. - 人力検索はてな 入力 0.8秒と衝撃。 「21世紀の自殺者」 youtu.be/ru4xoKsm9lo 0.8秒と衝撃。 「POSTMAN JOHN」 youtu.be/dHRMezlbmiE 0.8秒と衝撃。 「町蔵・町子・破壊」 youtu.be/0NQUAHcecRU 13*SQUAD 「陽炎」 youtu.b

以前は見開きのPDFを2ページに分割するプログラムを紹介しましたが、今回はその逆2ページのPDFを見開き1ページに結合するプログラムを作成します。コードはこちらの方がシンプルです。 この… ライブラリ（PyPDF2）のインストール 今回はPDF文書のページ操作などができるライブラリ「PyPDF2 」を利用します。PyPDF2のインストールは、Windowsではコマンドプロンプトで以下のコマンドで実行できます。 > py -m pip install PyPDF2 // 環境の違いによっては以下のコマンドなどを使用 > python3 -m pip install PyPDF2 > pip intall PyPDF2 プログラムの内容 今回は以下のようにプログラム（pdf_divider.py）と同じ階層にある「samplesフォルダー」の中にある「sample_a3.pdf」を原稿として読

import re # rを付けることを推奨。 # バックスラッシュをそのままで分かりやすいため。 content = r'hellow python, 123, end.' pattern = 'hel' result = re.match(pattern, content) if result: #none以外の場合 print(result) # output:<_sre.SRE_Match object; span=(0, 3), match='hel'> print(result.span()) # output:(0, 3) print(result.group()) # output:hel

はじめに もともとは前々回、前回の記事 【Python】英文PDF（に限らないけど）をDeepLやGoogle翻訳で自動で翻訳させてテキストファイルにしてしまおう。 続【Python】英文PDF（に限らないけど）をDeepLやGoogle翻訳で自動で翻訳させてテキストファイル、いやHTMLにしてしまおう。 で使用するために書いたものですが、役に立ちそうなので別途紹介する次第です。 PDFからコピーしたテキストの問題点 PDFについての詳しい知識は持ち合わせていないのですが、 PDF内ではテキストが細かいパーツに分割されて書き込んであるようで、コピーしたテキストにもPDFでの表示の通りの位置に改行コードが含まれます。 例えば、PDFで $$ABC.\\DFE.\\GHI.$$ のような表示の場合、コピーしたテキストは、 $$ABC.{\r\n}DEF.{\r\n}GHI.$$ といった具合で

import pyautogui import time import os import datetime ######################### # 変数定義 # (環境に応じて変更する) ######################### # ページ数 page = 5 # 取得範囲：左上座標 x1, y1 = 270, 160 # 取得範囲：右下座様 x2, y2 = 3230, 2010 # スクショ間隔(秒) span = 1 # 出力フォルダ頭文字 h_foldername = "output" # 出力ファイル頭文字 h_filename = "picture" ######################### # スクリーンショット取得処理 ######################### # 待機時間５秒 # (この間にスクショを取得するウィンドウをアク