前回 GCP のコストの記事を書いといてなんなんだけども、結局デプロイしようとしていたものは VPS に載せました。この記事では VPS にデプロイするときに調べたこととかどうやってやったかを書いていきます。主に VPS 触ったことないとか初心者向けの内容です。ちょっとですが叩いたコマンドとかも書いてあります。 背景 そもそも今回まで「VPS」「レンタルサーバー」がどういうものかわかってなくて、「なんとなくムズカシイもの」として敬遠してきた結果、全てのアプリを GCP か Heroku でデプロイしてきました。が、今回はコスト計算がやっぱりめんどくさくなったのと、スクレイピングアプリを作っていた関係で、 Flask アプリの他にサーバーに chromedriver をインストールする必要がありました。これが調べたら Docker 使ってごにょごにょして...っていう感じらしく、Docker
スクレイピングを定期実行する方法3つ【経緯】 seleniumを使って、スクレイピングできるようになった。 しかし、手動でやるのが不便。 定期的に決まった時間に自動でスクレイピング出来ないか? 【環境】 windows10 Python3 調べてみた結果3つの方法があった。 1.Windowsのタスクスケジューラタスクスケジューラから、実行ファイルをいつ、どのタイミングで実行するのか指定する方法。以下のような画面。 ・ユーザーがログインしているときのみ実行する ・ユーザーがログオンしているかどうかにかかわらず実行する この二つが選択可能。 パソコンが付きっぱなしなら、ログインしているときのみ実行する。でいいのですが、夜は寝ているし、ずっとパソコンを付けておくのも難しい。むしろノートパソコンだし、持ち歩きできなくなる。その時間だけパソコンを付けておくなら、手動で実行しても手間的にはあまり変わ
エックスサーバーでPython3を利用した環境構築の方法です。 PythonつかってAPI経由でWEBスクレイピングできる仕組みをつくったのはいいけど 会社で利用しているサーバーがエックスサーバーで、そのままではFlaskだったり必要なフレームワークが入ってないみたい。 色々ググってみて調べつつ、やっとことさ環境はできました。 調べてみて沢山の紹介サイトはあったけど、「WEBスクレイピング」、「Flask」どちらかっていうのがほとんど WEBスクレイピング+Flaskって環境構築の方法がなかったので、まとめてみました。 今回紹介する環境は以下の通りです エックスサーバービジネス(多分普通のエックスサーバーでも大丈夫) Python 3.7.3 Flask 1.0.2:WEBアプリケーションフレームワーク beautifulsoup4:HTMLパーサー requests:HTTP ライブラリ
from flask import Flask app = Flask(__name__) @app.route('/') def hello(): return 'Hello!' if __name__ == "__main__": app.run(debug=True)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く