TikTokスクレイプ基盤をGCP上で構築してハマったことTikTokへスクレイプするバッチをGCP上で構築しました。 GCP構築のシステム設計話と、その構築時に、ハマったことを共有します。 きっかけ 2020年、最もダウンロードされたアプリがFacebookを抜いてTikTokが一位になったそうです。 私もTikTokを利用しています。 ネットサーフィンをしている時に、tiktok-scraperというライブラリをcloudflareのサイトで発見しました。これを使って、TikTokの情報収集できるんじゃないかなと思い始めましたのがきっかけです。 tiktok-scraper Scrape and download useful information from TikTok. No login or password are required. This is not an official API support and etc. This
