サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
コーヒー沼
qiita.com/yamamoto-yuta
※ こちらは「 ヤプリアドベントカレンダー 」の2日目,「 Aidemy Advent Calendar 2022 」の3日目にクロスエントリさせていただいた記事です.この後も続々と記事が投稿されていきますので,是非ご覧ください はじめに ニュースサイトを定期的にスクレイピングし,記事の内容を Google ドライブへ保存するデータパイプラインを作ってみました( そして途中で詰まりました…(後述) ).この記事では,作る際に考えたことやつまづいたことなどをまとめています. やりたいこと ニュースサイトを定期的にスクレイピングして記事本文から必要なデータを抽出&蓄積し,分析等で使えるようにすること 複数のニュースサイトでも対応可能にすること 作りたかったもの 上記やりたいことを実現するために,下図のパイプラインを考えました.イメージとしては,Google Cloud Storage (GCS
このページを最初にブックマークしてみませんか?
『qiita.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く