Twitter APIで一定時間おきにツイートを取得するときに気をつけること - Qiita

よくよく考えてみれば至極当然のことなのですが、かなりハマったのでメモとして残しておきます。 きっかけ ディープラーニングのプログラムに利用しようとTwitter APIを使って15分おきにPythonでツイートを取得してデータベースに保存するスクリプトを書いたのですが、時々ツイートの取得数が異常に跳ね上がることがありました。 普通は平均して20ツイート/15分くらいなのですが、あるところだけ突然600〜700件近く取得されています。これはほぼ毎日起こるのですが、決まった時間に起こるというわけではなく、一日に起こる回数も不定です。 使っていたツイート取得プログラム 前回取得時点で最新のツイートのIDを保存し、次の実行時はまた最新のツイートからそのツイートまで順に遡っていき取得するというプログラムでした。 -------------------- 今回取得分 -----------------

[tofy]

“上のように最新のツイートから下に向かって100件ずつ取得し, ツイートのIDが前回取得した最後のIDと一致すれば終了します。Pythonではこんな感じでした: ”

[kurojonz]

よくよく考えてみれば至極当然のことなのですが、かなりハマったのでメモとして残しておきます。 きっかけ ディープラーニングのプログラムに利用しようとTwitter APIを使って15分おきにPythonでツイートを取得してデータベ