Streaming APIで大量のつぶやきをリアルタイムに保存する方法（Python編） | 配電盤

前提：Twitter Developersでアプリのconsumer_key等を取得しておく必要があります。詳しく知りたい人は「Twitter OAuth」などを調べるといいでしょう。 なぜこんな技術が必要なのかは、cURL編で書きました。 Streaming APIを使うときは、接続が切れてしまったときにいかに接続し直すかというのがキモなわけですが、cURLで簡単に実現する方法がわからなかったので、240秒ごとに強制的に接続し直すという方法を採用しました。この方法には、(1)再接続のときにつぶやきを取りこぼす危険と重複して取得する可能性があること、(2)接続が切れてから再接続を試みるまでに平均で120秒かかる、という問題がありました。 Streaming APIは、つぶやきが無いときには「CR LF」を30秒おきに送信してくるので、これをチェックすれば切断を検出できるのですが、検出と再接

[smallstartfx]

Tweepy のストリーミング処理を参考にできるかもしれない。再接続とか。

[mahler-5]

“python stream.py >> result.dat”

[Malan]

Streaming APIで大量のつぶやきをリアルタイムに保存する方法（Python編）