twitter検索のクロール方法について - 不可視点

twitter検索はpublic_timelineをスクレイピングする方法でポストを収集していました。 これはうまくいっていたのですが3月のはじめにAPIによるアクセスに続いて通常ページもキャッシュされるようになり、ポストの取得がとびとびになってしまいました。影響はかなり出てしまい、回収率は1/10程度に落ち込んでしまいました。 代替策 TwitterはData mining feedという600ほどのポストを一度でもらえるAPIを提供していてポストを多く集めたい人はそれを使うようにというアナウンスをしています。しかしこれもキャッシュが効いているようですからそれほど改善しないのではないかと思い試していません。 また、既に事実上日本語のみを検索対象にするサービスになっているので日本語ユーザーのポストだけもらえればいいかと思い、日本語ユーザー（7万人前後）をRSSで取得する方法を考えましたが、

[nekoruri]

twitter検索のクロール方法について - 不可視点

[rawwell]

"このため、twitter検索でこの方法を使う場合、現状では最低でも20分程度経過しないとポストが検索可能になりません。（最大で70分程度） さらに1時間分きっちり抜ける瞬間が一日に何度もあります。また、10分程度にわた

[nilab]

twitter検索のクロール方法について - 不可視点 : Data mining feedという600ほどのポストを一度でもらえるAPI:Gnipにおいてtwitterの情報が１時間程度遅れてくる問題

[naney]

Twitter検索に続いて、twitter検索も苦しんでいるのか。

[ikko615]

ついったーランキングも時間があるときにこれをやらないと。