twitter検索のクロール方法について - 不可視点
twitter検索はpublic_timelineをスクレイピングする方法でポストを収集していました。 これはうまくいっていたのですが3月のはじめにAPIによるアクセスに続いて通常ページもキャッシュされるようになり、ポストの取得がとびとびになってしまいました。影響はかなり出てしまい、回収率は1/10程度に落ち込んでしまいました。 代替策 TwitterはData mining feedという600ほどのポストを一度でもらえるAPIを提供していてポストを多く集めたい人はそれを使うようにというアナウンスをしています。しかしこれもキャッシュが効いているようですからそれほど改善しないのではないかと思い試していません。 また、既に事実上日本語のみを検索対象にするサービスになっているので日本語ユーザーのポストだけもらえればいいかと思い、日本語ユーザー（7万人前後）をRSSで取得する方法を考えましたが、
なんだか大人げないことをしている人たちがいるようだが - shinichiroinaba's blog
東さんは煽った。常野さんは乗った。実際に乗られてみて東さんは「煽りが軽率だった」と反省して小役人的対応をとった。東さんの対応には手続き的なレベルではさしたる問題はないが、度量の狭さを批判されてもおかしくはない。 しかしこんなことをしたところで常野さんの名が上がるわけではないし、もちろんこんなことはどちらにとっても「いらん苦労」で「勉強」「芸の肥やし」にはならないことは明らか。 何より常野さんはまず最初にやるべきこと、つまり東さんの議論とデリダの議論を突き合わせてきちんと検討する、ということを自分でしていない。「卑怯」とはいわない。その呼びかけに応じてそれっぽいことをやってくれてる人が少しは出てきたからだ。しかしせっかくそういうものが出てきたのであるから、自分でデリダと東をきちんと読みこまないまでも、援軍の人たちの議論をきちんと咀嚼して、自分なりに何かまとまったことを言うべきであった。 常野
経済学っぽく行こう！：日経ビジネスオンライン
記事一覧 2010年3月5日 08 うちの妻は「元手ナシにお札を刷る」に納得できません 『日本経済復活』その3 …つまるところ、お金はとても重要な「道具」であって、その「使い方」の巧拙で、そこに生きる人々の幸せ、すくなくとも、幸せのための所与条件が大きく変わってくる。だから、お金や経済、景気を「神託」のように、... 2010年2月26日 07 経済成長すれば、財政も年金も心配なくなるの？ 『日本経済復活』その2 「デフレと、デフレからの脱却」に関連した議論を聞いていて気になるのは、お互いの時間軸を合わせた話になっているんだろうかという点なんです。で、聞いている方は「もう理屈はなんでもいい、我慢しろと言うならす... 2010年2月18日 06 デフレの正体は「思い出より、おカネ」と思う心にあり 経済学っぽくいこう！ 2－－『日本経済復活』その1 不景気な状況、デフレ下では「モノより想い出
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブログ | 無料ブログを作成しよう