TwitterAPI 検索をしてみよう その４ : 営業もしているIT技術者のブログ
2010年05月27日10:07 TwitterAPI 検索をしてみよう その４ カテゴリtomoki技術 ncad_tomoki Comment(0)Trackback(1) Twitterの検索APIでは、最大検索件数が1,500件と決められています。 検索の対象にすることができるのは過去7日間ですので、1週間以内に1,500件以上のつぶやきがあった事柄に関しては、途中までしか取れないというさみしい結果になってしまいます。 普天間なんかは1週間で余裕で1,500件を突破するので、期間的に検索可能でも検索できないつぶやきが出てきてしまうんですよね。。 その1,500件の壁を超えるには、検索オプションの max_id=つぶやきのID を使えばOKです。 max_idは指定したIDよりも小さいIDを対象としなさいということです。 検索APIでは日付の降順で検索結果が返ってきます。 また、つぶ
Hadoop and Vertica: The Data Analytics Platform at Twitter
The document discusses Twitter's data analytics platform, including Hadoop and Vertica. It outlines Twitter's data flow, which ingests 400 million tweets daily into HDFS, then uses various tools like Crane, Oink, and Rasvelg to run jobs on the main Hadoop cluster before loading analytics into Vertica and MySQL for web tools and analysts. It also describes Twitter's heterogeneous technology stack a
「渋滞っぽい……」 クルマが勝手に自分の気持ちを“つぶやく”アプリ
ITS JapanはITS普及のために活動するNPO法人だ。ITSとは「高度道路交通システム」のことで、人と道路と自動車の間で情報の受発信を行い、さまざまな道路情報を収集／管理するシステムの総称。多発する事故や渋滞、環境問題などの解決を目指す 東京ビッグサイトで開催している「第42回東京モーターショー2011」の併設展「SMART MOBILITY CITY 2011」では、次世代自動車とそれを取り巻く社会システムを紹介する展示が行われている。ITS Japanのブースでは、自動車の運転状況をもとに、Twitterに登録した自車のアカウントが勝手に「渋滞っぽい」などと“つぶやく”サービスを参考展示している。 運転状況は、GPSや車速、エンジン回転数やブレーキ動作などの車両情報から分析する。例えば、ブレーキをひんぱんに踏んでいれば渋滞の可能性が高い、スピードが出ていて加速していれば道路が空い
実例で学ぶCassandra - Eric Evans - Digital Romanticism
この記事はEric Evans氏の記事「http://www.rackspacecloud.com/blog/2010/05/12/cassandra-by-example/」を、氏の許可を得て翻訳したものです。（原文公開日：2010年5月12日） 最近、Cassandraは注目を集めており、今まで以上に多くの人が組織で使おうと評価しています。こういった人々がCassandraについて詳しく知ろうとするにつれ、私たちのドキュメントが不足していることが明らかになってきました。その中で最たるものは、既存のリレーショナルデータベースのバックグラウンドを持つ人に対するデータモデルの説明です。 問題はCassandraのデータモデルが、伝統的なデータベースのデータモデルと比べて、混乱を引き起こしかねないほど異なっており、それを正そうとして行われた様々な説明が同じく誤解を生み出しているということです。
衆議院議員 原口一博氏に聞く―地域主権と次世代インフラ実現のためのICTビジョン
災害時における政府のICT、そのなかでもTwitterなどSNSの有用性を実感したのは、昨年2月に起きたチリ沖大地震の時でした。津波による原発事故が懸念され、沿岸地域では不安が広がっていました。そこで「3m以内の津波では問題ない」という調査結果を私的なTwitter で流したところ、短期間で収束が見られ、避難情報にも即効性があったのです。当時、総務大臣だった私は、消防庁と電気通信の局長にTwitter による災害時の情報提供をシステム化するように指示し、幸いそれが先日の東日本大震災でも活かされることになりました。また「光の道構想」にも着手していたのも、同様に災害時のリスクを予見してのことです。 そもそも将来的にトラフィックの飛躍的な増大があり、加えて災害時の対応も大きな課題でした。解決策の１つには、まず情報処理法を変える方法があります。現在の方法は莫大なエネルギーを必要とし、排出する熱量も
【これはすごい】Twitter検索を3倍高速化した記事の翻訳 - nokunoの日記
これはすごい！ というわけでTwitter検索を3倍高速化したという記事を翻訳してみました。Twitter Engineering: Twitter Search is Now 3x Faster2010年春。Twitterの検索チームは、我々の増え続けるトラフィックに対応し、エンドユーザにとっての遅延を減らし、我々のサービスの可用性を向上させ、新しい検索の機能を素早く開発できるようにするため、検索エンジンを書きなおす作業を始めた。 その努力の一部として、我々は新しいリアルタイム検索をリリースし、検索のバックエンドをMySQLからLuceneのリアルタイム版に変更した。そして先週、我々はRuby-on-Railsに取って代わるフロントエンドをローンチした。我々がBlenderと呼ぶJavaサーバーである。我々はこの変更によって検索のレイテンシが3分の1になり、検索機能の開発を促進できるよう
【解説付き】Twitterと併用すると役立つサービス・ツール100選まとめ | ラジック
ラジック 気軽に楽しめるブログメディア「ラジック」は２ちゃんねるを中心にエンタメ情報をお届け！
Measuring Tweets
As a member of the Twitter analytics team, part of my job is to measure and understand growth. The graph above tells a story of how we’ve grown over the past three years in terms of number of tweets created per day. Please note that tweets from accounts identified as spam have been removed so the counts in this chart do not include spam. Folks were tweeting 5,000 times a day in 2007. By 2008, that
いよいよビジネスの年に！ 収益化に動くTwitter
世界中でマイクロブログブームを巻き起こしたTwitterは、サービス開始から3年半たった今も収益モデルを確立していない。だが、ここに来て、この巨大なサービスをマネタイズしようとする動きが目立っている。1800万とも2500万ともいわれるユーザーを抱えるTwitterの次の戦略は――。 Twitterは3月1日の公式ブログで、「FireHose」と呼ぶ“フルフィード”の提供を拡大すると発表した。これまでFireHoseの提供を受けているのは、昨年10月に発表したGoogleとBing（Microsoft）、それに今年2月に発表したYahoo!という大手検索サービスに限られていた。 今回、提携したのは、Ellerdale、Collecta、Kosmix、Scoopler、twazzup、CrowdEye、Chainn Searchの7社。Twitterをベースにしたリアルタイム検索の小さなベン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoop and Vertica: Data Analytics Platform at Twitter
TechCrunch | Startup and Technology News
Analytics for Big Data – Venturing with the Twitter Use Case
IDEA * IDEA
NTT研究所におけるYammerの取り組みと、社内Twitterの統計解析
http://agilecatcloud.com/2011/04/14/twitter-%E3%82%B5%E3%83%BC%E3%83%81%E3%82%92-3%E5%80%8D%E9%80%9F%E3%81%AB%E3%81%99%E3%82%8B%E6%96%B0%E3%82%A2%E3%83%BC%E3%82%AD%E3%83%86%E3%82%AF%E3%83%81%E3%83%A3%E3%81%A8%E3%81%AF%EF%BC%9F-_1-clo/
MSN
Rainbird: Realtime Analytics at Twitter (Strata 2011)
http://agilecatcloud.com/2010/06/09/10%E5%84%84%E4%BA%BA%E3%81%AE%E3%83%A6%E3%83%BC%E3%82%B6%E3%83%BC%E3%82%92%E7%9B%AE%E6%8C%87%E3%81%99%E3%80%81twitter-%E3%81%AE-6%E3%81%A4%E3%81%AE%E6%88%A6%E7%95%A5%E3%81%A8%E3%81%AF%EF%BC%9F-_1-c/
http://www.scribd.com/doc/39385601/NoSQL-at-Twitter
http://agilecatcloud.com/2009/11/09/hadoop-%EF%BC%9A-twitter-%E3%82%88%E3%80%81%E3%81%8A%E5%89%8D%E3%82%82%E3%81%8B%EF%BC%81/