Twitter Streaming with EventMachine and DynamoDB | Arfon Smith
Product for Data @github. Previously Head of Data Science @stsci. Zooniverse co-founder. Editor-in-chief of the Journal of Open Source Software This week Amazon Web Services launched their latest database offering ‘DynamoDB’ - a highly-scalable NoSQL database service. We’ve been using a couple of NoSQL database engines at work for a while now: Redis and MongoDB. Mongo allowed us to simplify many o
How Twitter Uses NoSQL - ReadWriteCloud
When you buy through affiliate links in our content, we may earn a commission at no extra cost to you. Learn how our funding model works. By using this website you agree to our terms and conditions and privacy policy. We uphold a strict editorial policy that focuses on factual accuracy, relevance, and impartiality. Our content, created by leading industry experts, is meticulously reviewed by a tea
Twitter BOT作るときOAuthのAccess token取得するのがめんどいから簡単に取得できるwebサービスつくった - 方向
Twitter BOT作るときOAuthのAccess token取得するのがめんどいから簡単に取得できるwebサービスつくりました。 http://getaccesstoken.herokuapp.com 使い方は簡単！！ 1. http://twitter.com/apps から適当なアプリケーション名を登録。そのときに ここらへんをこんな感じで設定しときます。callback URLはダミーでgetaccesstoken.yayugu.net側で指定するのでなんでもいいです。 2. 作りたいBOTのアカウントでtwitter.comにログイン 3. そしたらGet Access tokenでConsumer key と Consumer Secretを入力すると…… こんなふうにAccess tokenとAcess token secretが表示されます。BOT作るのにOAuthのA
Twitter本文と言及URLの圧縮 - kaisehのブログ
最近、Twitterのデータを収集しています。APIで取得したtweet本文や、そこから抽出したURLを片っ端からDBに保存していくと件数が莫大になるので、ディスクスペースを極力節約したいところですが、個別のtweet本文や言及URLは短い文字列なので、普通に1件ずつgzip等で圧縮してもほとんど意味がないか、オーバーヘッドが出て逆効果になってしまいます。 そこで、収集済みのサンプルデータを元にハフマン木を作っておき、それを共通利用してtweetを圧縮してみました。 用意したのは、英語ユーザ/日本語ユーザ/韓国語ユーザ各1000人のtweetサンプルをベースにしたハフマン符号と、tweet本文から抽出したURL文字列をベースにしたハフマン符号の4種類です。 頻度表は次のようになりました。 char (en) freq (en) char (ja) freq (ja) char (ko) f
So, Why is Twitter Really Not Using Cassandra to Store Tweets? - High Scalability -
A firestorm of accusations circled around recently saying that Cassandra, the elected-by-major-adopters emperor of the NoSQL movement, has no clothes. It was said Twitter was dumping Cassandra; Reddit outages were linked to Cassandra; and even Facebook, Cassandra's cradle of birth, was said to have abandoned Cassandra. Shouts of NoSQL Fail! were heard in the streets. Much gloating followed. Is the
Open Network Live - MySQL
Mysql was no longer suitable for Twitter's large scale needs due to self joins becoming prohibitively expensive as the number of users grew to 106 million. Cassandra, a distributed database management system developed at Facebook, was better suited as it allowed for distributed storage and handled Twitter's social graph and high write volumes. Twitter's request flow involves distributing load bala
Twitter API - TwitterまとめWiki
usy.jp Stuff usy.jp Stuff usy.jp Stuff https://newsmenk.com/wapdam/ https://newsmenk.com/bestwap-basswap/ https://newsmenk.com/moviesroot-moviesmoment-300mb-movies-web-series-download/ https://newsmenk.com/foumovies/ https://newsmenk.com/rdxhd/ https://newsmenk.com/bollyflix-bolly-flix-moviesflixpro/ https://newsmenk.com/filmygod-filmyhunk/ https://newsmenk.com/prmovies/ https://newsmenk.com/waptr
Big Data in Real-Time at Twitter
Introduction and Overview of Apache Kafka, TriHUG July 23, 2013
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
English (US)
English (US)
GitHub - twitter-archive/snowflake: Snowflake is a network service for generating unique ID numbers at high scale with some simple guarantees.
GitHub - kevinweil/elephant-bird: Twitter's collection of LZO and Protocol Buffer-related Hadoop, Pig, Hive, and HBase code.
English (US)