Lessons LearnedHow to launch a product using Scala. Feb 25, 2017 at Scala Matsuri 2014 in Tokyo, Japan.
New Tweets per second record, and how!
Recently, something remarkable happened on Twitter: On Saturday, August 3 in Japan, people watched an airing of Castle in the Sky, and at one moment they took to Twitter so much that we hit a one-second peak of 143,199 Tweets per second. (August 2 at 7:21:50 PDT; August 3 at 11:21:50 JST) To give you some context of how that compares to typical numbers, we normally take in more than 500 million Tw
Twitterブログ: 日本市場向けの「Twitter公認製品プログラム」を始めました
リアルタイムの情報が集まるTwitterのデータを元に、どのような情報が発信されているかを分析し、今世の中で何が起きているのかを真っ先に知りたい、消費者の生の声が聞きたいという企業は、今後ますます増えていくと予測されています。 このような課題に応える製品を見つけやすくするために、 Twitterは昨年の夏に「Twitter公認製品プログラム」をスタートしましたが、日本でもこのプログラムをスタートすることになりました。日本向けの「Twitter公認製品プログラム」ではTwitterのエコシステムパートナーの中から、日本の各業界ニーズに応え、ビジネスの課題解決にベストなソリューションとして特に優れているものを認定させていただきます。 めまぐるしく変化するビジネス需要に合った製品がどんどん世の中に進出し、Twitterのエコシステムパートナーの製品群は多様化していくことと思われます。今後も進化を
Analyzing Big Data with Twitter | A special UC Berkeley iSchool course
Thank you all for a wonderful semester. Here is a summary, in chronological order, of our recorded lectures. You can also view the entire playlist on youtube. Course Introduction Marti Hearst, the course instructor at UC Berkeley, introduces the main concepts for the course, and Gilad Mishne (@gilad) of Twitter describes his goals for the course and provides an introduction to Twitter. (slides
Fast Data in the Era of Big Data: Twitter's Real-Time Related Query Suggestion Architecture
We present the architecture behind Twitter's real-time related query suggestion and spelling correction service. Although these tasks have received much attention in the web search literature, the Twitter context introduces a real-time "twist": after significant breaking news events, we aim to provide relevant results within minutes. This paper provides a case study illustrating the challenges of
Cloudera Blog
In an era where artificial intelligence (AI) is reshaping enterprises across the globe—be it in healthcare, finance, or manufacturing—it’s hard to overstate the transformation that AI has had on businesses, regardless of industry or size. At Cloudera, we recognize the urgent need for bold steps to harness this potential and dramatically accelerate the time to […] Read blog post
NimbusSanL-Regu
The Unified Logging Infrastructure for Data Analytics at Twitter George Lee, Jimmy Lin, Chuang Liu, Andrew Lorek, and Dmitriy Ryaboy Twitter, Inc. @GeorgeJLee @lintool @chuangl4 @mrtall @squarecog ABSTRACT In recent years, there has been a substantial amount of work on large-scale data analytics using Hadoop-based platforms running on large clusters of commodity machines. A less- explored topic is
Twitter 研究会2012-1-28 - Twitter APIの紹介
This document provides an overview of the Twitter API, including descriptions of the REST API, Streaming API, and Web API. It discusses authentication via OAuth, endpoints for timelines, users, direct messages, and search. It also covers streaming endpoints for sample, filter, user, and site streams. Details are provided about Web Intents, @Anywhere, and developer resources. The document is copyri
How Twitter Stores 250 Million Tweets a Day Using MySQL - High Scalability -
Jeremy Cole, a DBA Team Lead/Database Architect at Twitter, gave a really good talk at the O'Reilly MySQL conference: Big and Small Data at @Twitter, where the topic was thinking of Twitter from the data perspective. One of the interesting stories he told was of the transition from Twitter's old way of storing tweets using temporal sharding, to a more distributed approach using a new tweet store c
Twitterで使っているScalaで書かれたオープンソースのメッセージキューサーバー、Kestrel – yusuke.blog
Kestrelは大規模かつ高速に運用できるメッセージキューサーバーです。Twitterで使っています。 ソースはhttps://github.com/robey/kestrelよりチェックアウトできます。 ・特徴 Kestrelは特徴として – memcachedプロトコルをサポートしており、クライアントのプラットフォーム非依存 – Scalaで書かれており、高速なJVMの恩恵を受けることが出来る – 全部で2500行ほどとシンプル – 基本メモリベースで高速だがメッセージはファイルシステムにジャーナルが記録されており耐障害性が確保されている – キューから取り出したメッセージをクライアントがacknowledgeするまで捨てないことで処理漏れを防ぐことができる といったことが挙げられます。 ・Memcachedプロトコル Memcachedプロトコルの基本は非常に簡単で、setコマンドで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Foursquare location data in the API - Announcements - Twitter Developers
English (US)
English (US)
Large-Scale Machine Learning at Twitte
English (US)
GitHub - twitter-archive/ambrose: A platform for visualization and real-time monitoring of data workflows
English (US)
English (US)
English (US)
エンジニアtype 技術者のキャリアを考えるWebマガジン - 転職＠type
