Extracting Insights from Data at Twitter
Prasad Wagle's talk discussed how Twitter extracts insights from its large volumes of data. Twitter collects hundreds of millions of tweets and interactions per day from over 300 million monthly active users, creating big data challenges around velocity, volume, and variety. Twitter stores this data in hundreds of petabytes across large Hadoop clusters and processes it using batch tools like Hadoo
Open Sourcing Twitter Heron
Last year we announced the introduction of our new distributed stream computation system, Heron. Today we are excited to announce that we are open sourcing Heron under the permissive Apache v2.0 license. Heron is a proven, production-ready, real-time stream processing engine, which has been powering all of Twitter’s real-time analytics for over two years. Prior to Heron, we used Apache Storm, whic
Hadoop filesystem at Twitter
Twitter runs multiple large Hadoop clusters that are among the biggest in the world. Hadoop is at the core of our data platform and provides vast storage for analytics of user actions on Twitter. In this post, we will highlight our contributions to ViewFs, the client-side Hadoop filesystem view, and its versatile usage here. ViewFs makes the interaction with our HDFS infrastructure as simple as a
Hadoop 2 @ Twitter, Elephant Scale
This document discusses different types of enthalpy changes (ΔH) in thermochemistry including: 1) Enthalpy changes of formation (ΔHf) which is the energy released or absorbed to form 1 mole of a compound from its elements. 2) Enthalpy changes of decomposition (ΔHd) which is the energy released or absorbed when 1 mole of a compound decomposes into its elements. 3) Enthalpy changes of combustion (ΔH
Building DistributedLog: High-performance replicated log service
Infrastructure Building DistributedLog: High-performance replicated log service At Twitter, we’ve used replicated logs to address a range of challenging problems in distributed systems. Today we’d like to tell you about DistributedLog, our high-performance replicated log service, and how we used it to address one of these problems. Last year, we provided an in-depth look at Manhattan, Twitter’s di
Diffy: Testing services without writing tests
Today, we’re excited to release Diffy, an open-source tool that automatically catches bugs in Apache Thrift and HTTP-based services. It needs minimal setup and is able to catch bugs without requiring developers to write many tests. Service-oriented architectures like our platform see a large number of services evolve at a very fast pace. As new features are added with each commit, existing code is
日本にエンジニアチームをつくります
2015年夏、Twitterは日本で次のステージに進みます。この動きのひとつが、日本にエンジニアチームをつくることです。日本のエンジニアチームについて、このチームの責任を負う、サンフランシスコ本社エンジニア部門のシニアディレクター アカッシュ・ガーグ (@akshgarg) に聞いてみました。 Q：日本にエンジニアチームをつくる理由 A：日本はTwitterにとって大きな市場のひとつです。2006年に始まったTwitterが日本語化されたのは2年後の2008年。日本語は、英語の次に初めてサポートを始めた言語です。2011年の震災直前に始まった日本法人は、米国外に初めてつくったオフィスでもあります。おかげさまでずっと好調に日本での利用者数を増やすことができていますが、一方で、まだまだ日本の皆さんに満足いただけるサービスにはなっていません。そこで、より満足いただけるよう、日本にエンジニアチーム
Twitter HeronはStormに比べてどう進化しているのか？ - 夢とガラクタの集積場
こんにちは。 今月頭、TwitterがHeronという新しいリアルタイム解析基盤について発表していました。 読んでみると、StormとAPIの互換性を保ったまま新しいHeronというリアルタイム解析基盤を開発したそうな。blog.twitter.com ですので、一度Heronの記事を読んでまとめて、Stormと比較しておこうと思います。 StormもOSS化されて4年近く経過し、ストリーム処理プロダクトも世代交代の時期に来ているようですので、その意味でのまとめとしても。 その前に、そもそもStormって？ 2011年にTwitterがOSS化した耐障害性を持つ分散ストリーム処理基盤です。 どういうものかは下記あたりの資料を読むのが私が何か下手に書くよりわかりやすいと思います＾＾； 初めて広く広まったストリーム処理基盤のOSSで、その分野の走りだったのではないか、と考えています。 Twit
Building a complete Tweet index
Today, we are pleased to announce that Twitter now indexes every public Tweet since 2006. Since that first simple Tweet over eight years ago, hundreds of billions of Tweets have captured everyday human experiences and major historical events. Our search engine excelled at surfacing breaking news and events in real time, and our search index infrastructure reflected this strong emphasis on recency.
Twitterのキャッシュを支えるRedis - ワザノバ | wazanova
https://www.youtube.com/watch?v=rP9EKvWt0zo 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約1時間前 TwitterのYao Yuが、大規模サービスのキャッシュにおいてRedisを活用する取組みについて紹介しています。 1) Redisを採用している理由 キャッシュだけで、ストレージとしては利用していない。 主なところでは、Twitterのタイムラインで利用している。ホーム画面であれ、ユーザ画面であれ、タイムラインはTweetのインデックスなので、key/valueストア型のRedisを利用するケースとして最適。 以前はmemcachedを使っていたが、問題になったのは、タイムラインでおきるread/writeは、（ユーザが閲覧している範囲に追加反映するということなの
How Twitter Uses Redis to Scale - 105TB RAM, 39MM QPS, 10,000+ Instances - High Scalability -
Yao Yue has worked on Twitter’s Cache team since 2010. She recently gave a really great talk: Scaling Redis at Twitter. It’s about Redis of course, but it's not just about Redis. Yao has worked at Twitter for a few years. She's seen some things. She’s watched the growth of the cache service at Twitter explode from it being used by just one project to nearly a hundred projects using it. That's many
Spark at Twitter - Seattle Spark Meetup, April 2014
Spark at Twitter - Seattle Spark Meetup, April 2014 The document discusses the results of a study on the impact of climate change on coffee production. Researchers found that suitable land for coffee production could decline by up to 50% by 2050 due to rising temperatures and changing rain patterns associated with climate change. Arabica coffee was found to be most at risk, as its growing regions
Using Twitter to measure earthquake impact in almost real time
Using Twitter to measure earthquake impact in almost real time At Twitter, we know that Tweets can sometimes travel as fast as an earthquake. We were curious to know just how accurate such a correlation might be, so we collaborated with Stanford researchers to model how Tweets can help create more accurate ShakeMaps, which provide near-real-time maps of ground motion and shaking intensity followin
Return of the Borg: How Twitter Rebuilt Google's Secret Weapon
As he was still trying to wrap his head around the enormity of Google's data center empire, John Wilkes went to work on the software system that orchestrates the whole thing. This software system is called Borg, and it's one of the best kept secrets of Google's rapid evolution into the most dominant force on the web. Wilkes won't even call it Borg. But he will say that Google has been using the sy
Netty at Twitter with Finagle
Finagle is our fault tolerant, protocol-agnostic RPC framework built atop Netty. Twitter’s core services are built on Finagle, from backends serving user profile information, Tweets, and timelines to front end API endpoints handling HTTP requests. Part of scaling Twitter was the shift from a monolithic Ruby on Rails application to a service-oriented architecture. In order to build out this new arc
あの日、Twitterのくじらが出なかったもう1つの理由
社会を率いているリーダーは、いつの時代にも存在する。しかし、そのリーダーたちの顔ぶれは、毎年異なる。ここ数年、世界で注目されているリーダーの顔ぶれはどのように変化してきたのか。 社会を率いているリーダーは、いつの時代にも存在する。しかし、そのリーダーたちの顔ぶれは、毎年異なる。ここ数年、世界で注目されているリーダーの顔ぶれはどのように変化してきたのか。その移り変わりについて、漠然と想像することは可能だが、具体的に説明することは難しい。しかし、多くの活躍するリーダーの姿を間近で見てきた元日本マイクロソフト会長、現慶應義塾大学大学院メディアデザイン研究科 古川享教授は、その変化を明確に示す。 今回は、2013年11月下旬から12月初旬にかけて古川氏が登壇した2つのイベントで語られた内容を合わせてレポートする。イベントは、慶應義塾大学大学院メディアデザイン研究科が主催した講演会「メディアイノベー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
#TwitterRealTime - Real time processing @twitter
Presto at Twitter
Getting Started with Scalding, Storm and Summingbird
Twitterでの予測
