さよならの始まり：UserStream APIの廃止
先日Twitter社より衝撃のアナウンスが行われました。 新しいAccount Activity APIの実装。そして6月20日に行われるUserStream APIの撤廃です。 また、同時にDM関連のAPIも廃止されます。 現状、Twitter用クライアントアプリは主に「Rest API」と「UserStream API」の 2種類のAPIを使用してタイムラインや各種通知を取得しています。 UserStream APIの廃止はクライアントアプリにとって致命的な変更です。 UserStream APIはリアルタイムなタイムラインの更新やFav、RTの通知を行うために 必須となっており、Rest APIではタイムラインの取得しか行えません。 さらにRest APIには利用制限があり、基本的に15分に15回しか利用できません。 つまり実質1分に1回しかタイムラインが更新できません。 通知の取得
The Architecture Twitter Uses to Deal with 150M Active Users, 300K QPS, a 22 MB/S Firehose, and Send Tweets in Under 5 Seconds - High Scalability -
Toy solutions solving Twitter’s “problems” are a favorite scalability trope. Everybody has this idea that Twitter is easy. With a little architectural hand waving we have a scalable Twitter, just that simple. Well, it’s not that simple as Raffi Krikorian, VP of Engineering at Twitter, describes in his superb and very detailed presentation on Timelines at Scale. If you want to know how Twitter work
グーグル、Twitterの開発者プラットフォーム「Fabric」を買収へ
GoogleがTwitterのモバイル開発者プラットフォーム「Fabric」を買収するという。両社が米国時間1月18日に発表した。 買収条件は公表されていないが、この動きによって、より長期的な安定性を模索するTwitterは事業の効率化を図ることができるはずだ。Twitterにとってこの数カ月間は、経営陣を再編したり身売り交渉に失敗したりと、苦難続きだった。Twitterの買収先としてGoogleが適しているのではないかという意見もあったが、Googleは今回、同社の開発者プラットフォームだけを取得することになる。 FabricチームはGoogleの開発者向け製品グループに加わり、同社の「Firebase」チームと統合される。「FabricとFirebaseは、今日の市場で独特の強みを持つモバイルプラットフォームを運用している」と、エンジニアリング担当バイスプレジデントでFabricのゼネ
Timelines at Scale
Scaling Challenges: Productivity, Cost Efficiency, and Microservice Management The main objective of this article is to delve into the technical complexities and strategic adjustments undertaken by Trainline. By examining challenges such as managing peak transaction volumes and orchestrating microservice architectures, we aim to uncover the valuable lessons learned and insights gained from Trainli
Open Sourcing Twitter Heron
Last year we announced the introduction of our new distributed stream computation system, Heron. Today we are excited to announce that we are open sourcing Heron under the permissive Apache v2.0 license. Heron is a proven, production-ready, real-time stream processing engine, which has been powering all of Twitter’s real-time analytics for over two years. Prior to Heron, we used Apache Storm, whic
Real-Time Delivery Architecture at Twitter
Sustainable Security Requirements with the ASVS Josh Grossman provides a brief overview of what the ASVS is, but takes a closer look at balancing trade-offs and prioritizing different security requirements. Josh shares how to make the process repeatable and how to implement it as part of your own organization's requirements process.
twterm : A full-featured TUI Twitter client
twterm is a TUI (Text-based User Interface) Twitter client working on your terminal emulator. Installation ❄️ Nix (Recommended) nix-env --install --file https://github.com/ryota-ka/twterm/archive/master.tar.gz ⚠️ If you have BUNDLE_PATH configured in ~/.bundle/config, twterm may fail due to Bundler::GemNotFound. See NixOS/nixpkgs#85989 for details. 🍺 Homebrew brew install ryota-ka/twterm/twterm
Twitter の画像 URL に :orig をつけると元画像が取得できる（できない場合もある） - ヤルキデナイズド
Twitter にアップロードされた画像は、ある程度の大きさを超えると自動的に縮小される。しかし画像の URL に :orig をつけて https://pbs.twimg.com/media/XXX.jpg:orig にすると元の画像を取得することができる。ただし元画像があまりに大きいと :orig をつけても縮小された画像が返ってくる。 元画像を取得するには タイムラインに表示された画像を右クリックして「イメージを新規タブで開く」を選ぶ。ブラウザによってはメニュー名が異なる（「新しいタブで画像を開く」など）。 新しいタブで開いた画像の URL は https://pbs.twimg.com/media/XXX.jpg:large という形式になっている。 :large の部分を :orig に変えて開き直す（:large がついていない場合は単に :orig を付け足す）。これで元画像
Building a complete Tweet index
Today, we are pleased to announce that Twitter now indexes every public Tweet since 2006. Since that first simple Tweet over eight years ago, hundreds of billions of Tweets have captured everyday human experiences and major historical events. Our search engine excelled at surfacing breaking news and events in real time, and our search index infrastructure reflected this strong emphasis on recency.
T by sferik
Twitter CLI A command-line power tool for Twitter. The CLI takes syntactic cues from the Twitter SMS commands, but it offers vastly more commands and capabilities than are available via SMS. Installation First, make sure you have Ruby installed. On a Mac, open /Applications/Utilities/Terminal.app and type: ruby -v If the output looks something like this, you're in good shape: ruby 1.9.3p484 (2013-
BigQueryにTwitterのタイムラインを入れる [Ruby]
Twitter のタイムラインを保存しておくとなにかと便利なので、色々と保存形式を変えながら 4 年くらい記録し続けている。ツイートの保存が便利すぎるので、ツイセーブというサービス化までした。かつてはテキストで、MongoDB や MySQL とか Groonga とかいろいろやってきた。どれも問題ないんだけど、増え続けるログデータを保存する場所として考えると BigQuery が現代にマッチしてるようなのでそちらに移行した。 BigQuery に TL を保存するとできること TL の全てのデータをフルスキャンできる。これはかなり便利で、今回このブログ記事を書くにあたっても ‘BigQuery’ を TL から検索すれば、信頼できるフォローイングの人々の声を見ることができた。これにより「某 CA 社では 5000 台の MongoDB クラスタで BigQuery に対抗している」という
![BigQueryにTwitterのタイムラインを入れる [Ruby]](https://cdn-ak-scissors.b.st-hatena.com/image/square/eb99bf7e3074ef0fe5df0ca25a644e696c62ad78/height=288;version=1;width=512/https%3A%2F%2Fs3-ap-northeast-1.amazonaws.com%2Fkksg%2Fblog%2F53b4ac19c38aa5513f47ea75.png)
Abusing Twitter API
This article is an up-to-date version of a research I first presented at App Sec Forum Western Switzerland 2012 and then at Hack in the Box 2013 (Amsterdam). This article is not intended to be formal, but more to be used as a technical reference for details that were not explained in the slides. [2013-04-11] PCWorld [2013-04-13] Le Monde Informatique [2013-10-16] I presented a followup as a rump s
Twitterの検索演算子（パラメータ）一覧
Twitterでつぶやかれている内容を検索する時に、演算子（パラメータ）なるものが用意されています。 この演算子を知る事で、Tiwtterのツイートをより早く検索する事が出来るようになります。 今回は、Twitterで用意されている演算子を、検索例とともに紹介していこうと思います。 Twitterの検索演算子（パラメータ）のまとめlang:ja「lang:ja」と検索すると、日本語のツイートだけを表示する事が可能です。他の言語のツイートが紛れ込んでいる時には、lang:という演算子を利用してみてください。 例えば、iPhoneは様々な国で使用されているので、日本でのツイートだけ検索したければ、「iPhone lang:ja」といった感じです。 なお、lang:jaの部分を変更すると、他の言語に絞って検索する事も出来ます。 lang:en→英語lang:ko→韓国語lang:zh→中国語la
OAuth 2.0 App-Only (Bearer Token)
<g> <g> <defs> <rect id="SVGID_1_" x="-468" y="-1360" width="1440" height="3027" /> </defs> <clippath id="SVGID_2_"> <use xlink:href="#SVGID_1_" style="overflow:visible;" /> </clippath> </g> </g> <rect x="-468" y="-1360" class="st0" width="1440" height="3027" style="fill:rgb(0,0,0,0);stroke-width:3;stroke:rgb(0,0,0)" /> <path d="M13.4,12l5.8-5.8c0.4-0.4,0.4-1,0-1.4c-0.4-0.4-1-0.4-1.4,0L12,10.6L6.2
gist:5053810
gistfile1.md DM踏んだだけでアレな件はTwitterのOAuth実装がク○だと思う これの話です。 http://togetter.com/li/463503 (追記 : この考察ではiframeでTwitterの認可URL指定してもX-Frame-Options設定されてるやんけ問題が未解決と思ったらなにやら更新されてたのでもう様子見) 前提条件 あくまでこれ前提で考えてます。間違ってたらごめんなさいね。 モバイルアプリの通信盗聴や某市長の手違いみたいな感じでConsumer Key/Secretを入手したやつがいる DMのリンク先で行われているらしいこと iframeがいっぱい開かれた 有名なTwitter Clientの認可画面だ : (本家の認可URLもしくはCunsumer Key/Secretを知っててRequest Token取得できた？) 画面を開くだけで自動
Instagram、Twitterでの写真プレビュー機能を不能に
InstagramのTwitterでの画像プレビューが正常に表示されなくなっている。Instagramは将来的に完全にプレビューできなくし、直接InstagramのWebサイトに誘導する計画だ。 Twitter上のInstagram画像付きツイートで、将来的には「画像を表示する」で画像を表示できなくなる。米Instagramのケビン・シストロムCEOが12月5日（現地時間）、パリで開催中のテクノロジーイベント「Le Web」で明らかにした。 Twitterで表示するInstagramの画像は既に、トリミングがオリジナルと違うなど、正常に表示されなくなっている。 Twitterは問題を報告するStatusページで、「この問題は、InstagramがTwitter Cards統合機能を無効にしたため、pre-cards機能を使った表示が正常にできなくなったためです」と説明している。 New Y
TwitterのCEO、「真のプラットフォーム」の構築を強調--開発者の怒りの声を無視
Twitterが最近実施した同社サービスへのアクセス制限措置に対して、開発者コミュニティから怒りの声が上がっているなか、同社の最高経営責任者（CEO）であるDick Costolo氏は米国時間9月18日、その決定がより幅広いユーザー層に向け、今よりも奥深いプラットフォームを構築したいという考えに基づくものだと語った。 Costolo氏は18日、「Today Show」に出演して「モバイルを最重要視する」というTwitterの新たな戦略を明らかにしたほんの数時間後の夜に「Charlie Rose」に出演し、サードパーティー製のTwitterクライアントの機能を制限する措置について、個人ユーザーから大企業ユーザーまでをも含むあらゆるユーザーのためにTwitterのエコシステムを発展させていくという流れのなかで説明した。しかしながら、広告収入のさらなる増大を図っているのではないかという巷の意見に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Twitterを支えるインフラストラクチャ - ネットワークのスケールアップ，ストレージ，プロビジョニング
TechCrunch | Startup and Technology News
ユーザー一覧 | Twitterログ保存サービス rec