大規模分散システムの現在 -- Twitter
↓↓↓↓訂正あります。↓↓↓↓ 2018/07/02に株式会社エフコード社内で行われた勉強会のスライドです。 訂正版(随時更新中): https://docs.google.com/presentation/d/15HOMfAbtdWwO48njcB8IdkN3kVAMu3wsmZo0O3S-f_4/edit?usp=sharing 専門家による資料・専門家向けの資料ではありません。自分自身で学習し、論文・文献等を読解してまとめた内容となります。間違い等あるかもしれませんが、あれば是非コメント頂ければと思います。 【訂正事項】 スライド16: 誤：たった一つのプロセスが故障しただけでも有限時間で合意できない 正：たった一つのプロセスが故障しうるだけでも有限時間で合意できない スライド20: 誤: 重要: あるschedule σ1, σ2 がdisjoint (nodeが被ってない) なら
Twitter: 大きなトラフィックに耐えうるアーキテクチャーへの変更 - ワザノバ | wazanova.jp
https://blog.twitter.com/2013/new-tweets-per-second-record-and-how 少し前、8月のTwitterエンジニアブログのエントリーですが、アーキテクチャー変更について触れているポストなので、取り上げてみます。 1) 背景 2010年のワールドカップ時点でのトラフィックがさばききれなかった時点での状況は、 200人のエンジニアが、単一のRailsのコードベースで大量のユーザとトラフィックに対応する構造であった。 MySQLのストレージシステムは、一つのマスタと一時的にシャーディングされるスレーブの構成で、読込み/書込みともにスループットの限界にきている箇所がでていた。 フロントエンドのRubyマシンは期待通りのトラフィックをさばけていなかったが、技術的な解決ではなく、サーバの追加でしのいでいた。 コードベースは、可読性とパフォーマン
Getting started with Cards
<g> <g> <defs> <rect id="SVGID_1_" x="-468" y="-1360" width="1440" height="3027" /> </defs> <clippath id="SVGID_2_"> <use xlink:href="#SVGID_1_" style="overflow:visible;" /> </clippath> </g> </g> <rect x="-468" y="-1360" class="st0" width="1440" height="3027" style="fill:rgb(0,0,0,0);stroke-width:3;stroke:rgb(0,0,0)" /> <path d="M13.4,12l5.8-5.8c0.4-0.4,0.4-1,0-1.4c-0.4-0.4-1-0.4-1.4,0L12,10.6L6.2
Kazuho@Cybozu Labs: フレンド・タイムライン処理の原理と実践
« MySQL のクエリ最適化における、もうひとつの検証方法 | メイン | MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話 » 2008年06月09日 フレンド・タイムライン処理の原理と実践 MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話に続きます。 Twitter が注目されるようになって久しい今日この頃ですが、友人の投稿を時系列に並べて表示する、というのは、Twitter に限らず Mixi の「マイミクシィ最新日記」やはてなブックマークの「お気に入り」等、ソーシャルなウェブサービスにおいては一般的な手法です。ですが、この処理 (以下「フレンド・タイムライン」と呼ぶ) は、一見簡単そうに見えて、実装には様々な困難が伴います。本記事では、「フレンド・タイムライン」を実現する、プッシュ型とプル型の二種類の手法について、その原
Termtter + Fluentd ですべてのツイートを構造化データとして収集する | 774::Blog
<source> type forward port 9999 </source> <match twitter.statuses> type mongo database twitter host localhost port 27017 tag_mapped flush_interval 1s </match> > show dbs; twitter 0.015625GB > use twitter switched to db twitter > show collections; system.indexes twitter.statuses > db.twitter.statuses.findOne() { "_id" : ObjectId("522828fe1c2a362fed000001"), "created_at" : "Thu Sep 05 04:00:11 +0000
Twitter / Logos & Brand
Twitterの商標およびコンテンツの表示ポリシー このポリシーは、当社と個別契約を交渉したり、顧問弁護士に相談したりといった心配をすることなく、ロゴ、コンテンツ、および商標を含む当社のブランドや資産を利用する場合に役立つようにつくられています。この文書に記載されていない当社のマーク等のご利用を希望される場合は、モックアップのデザインを添付して、trademarks[at]twitter.com([at]は@に変更してください)まで必ずご連絡ください。 Twitterブランドと登録商標の利用 ∞ Twitterのマークに限らず、Twitterの名前、ロゴ、ツイート、Twitter bird、およびTwitterの商品と識別できる任意の単語、フレーズ、画像または名称が含まれます。 マークを改変し、置き換え、または混同するような方法で使用しない
Twitter カード 7タイプの使い方をカード種別ごとに解説するよ
Twitter カード 7タイプの仕様を Twitter の公式ドキュメントから翻訳して解説します。公式ドキュメントから抜粋して日本語で書き直していますので完全な翻訳ではありません。 Twitter Cards （Twitter カード）、この Blog でもかなり前から指定して使っていますが、7種類のカードから選択できたり、それぞれに指定できる値が異なってたりしてわかりにくいっていう声を聞きましたので （公式な日本語ドキュメントも今のところないし）、簡単に各カード種類別の仕様をまとめてみました。 Twitter Cards は、Facebook や Google+ などが採用している、OGP （Open Graph Protocol） を利用して、ウォールやタイムラインにリンクを投稿する際の表示内容を指定するのと同じ。それの Twitter 版です。タイムラインに URL が投稿されたと
ギックス総研のご紹介 - GiXo Ltd.
ギックス総研は、ソーシャルリスニングの実例をご紹介しています ギックス総研は、ソーシャルリスニングを基軸とした各種調査・研究を行っています。（2012年に設立） ギックス総研は、営利目的の組織ではなく、ギックス社員を中心とした数名の研究員により、各人の就業時間外に行われている完全にボランタリーな活動です。こういう調査を読んでみたい、こんな調査をして欲しい、等のご要望がございましたら、当ページ下部の問い合わせボタンよりご連絡ください。 ※研究員も募集しております。（入所面接あり） ギックス総研に関する良くあるご質問 いったい、何がしたいんですか？ ソーシャルメディア上の「声」を分析し、そこから何らかの意味を捉える「ソーシャルリスニング」という言葉が巷ではやっています。その一方で、「じゃぁ、”ソーシャルリスニング”でどんなことができるの？何が分かるの？」という話になると、一般の方にわかりやすい
特定のクライアントを許可している Twitter ユーザーの Token Credentials を入手する攻撃 - ひだまりソケットは壊れない
怪しいクライアントを許可していないのに勝手に twitter で DM が送信されていた 何やら Twitter で勝手に DM が送られるという事案が発生していた模様。 調査の結果、ある web ページにアクセスしただけで、Twitter の token credentials が攻撃者に知られてしまう *1 ということがわかったらしい。 下記ページにまとめられていたのだけどパッと読んですぐには攻撃手法を理解できなかったので、いろいろ考えたことを書き残しておく。 「ちょっとこれみてくれない」とurlを送るスパムDMの解析と解説 - Togetter 簡潔な解説が以下の記事にあったので、簡潔な説明で理解できる人は下記記事参照。 gist:5053810 (DM踏んだだけでアレな件はTwitterのOAuth実装がク○だと思う) 【拡散希望】twitterの新型ウイルスがヤバい URL踏んだ
twitterで自然言語処理 - Preferred Networks Research & Development
勢い余ってスイカを買ったら、毎日食べるハメになってしまいました。海野です。 どんな業界もそうだと思いますが、世の中の流行りものの論文が増えるという面が自然言語処理界隈にもあります。Web、blog、と来て、最近のトレンドはやはりtwitterに代表されるmicro blogでしょうか。今年の言語処理学会の年次大会でtwitterセッションは大盛況でしたが、国際会議でもtwitterを題材として発表が増えています。 数えてみたら、重要国際会議であるACLで6件、EMNLPでも3件、twitterをタイトルに含む発表が今年ありました。ちなみに2010年の会議では1件もありませんでした。そんなわけで、私も今日はそんな流行りに乗っかって、twitter言語処理関連の論文を3つ紹介します。 Cooooooooooooooollllllllllllll!!!!!!!!!!!!!! UsingWord
【分析】ツイッター分析のシリーズの目次 by Twitter4J
最終更新日：2018/04/23 ツイッター分析シリーズの目次です。 なお、Twitter4JとはTwitterを楽にプログラミングできるツールのことでAndroidやJavaベースの有名Twitterクライアントで多数使われています。この分析ではツイートのデータを取得するのに使っています。 2012年版 約173万ツイート分析編（日本語のみ） 導入考えがぼんやりと浮かんでいた 【分析】Twitter4Jを使ったTwitterのツイートの分析方法について考えてみた 試しに分析してそれなりの結果が出た 【分析】Twitter4Jと統計ソフトRを使ったTwitterの利用アプリとツイートの長さ（文字数）について（粗い分析） その１ 約173万ツイート（日本語のみ）を使った分析はここから始まった 【分析】Twitterのツイートの分析方法 by Twitter4J その１ その２ 曜日別・時間帯
Twitter、Apache Software Foundationの公式スポンサーに
ApacheのHadoopやCassandraを利用するTwitterが、ASFのBronze Sponsorになった。 米Twitterは4月19日（現地時間）、非営利のオープンソース団体Apache Software Foundation（ASF）に出資することを発表した。Twitterは「Bronze Sponsor」として、ASFに資金提供する。 同社はオープンソースのツールを多数利用し、コミュニティーに貢献もしている。例えば同社はCassandra、Hadoop、Mahoutのほか、インキュベータープロジェクトの1つであるクラスタ管理ツールMesosを利用している。一方、昨年8月にWebアプリ開発ツール「Bootstrap」をApache License, Version 2.0の下で公開した他、先日MySQL関連ツールをNew BSD Licenseで公開している。 ASFに資
Facebook/Twitterの分析に使える5種類のGoogle Spreadsheetスクリプト
今や、マーケティング担当者にとって必須と言えるソーシャルメディアの分析。本格的にやるとなるとコストも時間もかかるが、Mashableが「5 Essential Spreadsheets for Social Media Analytics(ソーシャルメディア分析のための5つの基本スプレッドシート)」として、5つの「Google Spreadsheet」のスクリプト(マクロ)を紹介している。容易にカスタマイズできて無料、さらに使い勝手もよいとなれば、試してみない手はなさそうだ。 (1)Twitter検索結果をエクスポートする「GetTweets」 AutomateAnalytics.comが開発したスクリプトで、簡単にTwitterの検索結果をGoogle Spreadsheetにエクスポートできる。 (2)Facebookの「いいね!」とシェアの数をカウント「FacebookLikes C
Klout Influence Report
Agent efficiency, automation, and operational insights
クチコミ係長
BuzzSpreader Powered by クチコミ＠係長とは BuzzSpreader Powered by クチコミ＠係長は、国内最大級のデータ量を保有しており、 キーワード入力だけで簡単にクチコミ分析が行えます。 事業会社様や広告代理店様、メディア運営企業様まで 幅広くご活用いただけるソーシャルリスニングツールです。 導入実績1,000社※突破！ BuzzSpreader Powered by クチコミ＠係長の 導入実績 ※2018年8月現在。ホットリンク開発によるソーシャルリスニングツールの契約アカウント数を基にカウントした延べ社数。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
okaoka.net
Twitterのスケーリング，新たなピークへ
Twitter bootstrap入門 #twtr_hack
クチコミ・ブログ分析サービス『感°Report』（かんどれぽーと）
TweetBuzz
