教師なしLDAでTwitterのスパム判別をしてみる(予備実験編) - 病みつきエンジニアブログ
※普通は「教師なしLDA」という言い方はしないです モチベーション 元々は、TwitterからURLつきのツイートを取りたかった。某ニュースアプリがTwitter上で(？)話題になっているニュース記事を(法的な是非があるとはいえ)配信しており、そんな感じのマイニングがしたかった。 ただ、普通に「http,https」でTwitter上で検索すると、量が膨大だった。加えて、ほとんどがスパム。なーにが「このサイトすごすぎｗｗｗｗｗ」じゃ。 ということで、検索の段階でスパミーなキーワードを取り除き、純度の高いURL投稿マイニングをしたいわけだが、キーワードは既知なものには限らない。例えば「無料」とか「アフィリエイト」とかがスパムなのはそうなんだけど、「パズドラ」とか「魔法石」とか、未知のキーワードとか出てきた時に対応できない。 そこで、教師なし学習のアプローチを使って、スパムなキーワードを抽出す
Twitter、ウェブサイトをFacebook風に刷新か
Twitterは、そのサービスの見た目をよりFacebookのようなものにするため、ウェブサイトのデザインの大規模な刷新に取り組んでいる可能性がある。 Mashableが米国時間2月11日に報じたところによると、Facebookのルックアンドフィールを模倣しようとしているようにも見える全く新しいデザインのTwitterホームページを編集者の1人が発見したという。 Mashableによれば、Twitterの新しいプロフィールページは、ページの左側にユーザーのプロフィール写真とプロフィール情報を配置しており、ヘッダー写真に多くのスペースを割いているという。 このデザイン（Mashableはデスクトップ版Twitterのみに適用されることを示唆している）では、ツイートの表示サイズも拡大されているようだ。総合的に見ると、新デザインは、ユーザーがより簡単にツイートを消化できるようにすることを明らかに
永井一郎さん最後の「サザエさん」放送 「疲れたから少し休ませてくれ」一時トレンドに
1月27日に亡くなった声優・永井一郎さんが磯野波平役を演じる、最後の「サザエさん」が2月9日放送された。ニコニコ実況では一時、コメントの勢いが2000コメ/分を超え、多くの人が聞き慣れた波平の声との別れを惜しんだ。 Yahoo!の「注目のキーワード」は一時「サザエさん」一色に 最後のエピソードは「波平、親切騒動」。波平のちょっとした親切が近所で話題になるという話で、くしくも波平主役回が最後の放送という形になった。冒頭、おばあさんの荷物を駅まで一緒に運んであげた波平が、帰宅してフネに言ったセリフ「疲れたから少し休ませてくれ」は一時Twitterのトレンドにも入り話題になった。 ニコニコ実況でも放送中はコメントが絶えず「弾幕」状態に。 「疲れたから少し休ませてくれ」のセリフはTwitterでも話題に 波平からカツオへ「人に親切にすることを心掛けなさい」 永井さん、最後までおつかれさまでした 最
【東工大】大岡山国立スキー場2014年営業
ほそこ @fumikoshiojisan 国立大岡山ゲレンデの上級者向けロマンス坂コースはまだ雪が積もってないから、真の上級者以外は滑りに行かない方がいいよ。 http://t.co/zhTw9xaGDI 2014-02-08 11:40:40
Twitter、学術研究にツイートデータを無料で提供する「Twitter Grants」を発表
米Twitterは2月5日（現地時間）、公開されているTwitterデータ（いわゆる「Firehose」）を学術研究者に無償で提供する試験的なプロジェクト「Twitter Grants」を発表した。 参加を希望する非営利の学術研究機関はエントリーページから申し込める。締め切りは3月15日。選考後、一部の参加希望者がFirehoseに無償でアクセスできるようになる。 公開ツイートは1日当たり5億件以上投稿されており、累計すると膨大な量になる。Twitterは米Microsoftなどの企業には有償でこのデータへのアクセスを提供している。Twitterが同日発表した2013年10～12月期の決算によると、データライセンスなどの売り上げは2300万ドルだった。 Twitterは社内のエンジニアリングチームで開発したツイートデータを使った幾つかの視覚化動画を発表している。また、これまで一部の学術機関
天空の城ラピュタにおける「バルス」と TPS (tweets per second)
特筆すべきTPS(tweets per second、一秒あたりのつぶやき数)について記録していきます。 2011/12/09、金曜特別ロードショー「天空の城ラピュタ」が放送された。 日本語によるつぶやきは10秒平均の計算で最大11349TPS(tweets per second、一秒あたりのつぶやき数)、5分平均で最大2710TPSを記録した。海外を含めた世界全体では10秒平均の計算で最大14594TPS、5分平均で最大5979TPSを記録した。 なお、当方の測定はサンプリングに基づくものであり、正確な数値はツイッター社の発表を待ちたい。ただ、前回のあけおめTPSが6,939TPSで、今年一年で日本国内のツイート数が2倍に成長していることからそれ程間違った値ではないと考える。次回のあけおめTPSも今回と同程度のTPSを記録することが予想される。 ツイッター社より公式発表がありました。なん
なぜ今、ハイクなのか - 走れヴィンセント！敗戦処理だ！
はてなハイクが昨年バージョンアップされました。バージョンアップ以降、予想を下回る勢いでハイクの利用申し込みを頂いており、上限を下げるたびに、すぐに人数が上限に達する状態が続いています。 日本の俳句ブームが本格的に始まったのは、松尾芭蕉がいた江戸時代から[要出典]。まさに松尾芭蕉が日本の俳句ブームのきっかけでした。 それから数世紀後の今、なぜ改めて今、ハイクなのでしょうか。 つぶやきだけがホリプロじゃない 確かにつぶやきシローもホリプロですが、ジローラモもホリプロです。呼び捨てにして済みません。 ホリプロには当初、「山口百恵」と「和田アキ子」の2つの要素が含まれていました。 映画や音楽を使って表現をする山口に加えて、コントやドロップキック、リング外での乱闘などでお互いにコミュニケーションをする和田を内包していました。 和田が出始めた当時、自由に和田とやり合えるのはデストロイヤーくらいに限られ
projects:twitterソーシャルグラフからのコミュニティ抽出 [ryogrid.net]
以下サイトでTwitterのソーシャルグラフが配布されている。 # 103万人分、2.8億エッジという驚愕の規模 http://d.hatena.ne.jp/code46/20110130/p1 今回、このデータを題材としたコミュニティ抽出のプログラムを書いたので、開発過程のいろいろをまとめておく。 一部、Amazon Elastic MapReduceでの分散処理などもやってみたので、MapReduceやCloudに興味を持つ人にも利益があるかもしれない。特に、実アプリ開発を題材とした事例紹介はWeb上でも少ないようなので、そういった位置づけでは価値があるのではないかと思う。 ソーシャルグラフ、コミュニティ抽出(≒クラスタリング?)の概要については以下が分かりやすい。 http://www.slideshare.net/komiyaatsushi/newman-6670300 実は、以前
原因は「Twitterとの契約切れ」──Googleリアルタイム検索の一時停止
Googleリアルタイム検索が一時停止しているのは「Twitterとの契約が切れたため」──検索エンジン専門メディア「search engine land」は7月4日（現地時間）、Googleが同メディアに説明した内容として報じた。 説明によると、Googleは2009年10月にTwitterからツイートの提供を受けて検索結果に反映する契約を結んだが、7月2日に切れたという。Googleリアルタイム検索の公式Twitterアカウントは、この記事を参照するようツイートしている。 またTwitterも同メディアに対し、Googleとの契約が切れたことを明らかにした。同様の契約は、大手企業では米Microsoftと米Yahoo！、Yahoo！JAPAN、NTTドコモと結んでいる。 Googleは、通常のクローラーがカバーできる範囲のツイートは今後も検索対象に含まれるし、ツイートの提供を受けなくて
震災時、TwitterやFacebookが役立った人は5％
モバイルマーケティング・ジャパンは6月16日、モバイルモニター会員を対象とした「震災時のメディア利用」に関する意識調査の結果を発表した。調査期間は4月30日から5月2日。 東日本大震災の時に最も役立った情報源が何であったのかを聞いたところ、71.9％がテレビ番組、10.8％がラジオと答えた。一方でソーシャルネットワーキングサービス（SNS）が役立ったと回答した人はわずか5.0％にとどまった。 また、震災後にTwitterを利用し始めた人は8.6％、Facebookを利用し始めた人は1.5％だった。 調査対象は全国のモバイルモニター会員278人。年代は10代7.2％、20代29.9％、30代30.9％、40代24.1％、50代以上7.9％。性別は女性68.7％、男性31.3％。
「いいね！」や「Tweet」ボタン、クリックされずともサイト訪問情報を送信か--WSJ報道
The Wall Street Journal（WSJ）は米国時間5月18日、Facebookの「Like」（いいね！）ボタンやTwitterの「Tweet」ボタンなどについて、どのサイトをユーザーが訪問しているかに関するデータを集めていると報じた。 WSJによると、いわゆるソーシャルウィジェットと呼ばれるこれらのボタンがサイトに付いている場合、ユーザーがこれらボタンをクリックしていなくても、そのサイトを訪問したことがFacebookやTwitterに通知されるという。 例えば、FacebookやTwitterのユーザーが、MSNBC.comなどのニュースサイトやFighting the Darknessなどのブログを訪問した場合、そこにあるLikeやTweetボタンを押さなくても、訪問したことがFacebookやTwitterの伝わることになるとWSJは報じている。 通知は、ユーザーが過
個人的なツイートで「信頼感」が高まる？：米調査 | WIRED VISION
前の記事 ミニチュア写真が撮れるトイデジ『NeinGrenze』 個人的なツイートで「信頼感」が高まる？：米調査 2011年5月17日 メディア コメント： トラックバック (0) フィードメディア Jacqui Cheng 自分のTwitterアカウントで、個人的なツイートと職業的なツイートの両方を行なっている人はしばしば、社交的なツイートや日常でのおかしな出来事をツイートすることで、自分の職業的な信頼感が損なわれるのではないかと心配しているかもしれない。 しかし、『Learning, Media and Technology』誌で発表された研究によると、その心配は必要ないようだーー少なくとも、若者に対しては。学生対象に行なわれたこの調査によれば、社交的なツイートをする教師は、職業的なツイートしかしない教師と比べて、より信頼できると受け取られるという。Twitterストリームの裏側に本物
Twitterの自浄作用について | ネットの海の漂流者
Twitterではデマが広がっても自浄作用でなんとかなる、みたいな意見がありますが、実際に検証をしている立場からすると、Twitterに自浄作用は非常に危ういと感じます。Twitterは構造的にデマに弱いデマというのはセンセーショナルな情報を列挙すれば作れます。 140字以内でつくることは難しくありません。検証情報は、ソースや根拠を添える必要があります。 情報量的に140字以内におさめることは困難です。両者が必要な情報量の差にはさがあります。 文字数が限られているTwitterは、デマを作ることは容易だが、検証することは困難なメディアと化しています。そのため検証側は多くの場合、Togetter等のまとめサイトに発言をまとめるか、外部サイトに記事を書いて、URLを投稿する方法を取ります。 (その辺の事情を知らない人がRTした人全員に修正情報を送ってまわるというのはわりとよくある話なのですが、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
TechCrunch
TechCrunch | Startup and Technology News
TechCrunch | Startup and Technology News
Twitterにおける大規模システム構築、3つの原則
English (US)
pͪoͣnͬpͣoͥnͭpͣa͡inͥ