projects:twitterソーシャルグラフからのコミュニティ抽出 [ryogrid.net]
以下サイトでTwitterのソーシャルグラフが配布されている。 # 103万人分、2.8億エッジという驚愕の規模 http://d.hatena.ne.jp/code46/20110130/p1 今回、このデータを題材としたコミュニティ抽出のプログラムを書いたので、開発過程のいろいろをまとめておく。 一部、Amazon Elastic MapReduceでの分散処理などもやってみたので、MapReduceやCloudに興味を持つ人にも利益があるかもしれない。特に、実アプリ開発を題材とした事例紹介はWeb上でも少ないようなので、そういった位置づけでは価値があるのではないかと思う。 ソーシャルグラフ、コミュニティ抽出(≒クラスタリング?)の概要については以下が分かりやすい。 http://www.slideshare.net/komiyaatsushi/newman-6670300 実は、以前
ネットワーク可視化プラットフォームCytoscapeの現状まとめ - Qiita
Cytoscapeとは？ Cytoscapeとは、欧米の研究機関によって開発されているオープンソースのネットワーク可視化ソフトウェアプラットフォームです。ネットワーク（数学の用語ではグラフ）可視化ソフトウェアとは、要するにデータを分析して、最終的には以下の様な描画を行うものです。 元となる情報は基本的に何でも良いので、以下の様な分野で利用されています: 遺伝子ネットワーク分析（主な開発目的です） ソーシャルネットワーク分析（日本語でも幾つか著作のあるJames Fowler教授にも協力していただいています） コンピュータ・ネットワークの可視化とセキュリティ分析 オントロジー等、グラフ構造を持つデータの可視化 このソフトウェアはもう10年以上も開発が続いています。私もカリフォルニア大学のチームの一員として、かなり初期から開発に加わっておりますが、私の努力不足もあり、日本語のドキュメントはとて
Learning Latent Variable Gaussian Graphical Models (ICML2014)読んだ - Fire and Motion
MLaPPアドベントカレンダー12日目という下書きが下書きエントリにずっと入っていてそろそろ腐敗し始めているため，きまずくてブログが更新できない昨今です．MLaPPアドベントカレンダーは2年越しの計画という言い訳を思いついているので，今年の年末にがんばりたいですね…． さて，学生さんへの紹介用にICML2014のLearning Latent Variable Gaussian Graphical Modelsの説明スライドをつくったので，ブログにのっけておきます．細かい話は一切書いてないですが，そこらへんは論文を読んでください． Learning Latent Variable Gaussian Graphical Models from harapon ICML2014で面白そうだと思った論文は Joint Inference of Multiple Label Types in La
グラフ（ネットワーク状）構造のクラスタリング（グループ分け）基礎：The Markov Cluster Algorithm（MCL）まとめた - 分からんこと多すぎ
MCLのスライド an introduction to the MCL algorithm めちゃくちゃ基本らしい。けど微妙に関係ないので、さわりだけ読む。 無意味にグラフ理論の基礎に触れつつ、エッジリストから高速にクラスタを組む話をする。 元論文は有料だったので諦めた。ので、何か微妙に間違っているかもしれない。コードあるけどR言語です。 グラフ構造とは グラフ構造とは、網目状の構造である。例えば、鉄道とか道路とかネットとか神経回路がそれに相当する。 例えば、道路の例を考えよう。 丸（ノード）が交差点で、線（エッジ）が道路になる。 この図は、「1」の交差点から、2,3,4の交差点にいける事を意味している。 1から5,6,7には行けないし、1から1に行こうと思ったら、1→2→1のように移動しなければならない。 ちなみにこれは無向グラフと呼ばれ、一方通行とかはないものとしている。 一方通行が現
GraphLab.org | GraphLab Open Source
GraphLab Create (beta) Build an end-to-end recommender in Python Free to use. Yours to extend. Download Graphlab Powergraph 2.2 The GraphLab Project The GraphLab project started at Carnegie Mellon University in 2009 to develop a new parallel computation abstraction tailored to machine learning. GraphLab 1.0 presented our first shared memory design which, through the addition of several matrix fact
Pythonでタンパク質相互作用ネットワークを分析する - 雨に煙る
金曜日頃からやや風邪気味だったので週末は自宅でひっそり過ごし、今日研究所バイトのために外出したら冬の到来を体感しました。寒い…。 冬生まれの自負と、汗っかきゆえの蒸し暑さ耐性の低さのために、いつも夏と冬だったら冬のほうが過ごしやすいと答えることにしているけど、こういう時はちょっと夏もいいかなあと思ったりする*1。 研究所で鼻すすりながらPythonのお勉強をしつつコードを書いて、とりあえず欲しいデータを入手することに成功したので達成感に浸る。 備忘録を兼ねて、スパゲティージェノヴェーゼコードを投下します。 プロジェクトの概要 ヒトのタンパク質相互作用ネットワーク(PIN)のデータを、アルゴリズムで小さなサブネットワークに分割していって、そのサブネットワーク内で薬剤ターゲットに使えそうなタンパク質をスクリーニングするというプロジェクト。 サブネットワーク生成までは研究員のかたが済ませているの
Ceek.jp Altmetrics - 学術文献のインパクト
著者 五十嵐 彰 出版者 日本家族社会学会 雑誌 家族社会学研究 (ISSN:0916328X) 巻号頁・発行日 vol.30, no.2, pp.185-196, 2018-10-31 (Released:2019-10-31) 参考文献数 41 配偶者とのみ性的関係をもつ,いわゆる「不倫」の禁止は現代の結婚制度の根幹を支える要素のひとつといえる.しかしながら,では誰が「不倫」をするのかを明らかにした日本の研究はほぼ見当たらない.本稿では日本における「不倫」行動の規定要因を機会および夫婦間関係のフレームワークを用いて検討した.分析結果から,労働時間や夫婦間関係の親密さ(会話頻度,セックスの頻度),子どもの数は「不倫」行動の発生に効果を与えないことが示された.男女ともに効果のある変数は学歴であり,高学歴になればより「不倫」しなくなるといえる.男性のみに効果のある変数は収入および妻との収入差
Hive Plots - Linear Layout for Network Visualization - Visually Interpreting Network Structure and Content Made Possible
Rational Network Visualization — Farewell to hairballs Martin Krzywinski, Canada's Michael Smith Genome Sciences Center, Vancouver, BC the hive plot is a perceptually uniform and scalable linear layout visualization for network visual analytics UNDERSTANDING NETWORK STRUCTURE WITH HIVE PLOTS. (A) Normalized (top) and absolute (bottom) connectivity of E. coli gene regulatory network and Linux funct
ネットワークのコミュニティ - 驚異のアニヲタ社会復帰の予備
ネットワークのコミュニティ検出をやろうやろうと思って長らく放置していたのでやる。 重複がないコミュニティはigraph, 重複があるコミュニティはlinkcommでできるので、重複があるほうをする。 linkcomm クラスというのができるので扱いにくいかと思ったら、中にigraphができるのでやりやすそうだった。しかし、linkcommのままプロットするのはパラメータの設定がめんどうだったので投げた。 と思ったら plotLinkCommGraph でできるらしい。 おなじみのラブライブの百合解析からデータをとるが、linkcommはエッジリストからのデータを受け取るようなので、エッジリストに強制変換して渡す。 コミュニティの検出は最尤推定っぽい何かで最もそれっぽいコミュニティ数にしてくれる。何かパラメータをいじれば変えられる。 # res にリンクの百合 matrix があるとして w
Supervised random walks: predicting and recommending links in social networks(WSDM 2011) 読んだ & リンク予測の話をした - 糞糞糞ネット弁慶
内輪の輪行でリンク予測の話をしたのでスライドをアップする． Link prediction View more presentations from ybenjo Supervised random walks: predicting and recommending links in social networks(WSDM 2011) ついでにSupervised random walks: predicting and recommending links in social networksも読んだのでそれも貼る．著者はfacebookの人． Supervised random walks: predicting and recommending links in social networks 概要 先のスライドでも書いたようにこれまでのリンク予測はグラフ構造のみを用いていた．し
Google Sites: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
Pseudo-likelihood methods for community detection in large sparse networks
Many algorithms have been proposed for fitting network models with communities but most of them do not scale well to large networks, and often fail on sparse networks. Here we propose a new fast pseudo-likelihood method for fitting the stochastic block model for networks, as well as a variant that allows for an arbitrary degree distribution by conditioning on degrees. We show that the algorithms p
ネットワーク分析をもうちょっと勉強（実践編） - でたぁっ 感動と失敗の備忘録
前回は 竹本先生の資料 や WEBページ を拝見し R で行うネットワーク分析について新たに知ることができた関数、分析手法についてまとめてみた。さっそく Non-overlapping 手法を実務で実践したが早くも壁にぶちあたってしまった。実務で取り扱うデータを分析する際にはつきものだ。。。今回分析したネットワークはこんな感じ。ノード数=446、エッジ数=792、図ではエッジの矢印が見えないかもしれないが有向グラフ。（前回同様サイトスケープにくわせOrganicレイアウトで表示 ※背景色のみ白に変更） さっそくエラー多発 何も気にせずにNon-overlapping手法のコミュニティ抽出関数を実行したらエラーが多発。 > # おまじない > ls(all=T) character(0) > rm(list=ls(all=TRUE)) > > # パッケージの読み込み > library(i
中心性：始まりから最近まで - Preferred Networks Research & Development
PFI に入社して二ヶ月ちょっとの伊藤です。 ソーシャルネットワークサービスが一般的になるにつれ中心性という概念が注目されてきました。情報科学を専攻されている場合、Google PageRank や HITS アルゴリズムで算出されるグラフの節点に付与される重要度と言うと分かりやすいとのではないか思います。呼び方こそ違いますが、この中心性と重要度は同一の概念、つまりグラフの節点に重み（点数）をつける尺度として知られています。以下、PageRank とHITS が提案された論文です。 Brin, S. and Page, L. The anatomy of a large-scale hypertextual (web) search engine. Computer Network and ISDN Systems.1998. Kleinberg, J. M. Authoritative
複雑ネットワーク理論を活用したレコメンドとは｜デクワス
デクワストップ ＞ デクワスとは Complex network theory 21世紀のサイエンス「複雑ネットワーク理論」 閲覧や購買など ユーザー行動履歴を収集 収集データを結合し 複雑ネットワークを生成 コミュニティ抽出アルゴリズムにより嗜好性を解析 解析結果をもとに レコメンド 人間社会の複雑さと、偶然に出会った人が実は友人の知り合いだったというときに実感する“世間の狭さ”―― 日常経験するこんな事象を定量的に解明しようと誕生したのが、「複雑ネットワーク」の研究分野です。基礎理論の歴史は古く、グラフ理論の誕生にまでさかのぼりますが、世界的に研究が進んだのは21世紀になってから。インターネットやウェブ、ソーシャルネットワークが広く普及したことが研究成果拡大の大きな要因です。 情報と情報、あるいは人と人の間のネットワークを対象に研究が進んだこの理論を、サイジニアでは、いち早く、人と情報
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RPubs - CRAN packages network graphs
今私は小さな魚だけれど - FC2 BLOG パスワード認証
今私は小さな魚だけれど - FC2 BLOG パスワード認証
http://cartesianfaith.com/2013/12/09/matrix-factorizations-and-social-network-graph-analysis/
IBIS2009.dvi