Node.js + Socket.IO + pm2でデーモン化とクラスタリング - 人と技術のマッシュアップ
Socket.IOをpm2でクラスタリングするには、ちょっと工夫が必要だったのでメモ forever Node.jsのデーモン化といえばforeverです。しかしクラスタリングしようとすると、Node.jsのコードをクラスタリング対応で書かないといけないのでやや面倒だったりします。今回、foreverよりも高機能なpm2を使ってクラスタリングを試してみました。 pm2 pm2はforeverと同じようにNode.jsをデーモン化するツールですが、モニタ機能やクラスタリング機能などかなり高機能になっています。 pm2のインストール pm2はグローバルでインストールします。 $ npm install -g pm2 対応するNode.jsのバージョンは古いと動かないかもしれません。今回はv0.10.20(on Mac)で動作確認しました。動かすNode.jsアプリはこちらのSocket.IOの
「ネットワーク科学の道具箱」＜クラスタリング編その1＞ - christopherの日記
クラスタリング クラスタリングの本質は、 「ノードをラベリングする＝属性を付与すること」 クラスタ内は密に、クラスタ間は疎に ノードが属性を持っている世界では、ネットワークの特性は「クラスタリング」的視点からしてどう評価されるだろうか？ 選択交配（assorting mix）：生物同種間で選択交配が行われることから。ノード属性がカテゴライズされていると仮定する。 考える事例：エッジ＝性的関係、ノード属性カテゴリ：黒人、白人、ヒスパニック（所与） つまり何系と何系がつきあっているか。 クラスタリング的視点：黒人同士が密、他人種とは疎みたいなこと 以下、選択交配＝つながっているのが同種か異種か をデータの根本として評価関数を構成していくよ！ 以下無向グラフっぽく書いてるけど有向グラフにも簡単に拡張可能。 【全数】属性iと属性jでつながっているとこはいくつあるかな？（黒人×白人ペアは何個あるかな
「ネットワーク分析の道具箱」＜クラスタリング編その2＞ - christopherの日記
Girvan-Newmanアルゴリズム 【重要】 Newmanコミュニティーの指標Q値は、コミュニティー（ノードの属性＝ラベリング）ごとの同種結合or異種結合を基礎として構成されている。 ↓ コミュニティーが一緒であれば、同種結合もセルフループも同じ ↓ コミュニティーの結合＝ノードの結合 の擬制が可能！ 分割しかり！ 媒介中心性 σ[s,t]：ノードペア(s,t)間の最短経路の数 σ[s,t](u)：そのうちuを通るものの数 →適当にノードペアを取ったときに最短経路上にいる確率みたいなもの。（ただし寄与度で補正する（最短経路が複数の時はそれに応じて薄める）） Girvan-Newmanコミュニティー抽出 トップダウン方式 媒介中心性の高いノードを切っていく 分割されるまで切る。分割されたらそれを仮のラベリングにして、元のネットワーク上でのQ値を計測する Q値の最大値にあたるまで続ける。
Streaming k-means approximation - tsubosakaの日記
実家に帰省中，電車の中で読んでた論文の紹介。 概要 k-meansはクラスタリングテクニックとして非常に基本的な手法である。 しかし、k-meansでは全データに対してラベリングを複数回繰り返す必要があり、全データ点を保存する必要がある、そこでk-meansの出力であるk個のクラスタ中心をワンパスで見つける方法を提案する。 ここで得られるクラスタ中心は最適値と比較したときにO(log k)の近似となっている ストリームアルゴリズムについて 本論文で言っているStreamingの意味としては入力を前から見ていって、すべて保存しないアルゴリズムのことを言っている。いわゆるオンラインアルゴリズムのように入力が入ってくるたびに何かしらの結果が得られるわけではない。また，ストリームの長さは有限である事を仮定している。 k-meansとは k-meansとはデータ点 X = {x_1 , ... x_
Mahout Programming : K-Means Clustering - hamadakoichi blog
Mahout でのデータマイニング。mahout.clustering.kmeans を使ったクラスター分析を実装してみた。Mahoutは、Hadoop上で動くデータマイニング・機械学習の各種アルゴリズムが実装されているライブラリ。 クラスター分析 クラスター分析の方法論自体の内容は以下のエントリにまとめてある。 R言語プログラミング： クラスター分析 - 階層的クラスタリング - hamadakoichi blog 第２回データマイニング+WEB 勉強会＠東京 (Tokyo.Webmining#2) を開催しました - 「はじめてでもわかる R言語によるクラスター分析」 - hamadakoichi blog 第３回 データマイニング+WEB 勉強会＠東京 (Tokyo.Webmining#3) を開催します - hamadakoichi blog R言語プログラミング： クラスター分析
簡単分類ツールfutabaを作ってみた - EchizenBlog-Zwei
しばらく前に作ったライブラリtsubomiのサンプルとして簡単分類ツールfutabaを作ってみた。あくまでtsubomiのサンプルなので高性能というわけではないが、ちょっとしたマイニングに使うには便利かもしれない。 本ツールは事前に用意した学習データ(クラス名と素性ベクトルのペア集合)から重みベクトルを学習させ、新しい入力(素性ベクトル)を学習時に与えたクラスのいずれかに分類するという一般的な分類ツールとなっている。クラスをアイテムとみなすことでレコメンデーション、類似文検索用途でも利用が可能。 以下使いかたをメモしておく。 参考: CSAを使った全文検索ライブラリtsubomiを公開してみる - EchizenBlog-Zwei 注：tsubomiはUnix、Linux、Macでの利用を想定しています。これらの環境なら動作すると思いますが、もし上手くいかない場合は適当にMakefileを
文書クラスタリングの技法ゼミ
III. 文書クラスタリングの技法 A. 単一パスアルゴリズム 1. k-means 法の適用 2. Willett のアルゴリズム 3. 平均クラスタリング・アルゴリズム
人工知能に関する断創録
Deep Learningの訓練終了など任意のメッセージを特定のSlackチャネルに投稿できるボットを作りました。 Yatta Kun プログラミングは不要で curl というコマンドラインツールから簡単に投稿できるので非常に便利です。可愛いくて便利なので作り方を紹介します。 職場などでみんなが使っているワークスペースで実験すると迷惑がかかる可能性があるので、最初は個人の実験用ワークスペースを作ってしまうのが良いと思います。無料でできます。 1. Incoming Webhookをインストール SlackアプリのページからIncoming Webhookをインストールします。Slackアプリページは、 https://[workspace name].slack.com/apps/ から行けます。 workspace name はワークスペース名です。 Incoming Webhook で
Newman アルゴリズムによるソーシャルグラフのクラスタリング
昨今よく耳にするキーワード「ソーシャルグラフ」。その可能性・活用方法について様々な企業に注目されています。今回はその「ソーシャルグラフ」を「どうすればクラスタリングできるのか？」という観点で、グラフに対するクラスタリングの基礎を説明いたします。また、具体的なクラスタリング手法として Newman アルゴリズムをご紹介いたします。Read less
グラフのクラスタリング - Atzy->getLog()
グラフのクラスタリングというものを少し考えてみます。既にあちこちで研究されているものですので、「どこかで誰かが書いてたなあ」という話を少しまとめます。 グラフとは 大前提として、グラフとは何かということになります。グラフといって、この世界では棒グラフだの円グラフだのを意味しません。 この世界ではズバリこれです。 ノード(図の○)がエッジ(図の線)によって結ばれているものをいいます。ノードにはそれぞれ番号を振ってあります。さらにこの図では、エッジに数字が書いてありますが、これはエッジの重みです。重みを規定しないグラフもありますが、重みをつけたグラフを特に「重み付きグラフ」と呼びます。 これが何を意味するのかといえば、例えばノードを「都市」、エッジを「線路」、エッジの重みを「時間」だとすれば、路線図となります。 最短経路問題 さて、グラフの中で古典的な問題に「最短経路問題」があります。Shor
クラスタリングの定番アルゴリズム「K-means法」をビジュアライズしてみた - てっく煮ブログ
集合知プログラミング を読んでいたら、K-means 法（K平均法）の説明が出てきました。K-means 法はクラスタリングを行うための定番のアルゴリズムらしいです。存在は知っていたんだけどいまいちピンときていなかったので、動作を理解するためにサンプルを作ってみました。クリックすると１ステップずつ動かすことができます。クラスタの数や点の数を変更して、RESET を押すと好きなパラメータで試すことができます。こうやって１ステップずつ確認しながら動かしてみると、意外に単純な仕組みなのが実感できました。K-means 法とはK平均法 - Wikipedia に詳しく書いてあるけど、もうすこしザックリと書くとこんなイメージになります。各点にランダムにクラスタを割り当てるクラスタの重心を計算する。点のクラスタを、一番近い重心のクラスタに変更する変化がなければ終了。変化がある限りは 2. に戻る。これ
クラスタリングツール bayon がとてつもなく素晴らしいです！
クラスタリングツール bayon がとてつもなく素晴らしいです！ 2009-06-10-5 [Algorithm][Software] mixi の fujisawa さんによる、C++ で書かれたクラスタリングツール bayon がシンプルイナフで猛烈に素晴らしくてクールです。 - 軽量データクラスタリングツールbayon (mixi Engineers' Blog) http://alpha.mixi.co.jp/blog/?p=1049 - チュートリアル（Tutorial_ja - bayon） http://code.google.com/p/bayon/wiki/Tutorial_ja 詳細は上記URLを見てもらうとして、 たまたま手元に250万件のデータ（ラベル＋特徴語リスト）があったのでさっそく試してみました。 ドキュメント数250万件。 各ドキュメントの特徴を現すキーの平
軽量データクラスタリングツールbayon - mixi engineer blog
逆転検事を先日クリアして、久しぶりに逆転裁判1〜3をやり直そうか迷い中のfujisawaです。シンプルなデータクラスタリングツールを作成しましたので、そのご紹介をさせていただきます。 クラスタリングとは クラスタリングとは、対象のデータ集合中で似ているもの同士をまとめて、いくつかのグループにデータ集合を分割することです。データマイニングや統計分析などでよく利用され、データ集合の傾向を調べたいときなどに役に立ちます。 例えば下図の例ですと、当初はデータがゴチャゴチャと混ざっていてよく分からなかったのですが、クラスタリングすることで、実際は3つのグループのデータのみから構成されていることが分かります。 様々なクラスタリング手法がこれまでに提案されていますが、有名なところではK-means法などが挙げられます。ここでは詳細については触れませんが、クラスタリングについてより詳しく知りたい方は以下の
twitter's social network analysis
The document discusses analyzing the community structure of a Twitter social network with 329 users and 75 topics. It proposes using the favorite function and weighted reciprocal of favorites between users to cluster the network into communities. It describes implementing the analysis in R using the igraph package and discusses that calculating communities for the whole network of 5000 users would
クラスタリング (クラスター分析) - Toshihiro Kamishima
クラスタリング (clustering) とは，分類対象の集合を，内的結合 (internal cohesion) と外的分離 (external isolation) が達成されるような部分集合に分割すること [Everitt 93, 大橋 85] です．統計解析や多変量解析の分野ではクラスター分析 (cluster analysis) とも呼ばれ，基本的なデータ解析手法としてデータマイニングでも頻繁に利用されています． 分割後の各部分集合はクラスタと呼ばれます．分割の方法にも幾つかの種類があり，全ての分類対象がちょうど一つだけのクラスタの要素となる場合(ハードなもしくは，クリスプなクラスタといいます)や，逆に一つのクラスタが複数のクラスタに同時に部分的に所属する場合(ソフト，または，ファジィなクラスタといいます)があります．ここでは前者のハードな場合のクラスタリングについて述べます．
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
k-meansによるクラスタリング : 分析技術とビジネスインテリジェンス
Bitbucket
ベイジアンフィルターを用いたTwitterにおけるツイートのハッシュタグ分類 | CiNii Research
bayon - Google Code