「独立」と「無相関」 - NtRand
An Excel Add-In Random Number Generator Powered By Mersenne Twister Algorithm ENGLISH RSS 「独立」と「無相関」 May 24, 2010 複数の確率変数があるとき、それらがてんでバラバラ好き勝手に変動しているとき「無相関」という言葉を使います。 また「独立」という言葉もあります。 どちらも何となく似たような意味合いなので、混同している（というか気にしていない）場合もあるようですが、もちろんこの2つは異なる定義があります。 では「無相関」と「独立」の関係を見てみましょう。 「独立」なら「無相関」か？ その通り！「独立」の方が強いです。これはまぁ言葉通りのイメージではないでしょうか。「独立」しているのに何らかの関連性があるとは考えにくいです。 「無相関」なら「独立」か？ これは違います！。お互いに関連せず
主成分分析と独立成分分析とスパースコーディングの比較[python] - 無限の猿
データを教師なしで変換する行列分解手法、主成分分析（PCA: Principle Component Analysis）、独立成分分析（ICA: Independent Component Analysis）、スパースコーディング(SC: Sparse Coding）の比較。 行列分解手法の明確な定義は知らないが、ここではデータを表すベクトルの集合を横に並べた行列をとして、基底を表す行列と係数のを表す行列の積、 に変換する手法とする。これはすなわち、元のデータをの列にあたる基底の線形和、 で表現することを意味する。はデータの基底で表される空間での表現に相当することになる。 ここでが決まっていれば、を求めるのは線形の逆問題（が正則な正方行列であればその逆行列をにかけてやれば良い）となるが、行列分解問題では双方を同時に求める問題となる。自由度も高くなり、、は一意には決まらない。したがって、、に
Latent Dirichlet Allocation(LDA)を用いたニュース記事の分類 | SmartNews開発者ブログ
株式会社ゴクロの中路です。 以前のベイズ分類をベースにしたSmartNewsのチャンネル判定で触れたように、SmartNewsで配信する記事を「スポーツ」「エンタメ」「コラム」のようなチャンネルに分類しているのは、人ではなく機械です。そのアルゴリズムとして前回ご紹介したのは「ナイーブベイズ分類器」ですが、記事の分類を行う手法は、他にも様々なものがあります。その中で今回はLatent Dirichlet Allocation(以下LDA)について、先日東京大学の博士課程の皆さんと、社内で合同勉強会を行った際に作成した資料をベースにご紹介します。 LDAでできることの例 前回ご紹介したナイーブベイズ分類器を構築する際には、すでにトピックのラベルが付けられた文章を、学習データとして用意する必要がありました。 一方、LDAの場合は、 東京でサッカー大会が開催された。xx選手のゴールが圧巻であった。
ベイズ分類をベースにしたSmartNewsのチャンネル判定 | SmartNews開発者ブログ
株式会社ゴクロの中路です。普段は機械学習の手法を用いたアルゴリズム改善など、サーバーサイドの開発を行っています。 SmartNewsでは様々なニュース記事を「エンタメ」「スポーツ」「グルメ」などのチャンネルに分けて表示しています。そのようなことを可能にするためには、ニュース記事がどのチャンネルに属するのかを判断する必要があるわけですが、それを行っているのは人ではありません。機械が、アルゴリズムに基づいて、自動的に行っています。 今回のエントリーでは、その「自動的にチャンネルに分類する仕組み」について書こうと思います。 SmartNewsにおける、ニュース記事のチャンネル判定を単純化すると、ベースには「ナイーブベイズ分類器」と呼ばれる、機械学習の初歩的な知見があります。このエントリーではナイーブベイズ分類器をメイントピックとして取り上げます。ナイーブベイズ分類器については、すでに様々なとこ
トピックモデルを用いてWeb小説のジャンル・流行を分析しよう
トピックモデルを用いてWeb小説のジャンル・流行を分析しよう Presentation Transcript トピックモデルを用いて WWeebb小説のジャンル・ 流行を分析しよう 22001133//0033//1199 ((KKMMCC春合宿22001133)) 近藤 誠一 ((@@sseeiikkiicchhii)) 自己紹介 近藤 誠一 (@seikichi):p 大学院修士1回生p 情報学研究科知能情報学専攻趣味:p ラノベ，料理，アニメ近況:p 電子書籍を買いまくり読みまくり楽しすぎp シュウ……カツ……シュウ……カツ…… 目次 p 今「小説家になろう」がアツいp トピックモデルことはじめp Latent Dirichlet Allocation (LDA) を用いたWeb小説ジャンル解析p Dynamic Topic Model (DTM)
lda, a Latent Dirichlet Allocation package
lda, a Latent Dirichlet Allocation package. Daichi Mochihashi NTT Communication Science Laboratories $Id: index.html,v 1.3 2004/12/04 12:47:35 daiti-m Exp $ Overview lda is a Latent Dirichlet Allocation (Blei et al., 2001) package written both in MATLAB and C (command line interface). This package provides only a standard variational Bayes estimation that was first proposed, but has a simple textu
トピックモデル - 驚異のアニヲタ社会復帰の予備
Latent Dirichlet allocation(LDA)というなかなか面白そうなテキストマイニングを教えてもらったのでやってみる。 最近のラノベのトピックは異世界物が多い。というかここ数年は、ツンデレ、空から女の子が降ってくるハーレム物から、難聴系・鈍感主人公がハーレムを築くような物へ移り変わっているような気がするが、物語自体のトピックを推定・分類して、流行り廃りをDynamic Topin Model(DTM)を用いて解析して遊んでみたらしい。 結果としては異世界でオレTSUEEEEEEEEE!!物が流行っているという結果だった。オレらの感触と全く同じようにデータが物語っているので、このビッグウェーブに乗り遅れないようにオレも明日からラノベ書くわ!! Rではlda, topicmodelsパッケージが使えるようで、お互いに互換性のあるクラスのようである。こちらでldaを使っていた
David M. Blei
Computer Science Department Princeton University Computer Science Room 419 35 Olden St Princeton, NJ 08540 609.258.9907 (P) 609.258.1771 (F) blei@cs.princeton.edu Topic Modeling Much of my research is in topic modeling, developing algorithms to uncover the hidden thematic structure of a collection of documents. These algorithms help us develop new ways to search, browse and summarize large
RとJavaScript Visualizationを俯瞰しよう
7. R言語とJavaScript比較 library(Wordcloud)を使用 library("wordcount") wordcloud( + data$Term, data$Freq, + scale=c(5,2), + max.words=Inf, + random.order=T, + random.color=T) 変化があまり見れないのはこ のとき使ったデータが悪かっ たので・・・ 8. R言語とJavaScript比較 D3.js+d3-cloud d3.csv('resources/data/out.csv', function(data){ var h = 600; var w = 800; var random = d3.random.irwinHall(2) var countMax = d3.max(data, function(d){ return d.Fr
R言語で始めよう、データサイエンス（ハンズオン勉強会） 〜機会学習・データビジュアライゼーション事始め〜
2013年11月期 AITCオープンラボ R言語で始めよう、データサイエンス（ハンズオン勉強会） 〜機会学習・データビジュアライゼーション事始め〜Read less
Rでトピック分析（LDA:Latent Dirichlet Allocatoion）
テキストマイニング手法のひとつであるトピック分析をR言語を使ってやってみる。 トピック分析とは、簡単に言うと、単語の出現確率の組み合わせで表現されたトピックにより与えられた文書のテーマを推定する手法である。(と思っています) これをLDA:Latent Dirichlet Allocationというトピックモデルを用いて行う。CRANにRのLDAパッケージが存在する。 Mac Book Air Mac OS 10.8.2 R 2.15.1 インストール Rはインストールされているものとする。 > install.packages("lda") --- このセッションで使うために、CRANのミラーサイトを選んでください --- Tcl/Tkインターフェースのロード中 終了済 CRAN mirror 1: 0-Cloud 2: Argentina (La Plata) 3: Argentina
printf() のバッファリングにはまる
cles::blog 平常心是道 blogs: cles::blog NP_cles() « Cでmain()が呼ばれる直前に関数を呼ぶ :: Firefoxを更新したらFlash Playerの警告が出た » 2009/09/09 printf() のバッファリングにはまる c 592 4へぇ 昨日に引き続き後輩がプログラムが想定通りに動かないと相談に来たので、一緒にデバッグ。 開発しているプログラムはJavaのプログラムからRuntime.exec()経由でC言語のプログラムを起動し、開いたInput / Output Streamを使って起動したプログラムと対話するというというもの。どうも対話がうまくいかなくて、途中で詰まってしまうとのこと。 双方向のパイプを使ってプログラムを操作しようとして、バッファリングのせいでデッドロックになるとか、プログラムが終了するまでログファイルになに
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: コミュニケーションするロボットは創れるか―記号創発システムへの構成論的アプローチ (叢書コムニス13) (叢書コムニス 13): 谷口忠大: 本
Google Code Archive - Long-term storage for Google Code Project Hosting.
気象庁ベストトラックのフォーマット
Japan Meteorological Agency | RSMC Tokyo - Typhoon Center | RSMC Best Track Data (Text)