IoT推進ラボ・経済産業省
IoT/ビッグデータによる産業活性化を目的として、革新的なデータ分析事例・アイデアを広く公募します。 第1回のテーマは「観光」 2020年東京オリンピックにむけ、訪日外国人観光客の増加が予想され、大きな経済効果が期待されています。 また、地方活性化の点でも観光産業は重要なテーマです。 今回は過去の観光客宿泊数実績データ・SNSデータ・気象データ・為替データを中心に複数部門の分析コンテストを開催いたします。 本コンテストでは、普段接触する機会の少ない産業界の実際的な課題・データを対象にデータ分析を行うことにより、 優秀なデータサイエンティストの発掘や、優れた分析者の技術からの学びによる人材育成効果も合わせて期待します。
DattoCon
DattoCon is an open-ecosystem experience supercharged with content catered to everyone at every MSP, from tech to exec. Why Attend? At DattoCon, MSPs can immerse themselves in tracks covering everything from technology trends to business best practices. Connect with and learn from your peers, industry thought leaders, and top vendors from across the channel. Experience what makes DattoCon the most
t-SNE
t-Distributed Stochastic Neighbor Embedding (t-SNE) is a technique for dimensionality reduction that is particularly well suited for the visualization of high-dimensional datasets. The technique can be implemented via Barnes-Hut approximations, allowing it to be applied on large real-world datasets. We applied it on data sets with up to 30 million examples. The technique and its variants are intro
Kaggle のランキング - tks のメモ
2015/5/13 にランキングシステムが変更された。 新旧ポイント計算式 A: チームメンバー数 B: 順位 C: 参加チーム数 D: min(コンペ終了からの期間（年）, 2) t: コンペ終了からの期間（日) 新 旧 詳しくは以下を参照 ランキングの定義 https://www.kaggle.com/wiki/UserRankingAndTierSystem 変更の経緯 Improved Kaggle Rankings | No Free Hunch 変更に対する反応 Improved Kaggle Rankings 次にKaggleのランキングに関するツイートを紹介する。すべてシステム変更前のものだが、ランキングの現状をよく表している。 Beatbenchmark：コンペ参加者がForumに投稿した予測作成コード Beat the bencnmark .. というタイトルであること
不均衡データのクラス分類
「はじめてでもわかる RandomForest 入門－集団学習による分類・予測 －」 －第７回データマイニング+WEB勉強会＠東京Koichi Hamada
mots quotidiens.
θ = [0.4, 0.3, 0.2, 0.1] のような離散分布をランダムに初期化したいと いうことは, 自然言語処理や混合モデルの学習でよくある状況だと思う。 下で書くようにこれはガンマ分布からのサンプリングに還元できるので, MCMCなどのベイズ学習一般にもよくある問題。 さて, θは適当に [0,1] の一様乱数で初期化してもいいのだが, 値がかなりバラバラに なってしまうので, 例えば [0.2609, 0.2836, 0.1974, 0.2581] のように 「ある値を中心としてそこから少しずれた」ように初期化したい時は, θ ~ Dir(α) とディリクレ分布からサンプリングすればよい。 ディリクレ分布 Dir([α1,α2,..,αK])からのサンプルを取るには, ガンマ分布に従う独立なサンプル γk ~ Ga(αk, 1) (k = 1 .. K) を発生させて, それを
広く使えるベイズ情報量規準(WBIC)
このページをご覧いただきありがとうございます。 1. ベイズ自由エネルギーとは ベイズ自由エネルギー F は、与えられたデータに対して確率モデルと事前分布の組が どの程度に相応しいかを表しています。 ベイズ自由エネルギーはベイズ確率的複雑さと呼ばれることがあります。 またベイズ自由エネルギーの符号を反転したものは、ベイズ対数周辺尤度と呼ばれることが あります。 「ベイズ自由エネルギーが確率モデルと事前分布の適切さを与える」ということを 最初に提案したのは統計学者 I. J. Good 博士であると言われています(1965年ころ）。 その後、多くの研究者が同じ提案を行っています。現代では、この量が大切であることは 広く知られていると思われます。 （注）ときどき「ベイズ法では、学習モデルと事前分布が恣意的に定められるので主観的であり信用できない」 という意見がありますが、そうではありません。学
Exchangeability and de Finetti's Theorem
Outline Exchangeable random variables Theorems of deFinetti, Hewitt and Savage Statistical implications Finite exhangeability References Exchangeability and de Finetti’s Theorem Steffen Lauritzen University of Oxford April 26, 2007 Steffen LauritzenUniversity of Oxford Exchangeability and de Finetti’s Theorem Outline Exchangeable random variables Theorems of deFinetti, Hewitt and Savage Statistica
Think Bayes
サンプルコードを動かして統計の直観的な理解を促した『Think Stats ―プログラマのための統計入門』の著者によるベイズ統計・ベイズ推論の解説書です。ベイズ統計は、不確実な問題を扱い、条件を付けた予測が必要なときに威力を発揮する統計手法の1つ。メールのフィルタやカーナビで使われていることは有名です。本書は『Think Stats』と同様、数学的な観点での記述は最小限にとどめ、実例を多く使って実用的観点からベイズ手法を解説します。Pythonで書かれたサンプルコードを使って実際に手を動かしながらベイズ統計を学ぶことができますが、プログラミングを知らない人にも役立つ内容です。 目次 まえがき 1章 ベイズの定理 1.1 条件付き確率 1.2 結合確率 1.3 クッキー問題 1.4 ベイズの定理 1.5 通時的解釈 1.6 M&M'S問題 1.7 モンティ・ホール問題 1.8 議論 2章 計
Matrix Factorization: A Simple Tutorial and Implementation in Python @ quuxlabs
There is probably no need to say that there is too much information on the Web nowadays. Search engines help us a little bit. What is better is to have something interesting recommended to us automatically without asking. Indeed, from as simple as a list of the most popular bookmarks on Delicious, to some more personalized recommendations we received on Amazon, we are usually offered recommendatio
logsumexp
[latexpage] ＊ 大きさが極端に小さい／大きい「重み」の値の和を求める際に、アンダーフロー／オーバーフローを防ぐための方法です。ベイズで周辺確率を求めるときなど計算機統計の分野でしばしば用いられます。 ＊ 応用の幅は広いと思いますが、今回はパーティクルフィルタという手法を例にとり、説明します。 ＊ ここでパーティクルフィルタについての詳しい解説はしませんが、簡単に言うと、パーティクルフィルタは、重みのついたパーティクルと呼ばれる粒子を多数用意して、そのパーティクルの分布を使って任意の確率分布を近似する手法です。モンテカルロ法から出発しているので、モンテカルロフィルタとか逐次モンテカルロ法などと呼ばれることもあります。 パーティクルフィルタの例：マウスクリックした点（緑色の丸）を追跡 （画像上側 赤色：パーティクル、オレンジ：期待値。画像下側 緑：パーティクルによる近似分布） パー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Test if two binomial distributions are statistically different from each other
GitHub - dmlc/xgboost: Scalable, Portable and Distributed Gradient Boosting (GBDT, GBRT or GBM) Library, for Python, R, Java, Scala, C++ and more. Runs on single machine, Hadoop, Spark, Dask, Flink and DataFlow
Home
What are the best tutorials, videos and slides for probabilistic graphical models?
Correlation can measure only the linear relationship between variables. What are the methods for measuring non-linear relationships betwe...
What are the least intuitive concepts in probability and statistics?
Sparse estimation tutorial 2014
Pleasingly Parallel MCMC: cracked wide open for MapReduce and Hadoop
Getting started with parallel MCMC