こんにちは。スマートニュースの高橋力矢です。前回のブログでデータ分析+ゲーム理論を題材として、帰納と演繹をまとめる利点をお伝えしました。なんらかの入力 (e.g., ゲーム理論における利得表) があり、特定のアルゴリズム (e.g., 各プレイヤーの戦略的意思決定) を記述することで出力 (e.g., ナッシュ均衡) を得るアプローチは、ほとんどのソフトウェア・エンジニアが慣れ親しんでいるプログラミングそのものです。つまり多くのエンジニアが手がけるプログラミングの実態は演繹的プログラミングです。ではこの対極に位置する帰納プログラミング (Inductive Programming) はどの程度進歩しているでしょうか。 帰納プログラミングの一分野である確率プログラミング (Probabilistic Programming) は統計学や機械学習との関係が密接で、日本でも利用者の多いStanを
※ This is a Japanese version. The English version is here. Information Dropoutという手法がある。 元々は深層学習の過学習を避けるために提案されていたテクニックであるDropoutを、与えられたタスクに対する最適なデータの表現を学習するInformation Bottleneckの観点から一般化する、という内容である。 この論文は2016年11月4日にarXivに初稿がアップされ(arXiv:1611.01353)、ICLR2017に投稿されていた。 残念ながら採択はされなかったが、レビュー結果には The authors all agree that the theory presented in the paper is of high quality and is promising but the expe
Anomaly detection is the process of identifying unexpected items or events in datasets, which differ from the norm. In contrast to standard classification tasks, anomaly detection is often applied on unlabeled data, taking only the internal structure of the dataset into account. This challenge is known as unsupervised anomaly detection and is addressed in many practical applications, for example i
Revolutions Milestones in AI, Machine Learning, Data Science, and visualization with R and Python since 2008 Facebook is a famously data-driven organization, and an important goal in any data science activity is forecasting. Now, Facebook has released Prophet, an open-source package for R and Python that implements the time-series methodology that Facebook uses in production for forecasting at sca
A significance test for the lasso Richard Lockhart1 Jonathan Taylor2 Ryan J. Tibshirani3 Robert Tibshirani2 1 Simon Fraser University, 2 Stanford University, 3 Carnegie Mellon University Abstract In the sparse linear regression setting, we consider testing the significance of the predictor variable that enters the current lasso model, in the sequence of models visited along the lasso solution path
今回はGAN(Generative Adversarial Network)を解説していきます。 GANは“Deep Learning”という本の著者でもあるIan Goodfellowが考案したモデルです。NIPS 2016でもGANのチュートリアルが行われるなど非常に注目を集めている分野で、次々に論文が出てきています。 また、QuoraのセッションでYann LeCunが、この10年の機械学習で最も面白いアイディアと述べていたりもします。 “The most interesting idea in the last 10 years in ML, in my opinion.” –Yann LeCun GANは聞いたことはあるけれどあまり追えてないという人向けに基礎から解説していきたいと思います。それでは順に見ていきましょう。 目次 基礎理論 DCGAN 実装 論文紹介 まとめ 基礎理
リクルートデータ組織のブログをはじめました。※最新情報はRecruit Data Blogをご覧ください。 Recruit Data Blogはこちら 産業で活用されるよりもランニングの有用さを人に説いていきたい、そう強く想う深層強化型人工知能・横柳です。 現在、私はサンフランシスコで開催中の Association for the Advancement of Artificial Intelligence (AAAI) に参加しています。 会議のスケジュールはコチラからPDFで提供されています。 私自身は人工知能なので、主に人間のアシストを担当しており、機械学習を専門にするエンジニアではないのですが、こういった仕事と直接関係ないカンファレンスにもホイホイ行かせてくれるのが RCO の良いところだと思います(コチラからのコピペ)。 この参加報告では、現地から毎日、リアルタイムに、私が参加
From automatic differentiation to message passing (2019) TrueSkill 2: An improved Bayesian skill rating system (2018) Belief Propagation with Strings (2017) An introduction to Expectation Propagation (video lecture) (slides) (2015) Elastic Distributed Bayesian Collaborative Filtering (2014) Sparse-posterior Gaussian Processes for general likelihoods (2010) Video lectures on Approximate Inference (
Beyond Newton’s method Thomas P. Minka 2000 (revised 7/21/2017) Abstract Newton’s method for optimization is equivalent to iteratively maximizing a local quadratic approximation to the objective function. But some functions are not well-approximated by a quadratic, leading to slow convergence, and some have turning points where the cur- vature changes sign, leading to failure. To fix this, we can
Estimating a Gamma distribution Thomas P. Minka 2002 Abstract This note derives a fast algorithm for maximum-likelihood estimation of both parameters of a Gamma distribution or negative-binomial distribution. 1 Introduction We have observed n independent data points X = [x1..xn] from the same density θ. We restrict θ to the class of Gamma densities, i.e. θ = (a, b): p(x|a, b) = Ga(x; a, b) = xa−1
Hyperparameter optimization for Neural Networks Contents Hyperparameter optimization for Neural Networks Introduction Hyperparameter optimization Grid Search Random Search Hand-tuning Bayesian Optimization Gaussian Process Acquisition Function Find number of hidden units Disadvantages of GP with EI Tree-structured Parzen Estimators (TPE) Overview Hyperparameter optimization for MNIST dataset Disad
This report summarizes the tutorial presented by the author at NIPS 2016 on generative adversarial networks (GANs). The tutorial describes: (1) Why generative modeling is a topic worth studying, (2) how generative models work, and how GANs compare to other generative models, (3) the details of how GANs work, (4) research frontiers in GANs, and (5) state-of-the-art image models that combine GANs wi
CMUに留学している時にFaloutsos教授に教わった論文の書き方をまとめる。この書き方に従うことで論文の採択率がかなり上がった。今となっては自分的に当たり前のことだし、できる研究者の皆様は自然と守っていることも多いと思うけど良い論文を書きたいと思っている学生とかに参考にしてもらえたらと思う。ただし、Faloutsos教授に教えてもらったことを一旦自分で噛み砕いてからまとめたものなので自分の主観とかが混じってしまっているかもしれない。 主語が大きくならないように予め断っておくけど、この書き方はもちろんすべての論文に対して当てはまるわけじゃなくて以下の前提条件がある。 国際会議論文である データマイニング関連分野の論文である 論文誌とか卒論とかもっと長めの論文を書くときは当てはまらない項目もあるし、データマイニング関連分野以外の論文を書いたことが無いのでそれ以外の分野の論文に当てはまるかも
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く