演習3.24の解答です。 演習3.12で示されたモデルのモデルエビデンスが(3.118)となることを求める問題。 演習3.2... 演習3.23の解答です。 演習3.12で示されたモデルのモデルエビデンスが(3.118)となることを求める問題。 3.3...
PRML演習問題 全問解答
演習3.24の解答です。 演習3.12で示されたモデルのモデルエビデンスが(3.118)となることを求める問題。 演習3.2... 演習3.23の解答です。 演習3.12で示されたモデルのモデルエビデンスが(3.118)となることを求める問題。 3.3...
畳み込みニューラルネットを高速化するためのいろいろ - SmartNews Engineering Blog
$$ \begin{bmatrix} d_0 d_1 d_2 \\ d_1 d_2 d_3 \end{bmatrix} \begin{bmatrix} g_0 \\ g_1 \\ g_2 \end{bmatrix} = \begin{bmatrix} m_1 + m_2 + m_3 \\ m_2 - m_3 - m_4\\ \end{bmatrix} $$ ただし、$m_1 = (d_0 - d_2) g_0, m_2 = (d_1 + d_2) \frac{g_0 + g_1 + g_2}{2}, m_3 = (d_2 - d_1) \frac{g_0 - g_1 + g_2}{2}, m_4 = (d_1 - d_3) g_2$です。 なにがなんだかわからない、という声がここまで聞こえて来るような気すらしますが、それはともかく、$m_1 + m_2 + m_3$に上記の定義を入れて計算
論文解説 Memory Networks - ディープラーニングブログ
こんにちは，Ryobot (りょぼっと) です． 概要 「メモリネットワーク」は代表的な記憶装置付きニューラルネットワークである． 本稿ではメモリモデル (記憶装置付きニューラルネットワーク) をいくつか概説し，論文 2 紙 (1) Memory Networks, (2) Towards AI-Complete Question Answering の理論的な記述を全文翻訳して補足説明している． 目次 メモリモデルの概説 Memory Networks (MemNN) 1 メモリネットワークの概要 2 基本モデル 3 拡張モデル 4 実験 Towards AI-Complete Question Answering (bAbI task) 1 メモリネットワークの拡張 2 bAbI タスク 3 実験 長文である．ざっくり知るだけなら「メモリモデルの概説」と Memory Networks
『ニューラルネットワークの理論1:イジングモデルの平均場近似解』
図1.イジングモデル 図１のように、N個の粒子が持つスピンSi=±1を、それぞれ↑=＋1、↓=－1として格子状に配列して、スピン間の最近接相互作用が働くとしたものをイジングモデルと呼ぶ。この系のエネルギーは で与えられる。ここで、Ｊはスピン間相互作用であり、ｈは磁場の強さh=μBを示す。μは磁気モーメントであり、Bは磁束密度である。このエネルギーの第一項は系内部のスピンの寄与であり、第二項は外部磁場の影響である。この系について解くために、スピンを平均値mと平均からのずれδSiとして と置き換える。これより、式(1-1)は となる。ここでzは、iに隣接する結合の数であるため、図1のように2次元の場合はz=4となる。このzを用いると、第二項の和は結合の度に1つずつ現れるため と書き直せる。これに、再び式(1-2)を用いると となる。ここまでの処理は、解となるはずの平均値を先に仮定し、一体問題に
科学者のあり方を変える帰納プログラミング - SmartNews Engineering Blog
こんにちは。スマートニュースの高橋力矢です。前回のブログでデータ分析+ゲーム理論を題材として、帰納と演繹をまとめる利点をお伝えしました。なんらかの入力 (e.g., ゲーム理論における利得表) があり、特定のアルゴリズム (e.g., 各プレイヤーの戦略的意思決定) を記述することで出力 (e.g., ナッシュ均衡) を得るアプローチは、ほとんどのソフトウェア・エンジニアが慣れ親しんでいるプログラミングそのものです。つまり多くのエンジニアが手がけるプログラミングの実態は演繹的プログラミングです。ではこの対極に位置する帰納プログラミング (Inductive Programming) はどの程度進歩しているでしょうか。 帰納プログラミングの一分野である確率プログラミング (Probabilistic Programming) は統計学や機械学習との関係が密接で、日本でも利用者の多いStanを
Notes on “Deformable Convolutional Networks”
Dai, Jifeng, Haozhi Qi, Yuwen Xiong, Yi Li, Guodong Zhang, Han Hu, and Yichen Wei. 2017. “Deformable Convolutional Networks.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/1703.06211 This paper introduces a new form of convolution and pooling: deformable convolution and deformable RoI pooling. The authors claim these modules can be swapped into existing networks easily. These modules effectively have
TFv1.0の概要＋HighLevelAPI/Keras
Recap of TF Dev Summit（ https://tfug-tokyo.connpass.com/event/52643/ ） での発表資料
http://www.ms.k.u-tokyo.ac.jp/2015/IPSJ-math-jp.pdf
1 , vol.56, no.5, pp.10–15, 2015. Mathematics for Machine Learning Masashi Sugiyama (University of Tokyo) sugi@k.u-tokyo.ac.jp, http://www.ms.k.u-tokyo.ac.jp Taiji Suzuki (Tokyo Institute of Technology) s-taiji@is.titech.ac.jp 1 x ∈ Rd y ∈ {1, . . . , c} Rd d c 16×16 d = 16×16 = 256 c = 10 x p(x) y p(y) p(x, y) x y p(y|x) y x p(x|y) 1 p(y|x) x y p(y) x y y p(y|x) 1 p(x) p(y) 2 y x p(y|x) p(x, y) n
はじめてのGAN
今回はGAN（Generative Adversarial Network）を解説していきます。 GANは“Deep Learning”という本の著者でもあるIan Goodfellowが考案したモデルです。NIPS 2016でもGANのチュートリアルが行われるなど非常に注目を集めている分野で、次々に論文が出てきています。 また、QuoraのセッションでYann LeCunが、この10年の機械学習で最も面白いアイディアと述べていたりもします。 “The most interesting idea in the last 10 years in ML, in my opinion.” –Yann LeCun GANは聞いたことはあるけれどあまり追えてないという人向けに基礎から解説していきたいと思います。それでは順に見ていきましょう。 目次 基礎理論 DCGAN 実装 論文紹介 まとめ 基礎理
「すごく賢いAIが存在」「ディープラーニングは最強」は誤り――AIに関する“10のよくある誤解”、ガートナーが発表
「すごく賢いAIが存在」「ディープラーニングは最強」は誤り――AIに関する“10のよくある誤解”、ガートナーが発表 「すごく賢いAIがすでに存在する」「機械学習などを使えば、誰でもすぐに『すごいこと』ができる」――IT調査会社のガートナージャパンは12月22日、人工知能 (AI) に関する10個の「よくある誤解」を発表した。AIは現在「過度な期待」を受けているとした上で、日本企業は今後AI開発に必要な人材確保が難しくなる――などと予測している。 「すごく賢いAIは今のところ存在しない」 ガートナーによれば、経営者やテクノロジーにそれほど詳しくない人は「今のAIは、人間と同様のことができる」「今すぐにすごいことができる」と誤解している傾向があるという。 2016年、ガートナーには顧客から「どのAIが最も優れているか」などの質問が寄せられたという。同社はその背景に「すごいAIがすでに存在する」
こんな私でもニューラルネットワークをスクラッチで実装できました(30歳 男性） - seri::diary
この記事はトレタ Advent Calendar 2016の22日目です。 21日目はswdhの ActiveRecordオブジェクトを関連ごとシリアライズしてデシリアライズするでした。 スナップショット的にその時点のモデルを関連モデル含めて保存したい、っていう要望はBtoBやってると結構遭遇しますね。テーブルをちゃんと正規化すればするほど難しくなるやつなのでgem化されてるとありがたいです。 さて、この記事ではゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装を読んでpythonに入門するところから初めてニューラルネットワークを実際に実装して見た所感を記述します。平たく言えば読書感想文です。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者: 斎藤康毅出版社/メーカー: オライリージャパン発売日: 2
1989年時点でニューラルネットワークによる自立運転を実現していた車両「ALVINN」
2020年ごろの完成を目指してGoogleやUber、そしてTeslaをはじめとする各自動車メーカーによる自律運転車両の開発が進められていますが、実は1989年時点で自律運転を実現していた車両が存在しています。「ALVINN」と名付けられた車両は、運転席に搭載されたカメラによる画像をコンピューターが解析して、人間のように道路に沿って運転することが可能だったようです。 Meet ALVINN, the self-driving car from 1989 - The Verge http://www.theverge.com/2016/11/27/13752344/alvinn-self-driving-car-1989-cmu-navlab ALVINNは、アメリカのカーネギー・メロン大学の研究チームが開発していたもの。実際にALVINNが人間の運転を「学習」して道路を走る様子が当時のムー
機械学習で泣かないためのコード設計
【第40回AIセミナー】 「説明できるAI 〜AIはブラックボックスなのか？〜」 https://www.airc.aist.go.jp/seminar_detail/seminar_040.html 【講演タイトル】 機械学習モデルの判断根拠の説明 【講演概要】 本講演では、機械学習モデルの判断根拠を提示するための説明法について紹介する。高精度な認識・識別が可能な機械学習モデルは一般に非常に複雑な構造をしており、どのような基準で判断が下されているかを人間が窺い知ることは困難である。このようなモデルのブラックボックス性を解消するために、近年様々なモデルの説明法が研究・提案されてきている。本講演ではこれら近年の代表的な説明法について紹介する。 本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。 近年注目を集めるアーキテクチャーである「Transformer」の解説スライド
機械学習に使える、オープンデータ一覧 ※随時更新 - Beginning AI
機械学習をやりたいんだけど、データがない！他のデータ使ってみたい！ そんな方のために、機械学習に使えるオープンデータを集めました。 他にも、このデータセットオススメ！というものがあれば、是非ご紹介して頂けると嬉しいです。m(__)m UC Irvine Machine Learning Repository カリフォルニア大学アーバイン校が公開した、データセット。351件のデータセットがあり後述する DATA GO に比べれば少ないが、ほとんどがMachine Learning用のデータ・セットなので、かなりオススメ。 UCI Machine Learning Repository かの有名なあやめの花（iris）のデータセットもここから見ることができます。 国立情報学研究所 情報学研究データリポジトリ データセット一覧 yahoo,楽天,ニコニコなどのデータがあります。 DATA.GO.
第3回 機械学習のためのベイズ最適化入門|Tech Book Zone Manatee
応用範囲が広く幅広い視点からの説明になりがちなベイズ最適化について、本記事では機械学習のハイパーパラメータ探索に利用することに限定して解説します。 1. はじめに 最近、ベイズ最適化という手法が注目を集めています。 ベイズ最適化 (Bayesian Optimization) とは、形状がわからない関数 (ブラックボックス関数) の最大値 (または最小値) を求めるための手法です。 ベイズ最適化についての入門記事は Web 上にすでにいくつかありますが、ベイズ最適化は応用範囲が広く、入門記事は様々な応用に向けた幅広い視点からの説明になりがちです。 本記事では、機械学習ユーザに向けて、ベイズ最適化を機械学習のハイパーパラメータ探索に利用することに限定して説明します。 これにより、機械学習に対して、ベイズ最適化がどのように利用できるのかを分かりやすく解説したいと思います。 2. ハイパーパラメ
BinaryNetとBinarized Deep Neural Network | 射撃しつつ前転
BinaryNet が最近話題になっている。ニューラルネットワークの二値化については前から興味があったので読んでみた。 ニューラルネットワークの二値化についてはこれまでも色々と研究があるようである。大きな方向性としては、まずはじめに実数値で重みを学習してそれを二値化するというやり方と、最初から二値の重みを学習するやり方がある。BinaryNetはそのどちらとも明確に分類しづらい、ちょっと変わった手法である。 BinaryConnectBinaryNetの前にBinaryConnectに触れておくことにする。どちらもBengioグループの研究である。BinaryConnectは大雑把に説明すると、以下の様な手法である。 weight matrix自体は実数で値を持っていて、forward/backwardの計算時に二値化する。パラメーター更新時は実数で持っている側のweight matrix
Machine Learning Exercises In Python, Part 1
Examining stats about your data can be helpful, but sometimes you need to find ways to visualize it too. Fortunately this data set only has one dependent variable, so we can toss it in a scatter plot to get a better idea of what it looks like. We can use the "plot" function provided by pandas for this, which is really just a wrapper for matplotlib. data.plot(kind='scatter', x='Population', y='Prof
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
autograd/docs/tutorial.md at master · HIPS/autograd
reinforcement_learning/README.md at master · nishio/reinforcement_learning
Cognitive-Vision-Python/Jupyter Notebook/Computer Vision API Example.ipynb at master · microsoft/Cognitive-Vision-Python
