線形回帰を１つ１つ改造して変分オートエンコーダ（VAE）を作る - 作って遊ぶ機械学習。
こんばんは． 今日は統計や機械学習において最も基本となる手法である線形回帰から出発し，１つ１つモデルや学習方法に変更を加えていき，最終的に深層学習の分野で非常に良く使われている生成モデルである変分オートエンコーダ（variational auto-encoder，VAE）*1*2を導いていきたいと思います． 2014年に発表されたVAEは，勾配近似を得るためのreparametrization trickや，効率的に潜在変数を近似推論する認識モデル（recognition model, inference model）の導入，確率的勾配法（stochastic gradient descent，SGD）の2重適用など，様々なアイデアが散りばめられている確率的生成モデルです．背景としては，当時ニューラルネットワークを用いて画像を生成するといったアプローチが（CNNを使った識別などと比べて）そ
統計検定を理解せずに使っている人のために I - J-Stage
318 化学と生物 Vol. 51, No. 5, 2013 セミナー室 研究者のためのわかりやすい統計学-1 統計検定を理解せずに使っている人のために I 池田郁男 東北大学大学院農学研究科 319 化学と生物 Vol. 51, No. 5, 2013 1 1 320 化学と生物 Vol. 51, No. 5, 2013 2 μ σ σ 3 * 2 3 * 321 化学と生物 Vol. 51, No. 5, 2013 4 * 5 * 6 σ 4 5 6 σ * * 322 化学と生物 Vol. 51, No. 5, 2013 μ μ μ μ μ σ 7 σ σ σ σ σ σ σ σ σ σ 8 8 9 7 σ 323 化学と生物 Vol. 51, No. 5, 2013 9 10 11 * σ σ * * * * 10 11 * * * * 324 化学と生物 Vol. 51, No.
『人工知能プログラミングのための数学がわかる本』が機械学習研究入門書としてとても良さそうだった - Stimulator
- はじめに - 本を読んで筆者に媚を売る記事シリーズです。 「人工知能プログラミングのための数学がわかる本」という書籍を筆者の石川 聡彦（Aidemy）@akihiko_1022さんから譲り受けました。 人工知能プログラミングのための数学がわかる本 作者: 石川聡彦出版社/メーカー: KADOKAWA発売日: 2018/02/24メディア: 単行本この商品を含むブログを見る 明日2/24発売ですが、筆者である石川さんがCEOを務めるAidemyさんと人工知能、機械学習のイベントにてご縁があり頂く形になりました。 そもそもAidemyは、Python及び機械学習のための知識と実装に関する学習を行えるWebサービスです。 aidemy.net 似たサービスではUdemy(https://www.udemy.com/jp/)というアメリカのサービスがかなりのシェアを誇っています。 Aidemy
クラウドを支えるこれからの暗号技術
『クラウドを支えるこれからの暗号技術』 本書は公開鍵暗号に続く、新しい暗号技術を紹介します。 対象読者 『暗号技術入門』（結城浩）を読んで最先端暗号理論はどうなってるのだろうと興味を持った方 「入門書に載っているRSA暗号は安全ではないので使ってはいけない」ということを知らない方 Hash(secret key||message)で認証してはいけない理由（SHA-2とSHA-3の違い）を知りたい方 楕円曲線暗号の楕円曲線を直感的に把握したい方 最近ちょいちょい聞く「準同型暗号」って何だろうと思っている方 楕円曲線といえばy2 = x3 + ax + bという式が唐突に出てくるけど何故なのと疑問に思った方 EdDSAって何? ECDSAの書き間違い?と思ったらEdwards曲線が出てきて、それ何だろうと思った方 暗号で使われる数学の話をきちんと理解したい方 などなど。 購入 秀和システム 正
エレガントな解法、エレファントな解法 〜モンテカルロ法を添えて〜｜山本一成🚗TURING
問 コインを100回投げて、表か裏が10回連続で出る確率は？ 皆さんこの問題解けますでしょうか？私は正直解ける気がしません。そもそも何％くらいなのかすら、うまく推測できません。今日は、しかし皆さんには全然別の方法論を共有できればと思います。 その方法論とはずばり実際に投げてみましょう。「コインを100回投げて、表か裏が10回連続で出るかどうか」を100回あるいは1000回くらい試行してみたらそれなりに正しい確率が出ると思いませんか？実際にでます。 でもいくらなんでも現実にするのはつらいですよね。そこでせっかくなのでコンピュータに投げさせましょう。といっても実際に投げるのではなく、コンピュータの中で乱数（ランダム）を発生させて、それで投げていることにしましょう。プログラムで書くとこんな感じです。 コインを100回投げて、表か裏が10回連続で出るかどうか調べるプログラム。試行回数が増えるほどに
数学系向けDeepLearning/Tensorflow入門 - Qiita
DeepLearningは最近ブームであり,その有名なライブラリとしてTensorflowがあります． この記事ではDeepLearningの基本的な部分を数式を使って書き下すこととTensorflowの使い方を紹介します. 今更っていう気もしますが…，そこは気にしないでおくことにします 主な対象はベクトル空間やテンソル積等をある程度知っているけれど，DeepLearningは知らない人です. なので表記も大学の数学でよく出てくるものしています. なおニューラルネットワークの積分表現には触れません. 三層パーセプトロン ニューラルネットワークの基本的な形の一つである三層パーセプトロンを定義します. 定義 (三層パーセプトロン) 行列$W_1 \in M_{n_0 n_1}(\mathbb{R}),W_2 \in M_{n_1 n_2}(\mathbb{R})$とベクトル$b_1 \in \
SAT/SMTソルバを自作してみる話 - るくすの日記 ~ Out_Of_Range ~
この記事は Kobe University Advent Calendar 2017 - Adventar 17日目の記事です。 1年ぐらい前にC3というSMTソルバをC言語でスクラッチから作ったので、その話でもします。 よりによってなぜSMTソルバをCで書いたかというと、若気の至りでハイパーバイザに組み込んだりして遊んでたからです。 ゲストシステムの検証をランタイムにしてくれる超軽量なハイパーバイザあったらカッコイイじゃないですか。 という割と適当な理由で作ったんですが、労力に対する成果があまりにも見合わなさすぎて、今はアプローチを変えています。 そういうわけで過去の遺物から生まれたC言語製SMTソルバC3なのですが、このままお蔵入りさせるのも何なのでコードの解説とかSMTソルバがどうやって動いてるのかみたいな話をしてみます。 あ あと、私は一介の情報系学生で論理学徒ではないので、ところ
x + 0.25 - 0.25 = xが成り立たないxとは何か｜Rui Ueyama
スタンフォードのコンピュータサイエンスの授業で、ときどきこれは良問と思う問題がテストで出ることがある。僕の印象に残っているのは「xをfloatとするとき、x + 0.25 - 0.25 = xが成り立たないxを求めよ」というものだ。浮動小数点数を理解していないと、両辺が同じにならないケースがあるほうが不自然に思えるだろうから、この問題は浮動小数点数の奇妙さを結構うまく突いていると思う。この問題を元に浮動小数点数についてちょっと説明してみよう。 まずコンピュータ上での数について少し考えてみよう。コンピュータにおける数と、数学の整数や実数は、よく考えてみると全然違う。コンピュータは有限の記憶領域しか持っていないので、無数にある数を表すことが根本的にできない。つまりコンピュータ上の数は「本物の数になるべく似せた別の何か」だ。現実的には、例えば32ビットの数なら2^32パターンしか表せないので、そ
カルマンフィルタを避けてきた社会人プログラマが自動運転の勉強を始める際の最短経路 - Qiita
はじめに この記事は以下の超人気記事をインスパイアしています。 数学を避けてきた社会人プログラマが機械学習の勉強を始める際の最短経路 巷ではAIとか自動運転とか急に盛り上がりだして、SLAMいっちょやってみるかー、と手をだしたものの全く中身がわからず（カルマンフィルタの数式みても脳みそが詰む）、そうか僕には自動運転向いてなかったんだ、と白い目でプリウスを眺めている人がいたら、ちょっとこの記事を最後まで見るといいことが書いてあるかもしれません。 （なお、この記事にDeep Learningは含みません。） 対象 カルマンフィルタ/SLAMを勉強してみたいけど、勉強の仕方がわからないプログラマ そろそろ上司やらお客様から「自動運転の時代がくるよ？」とか言われそうな人 ROSをインストールしてTurtleBotとかGazebo動かしてみたけど、次なにすればいいかわからない人 この記事で行うこと
無料で入手できる本格的（紙なら高額）な理数系専門書15選 第2回（2017年春） - 檜山正幸のキマイラ飼育記 (はてなBlog)
去年・2016年の夏に、「無料で入手できる本格的（紙なら高額）な理数系専門書15選」という記事でインターネットから入手可能な専門書を15冊紹介しました。 出版されている書籍と同じ内容のPDFファイルやHTMLページがインターネットに公開されている例は意外と多いみたいで、一年たたずに新しい15冊のリストができました。前回（2016年夏）と同様に、著作権があやしいものは除外し、著者本人または著者の所属組織のWebサイト、あるいはarXiv.org, TAC (Theory and Applications of Categories)で公開されているものだけを紹介します。また、この記事の後半で、今回紹介する15冊と過去に紹介した20冊のタイトルとURLを再掲します。 内容： 幾何 Differential Algebraic Topology: From Stratifolds to Exot
画像処理の数式を見て石になった時のための、金の針 - Qiita
画像処理は難しい。 Instagramのキレイなフィルタ、GoogleのPhoto Sphere、そうしたサービスを見て画像は面白そうだ！と心躍らせて開いた画像処理の本。そこに山と羅列される数式を前に石化せざるを得なかった俺たちが、耳にささやかれる「難しいことはOpenCVがやってくれるわ。そうでしょ？」という声に身をゆだねる以外に何ができただろう。 本稿は石化せざるを得なかったあの頃を克服し、OpenCVを使いながらも基礎的な理論を理解したいと願う方へ、その道筋(アイテム的には金の針)を示すものになればと思います。 扱う範囲としては、あらゆる処理の基礎となる「画像の特徴点検出」を対象とします(実践 コンピュータビジョンの2章に相当)。なお、本記事自体、初心者である私が理解しながら書いているため、上級画像処理冒険者の方は誤りなどあれば指摘していただければ幸いです。 画像の特徴点とは 人間が
回転群の具体的な表示と計算 - 檜山正幸のキマイラ飼育記 (はてなBlog)
今週のはじめ（月曜日）、Mさんに「リー群ってナニ？」と聞かれました。僕もよく知らないので、雰囲気的な絵を描いて「だいたいこんな感じのヤツでしょ、たぶん」みたいなことをゴニョゴニョ言ったんですが、この記事で、回転群に限定して具体的に表示・計算してみます。 3次元回転群の準備として2次元回転群の話を始めたのですが、2次元で息切れしてしまい、3次元の話はオマケ扱いです。あいすみません。 内容： 事例と記法 行列の計算器 2次行列環と2次行列群 2次の直交群O2 2次の特殊直交群SO2 O2の形状とパラメータ表示 SO2の形状とパラメータ表示 3次の直交群O3と特殊直交群SO3 SO3のパラメータ表示 続き：回転群の指数写像の具体的な表示と計算 指数関数・三角関数の級数表示 行列の指数関数 2次歪対称行列の指数関数 指数写像の解釈 SO(n)の単位元における接空間 指数法則 指数写像の微分 1パラ
プログラマの為の数学勉強会
2013年 プログラマの為の数学勉強会 資料 第1回:イントロダクション 第2回:浮動小数点数・極限・微分 第3回:微分法の応用・多変数関数の微分法 第4回:微分法の応用(続き)・方程式の数値解法 第5回:微分方程式の数値解法・積分法 第6回:数値積分法・積分法の応用 第7回:行列・ベクトル・ガウス消去法 第8回:行列式・逆行列・連立一次方程式の直接解法 第9回:線型空間・線型写像・固有値固有ベクトル(その1) 第10回:線型変換・固有値固有ベクトル(その2)・内積空間 第11回:連立一次方程式の反復解法・二次形式・多変数関数の極値・重積分 第12回:確率論入門 第13回:情報量・エントロピー・重要な確率分布・大数の法則・中心極限定理 第14回:擬似乱数の生成法・推定 第15回:検定 第16回:検定の続き, 回帰分析 第17回:回帰分析の続き 第18回:ベイズ統計
「Scalaにおける数学」について、とその補足 #scala_ks - Qiita
10/8日(土曜日) Scala 関西があり、そこで「Scalaで学ぶ数学」で登壇した。 そこで、話した感想と、話し切れなかったことについて記事にしておく。 1 + 1 = 2をScalaの型で表現する 話した内容としては、まず、Scalaで1 + 1 = 2の記述をScalaの型によって表現することである。 その後もう、「50%の勝率でn試合すると(n/2)勝する確率」についてを、少しだけしゃべったが時間が無いのでさらっと流した。(これについては後述しておく) 1 + 1 = 2で話たコードの全体だけ記しておく。 object Peano{ sealed class Number sealed class Zero extends Number sealed class Succ[N <: Number] extends Number type One = Succ[Zero] type
TDD ✕ Property-based Testing (SwiftCheck) で数学パズルを検証してみる - Qiita
Tl;Dr TDD、Example-based Testing、Property-based Testing を組み合わせると良い感じ（かも？） きっかけ こんなTweetがタイムラインに流れていました。 数学の先生方との飲み会の席で、次のような算数マジックを見せてもらった。 6つの数字を書く。 となりあう数字を足した値の1桁目を1段下に書く。 これを繰り返して最後に出てくる数字を、6つの数字を書き終えた瞬間に言い当てるというもの。 いま自分でも納得できたので娘にもやってみせよう pic.twitter.com/ANhVNT21cs — 三谷 純 Jun MITANI (@jmitani) 2017年7月27日 なるほどこれは面白い、と。 引用ツイートで解説がされていますが、以下のような法則があるようです。 （解説） 6つの数字をabcdefで表す。 bとeが「偶数と奇数」の組み合わせなら
CoqからのCプログラム生成 田中 哲 産業技術総合研究所 情報技術研究部門 2017-07-23 Proof Summit 2017
CoqからのCプログラム生成 田中 哲 産業技術総合研究所 情報技術研究部門 2017-07-23 Proof Summit 2017 2/48 元ネタ ● 既発表の話です ● そのうち論文が出ます ● Safe Low-level Code Generation in Coq using Monomorphization and Monadification Akira Tanaka, Reynald Affeldt, Jacques Garrigue IPSJ SIGPRO 114, 2017-06-09, will be appear at IPSJ JIP. ● ここで出てくる plugin は github にあります – https://github.com/akr/monomorphization – https://github.com/akr/monadification
【サッカー×数学?】『サッカーマティクス〜数学が解明する強豪チーム「勝利の方程式」〜』デイヴィッド・サンプター : マインドマップ的読書感想文
サッカーマティクス〜数学が解明する強豪チーム「勝利の方程式」〜 【本の概要】◆今日ご紹介するのは、現在開催中の「光文社セール」の中でも、個人的に気になっていた1冊。 もともと先月の未読本記事の時点で注目していたくらいなので、セール対象と知り、当然ゲットいたしました。 アマゾンの内容紹介から。バルセロナのフォーメーションはなぜ数学的に美しいのか。イブラヒモビッチのオーバーヘッドは何が凄い?勝ち点はどうして3なのか?数学者はブックメーカー(賭け屋)に勝てるか?etc.サッカーのあらゆる「数学的パターン」を発見・分析し、プレイと観戦に新たな視点を与える話題作。香川、岡崎の動きを分析した日本版特別序文も収録! なお、中古にはプレミアが付いているのに、Kindle版は「20％OFF」＆「50%ポイント還元」のコンボですから、1100円以上お得な計算です！ Barca 6 - PSG 1; Mierc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The math of neural networks - Marshall Shen
プログラマのための数学勉強会
内藤時浩さんによる「ゲームを動かす数学・物理」の感想ツイート
