DeNAのデータサイエンティスト流「考えること」の習慣化が生むハイパフォーマンス - エンジニアtype | 転職type
2018.09.10 スキル テクノロジーの進歩に伴った変動の激しいIT領域に身を置くエンジニアにとって、継続的な学習はキャリアを築く上で必要不可欠。近年では、社会に出てからも学び続ける・学び直す「リカレント」にも注目が集まっています。しかし、日々の業務と平行してスキルを磨いたり、新たな知識を身につけたりするのは、決して簡単なことではありません。 では、各企業で活躍する若手エンジニアの方はどのようにスキルを磨いているのでしょうか？その実態を探り、明日からマネできるノウハウを盗んできました！ 株式会社ディー・エヌ・エー（以下、DeNA） システム本部 AIシステム部 AI研究開発第二グループ 田中一樹さん（26歳） 慶應義塾大学で電力に関する制御理論工学や数理計画法を学んだ後、同大学院理工学研究科を修了。2017年4月、新卒でDeNAに入社して以降、ゲームアプリ『逆転オセロニア』におけるAI
パターン認識と機械学習（PRML）の輪読資料を公開 | Deep Learning JP
C.M.ビショップ他著「パターン認識と機械学習」の輪読資料の一覧を当サイトで公開しました。 詳細はこちらから
PRMLのアルゴリズムをPython(ほぼNumpyだけ)で実装 - Qiita
自分の勉強（機械学習のアルゴリズムやPythonの勉強）のためにPRMLに掲載されている手法をPythonで実装していきます。 原則としては、アルゴリズムの部分ではPythonの標準ライブラリに加えてNumpyだけ使用可能としていきます。scikit-learnやtensorflowなどの機械学習パッケージは使いません。matplotlibなどの結果を図示するパッケージはアルゴリズムの実装と関係がない限りは使っていきます。また、必要になったらscipyなどの他のパッケージもたまに使っていきます（すでにディガンマ関数などに使用）。ただし、最適化ツール（例えばscipy.optimizeやtensorflowの自動微分機能）などの実装を著しく簡単にするものは使いません。 基本的には、章ごとに一つの手法を実装していきます。~~一通り終われば二周目に入るかもしれません。~~自分の勉強のためのものな
混合ガウス分布の変分ベイズ法による推定 - Qiita
図示 初期クラス数を6に設定しても、最終的に3つのクラスに収束していることがわかる アルゴリズム $r_{nk}$を初期化 三つの統計量を計算 $N_k = \sum_{n=1}^N r_{nk}$ ${\bar x_k} = \frac{1}{N_k} \sum_{n=1}^N r_{nk}x_n$ $S_k = \frac{1}{N_k} \sum_{n=1}^N r_{nk}(x_n - {\bar x_k})(x_n - {\bar x_k})^T$ Mstep: $q(\pi) = Dir(\pi|\alpha), q(\mu_k, \Lambda_k) = N(\mu_k|m_k, (\beta_k \Lambda_k)^{-1})W(\Lambda_k|W_k, \nu_k)$を求める。 $\alpha_k = \alpha_0 + N_k$ $\beta_k = \beta
PRML第10章 変分混合ガウス分布 Python実装 - Qiita
今回は前回の記事の最後に言っていた変分混合ガウス分布を実装しました。前回はEMアルゴリズムを用いて混合ガウス分布のパラメータを最尤推定しましたが、今回は変分ベイズ法を使って混合ガウス分布のパラメータをベイズ推定します。前回の実装では混合ガウス分布の混合要素数をこちらが設定していましたが、変分ベイズ法を用いることで自動的に混合要素数を決定してくれます。他にもベイズ的に扱う利点がいくつかあります。 通常の混合ガウス分布の最尤推定では混合係数$\pi_k$、平均$\mu_k$、共分散$\Sigma_k$（もしくは精度$\Lambda_k$）を最尤推定しましたが、今回はそれら全てが確率変数だとしてその確率分布を推定します。 今回用いるモデルをグラフィカルモデルにしたものが下の図（PRML図10.5より抜粋）です。 これらの確率変数全ての同時分布は p({\bf X}, {\bf Z}, {\bf
Coursera / Machine Learningの教材を２度楽しむ - Qiita
遅ればせながら，CourseraのMaechine Learning (Stanford University, by Andrew Ng)を受講している．もちろん説明動画も有益だが，このコースの良さを際立させているのが，毎回出されるプログラミングの課題である．ただMatlabのコードなので，後で復習できるようにPythonに書き換えたくなってきた．（他の方で，同じ取り組みの紹介例がInternetで見受けられる．） ここでは，"Coursera / Machine Learning"の教材を(Pythonで)２度３度楽しむやり方を紹介する．また関数最小化で用いる，scipy.optimize.minimize() について説明する． コスト関数とその導関数 Machine Learningの教材では，コスト関数を作成し，それを最小化するパラメータを探索する，というものが多い．Matlab
Pythonで実装 PRML 第1章 ベイズ推定 - Qiita
import numpy as np from numpy.linalg import inv import pandas as pd from pylab import * import matplotlib.pyplot as plt #From p31 the auther define phi as following def phi(x): return np.array([x**i for i in xrange(M+1)]).reshape((M+1, 1)) #(1.70) Mean of predictive distribution def m(x, x_train, y_train, S): sum = np.array(zeros((M+1, 1))) for n in xrange(len(x_train)): sum += np.dot(phi(x_train[
PRML §8.3.3 例：画像のノイズ除去 - naoya_t@hatenablog
【次回復々習レーン（2013/7/21開催予定）の発表資料準備】 反復条件付きモード（ICM）での画像復元 左上から順番に走査しながら、反転するとエネルギーを減らせるピクセルを反転 走査前後のエネルギー差分がεを下回ったら（あるいは10回やったら）終了 MacBook Air (1.8 GHz Intel Core i7) でノイズ除去にかかった時間: noise iter sec 5% 5 0.850 10% 6 1.037 15% 6 1.029 20% 8 1.374 25% 10 1.705 30% 8 1.373 320x180の画像をPythonで1秒前後で処理できています。 25%で走査数が多いのは気にしない（ノイズ生成パターンをいくつも作ったら吸収されると思う） オリジナル画像（白黒２値） ノイズ（白黒反転）5% 復元率：99.5781% （文字部分復元率: 97.0245
PRML読書会#7 資料「5.7 ベイズニューラルネットワーク(1)」 - 木曜不足
これは パターン認識と機械学習(PRML)読書会 #7 (5章 ニューラルネットワーク 後半) での発表用の資料「5.7 ベイズニューラルネットワーク」です(作成中)。 はてＰ でプレゼン資料になります。 論文読むときに役立つよう、用語は英語で書いたりしてます。細かい説明/計算やサンプルは読書会にて板書します。 資料その１ 資料その２ 資料その３ ベイズニューラルネットワーク 「周辺化」が必要 ← 解析的に評価するのが難しい 極度に非線形 事後確率の対数は非凸 誤差関数は複数の局所的極小点を持つ アプローチ 変分推論法(10章) ラプラス近似(本章) (★「最も完全に取り扱う方法」だって？ p165 には「ラプラス近似は確率分布の構造をうまく捉えることができず、近似性能はあまり良くない」とも書いてあるんだけど ⇒ 「もっとダイレクトに取り扱う方法」くらいの意味？*1 ) 5.7.1 パラメ
【PRML同人誌】パターン認識と機械学習の学習－ベイズ理論に挫折しないための数学（光成 滋生 著）
第1章 「序論」のための確率用語 第2章 「確率分布」のための数学 第3章 「線形回帰モデル」のための数学 第4章 「線形識別モデル」のための数学 第9章 「混合モデルと EM」の数式の補足 第10章「近似推論法」の数式の補足 第11章「サンプリング法」のための物理学 ■まえがき サイボウズ・ラボでは「言語処理に必要そうな機械学習の基礎知識を身につける」という目標のもと，2011年の2月から11月にかけて当時シュプリンガー・ジャパン（現在は丸善）から出版されていた「パターン認識と機械学習」（PRML）を輪読する社内読書会をやっていました． 「あの本」を10ヶ月足らずで一通り（すべての章ではありませんが）読みきったと言えば，そのスパルタな様子が想像つくのではないでしょうか．しかも，専門の学生ではない社会人が仕事の合間に！ 当然スムーズに読み進めるはずもなく，いろんなところでつまずくことになり
Metropolis-Hastingsアルゴリズム - Qiita
ご挨拶 今日から始まりました Machine Learning Advent Calendar 2012 幹事の @naoya_t です。 このアドベント・カレンダーの記事内容は、パターン認識・機械学習・自然言語処理・データマイニング等、データサイエンスに関する事でしたら何でもOKです。テーマに沿っていれば分量は問いません。（PRMLの読んだ箇所のまとめ、実装してみた、論文紹介、数式展開、etc.） 執筆する皆さんも読むだけの皆さんも共に楽しみましょう！ さて本題 いまPRML11章を読んでるので11章から何か。 明日のyag_aysさんがMCMCあたりと宣言されているので内容がもしかしたら被ってしまうかもしれないけれど、僕はOctaveだしyagさんは多分Rなので良しとしましょう！ Metropolisアルゴリズム マルコフ連鎖モンテカルロ（MCMC）において、現在の状態から新しい状態を
PRML 11章 二変量正規分布からのギブスサンプリング - Qiita
はじめに Machine Learning Advent Calendar 2012の2日目を担当させていただく@yag_aysです．機械学習ガチ勢の皆様に囲まれて非常にガクブル((((;゜Д゜)))しておりますが，少しでも何か皆さんの印象に残るような記事を書ければと思います． 今回の内容 今回は「パターン認識と機械学習」11章で紹介されているサンプリング法・MCMCの中でも，ギブスサンプリングについて取り上げたいと思います．1日目のnaoya_tさんがメトロポリス・ヘイスティング法について書かれており，偶然にも続き物のような形になりました．ギブスサンプリングは，メトロポリス・ヘイスティング法というおおまかな枠組みの中の特殊なケースです．とは言うものの，実際のアルゴリズムは外見上かなり違ったものになるので，メトロポリス・ヘイスティング法をあまり知らないという人でもこの記事は問題なく読むこと
Machine Learningのカレンダー | Advent Calendar 2012 - Qiita
Machine Learning Advent Calendar 2012とは パターン認識・機械学習・自然言語処理・データマイニング等、データサイエンスに関するアドベント・カレンダーです。 当初PRML Advent Calendarとして立てたのですが、PRMLは敷居が高すぎるのかネタだと思われてるのか皆ROMる気満々で執筆側に誰も回ってくれる気配がなかったので、対象を機械学習全般にしてみました。URLが変更になりすみません。 参加方法 とりあえず参加登録をポチる 自分の担当の日に機械学習に関するちょっとした記事を書く みんなで読む 記事内容は、パターン認識・機械学習・自然言語処理・データマイニング等、データサイエンスに関する事でしたら何でもOKです。テーマに沿っていれば分量は問いません。 （PRMLの読んだ箇所のまとめ、実装してみた、論文紹介、数式展開、etc.） 皆さんのご参加をお
カーネル法とガウス過程（PRML下巻 第6章） - naoya_t@hatenablog
「ガウス過程」- PRML §6.4 ３年前、本レーンでこの辺りを読んだ頃には線形代数力が弱すぎて、というか行列式と式展開から何もイメージがつかめなくて、皆さんの空中戦発表を聞きながら式を書き写してるだけ、みたいな感じだったのを覚えている。あたかも理解できてるような事を喋れていれば「中国語の部屋」的アナロジーが使えるのだけれどそれにも到底及ばないような。 PRML読書会も３周目にもなると、突如PRMLが日本語で書いてあるように読めるようになる瞬間がある（実話）。※１周目、遅くとも２周目でそれが来ていれば復々習レーンは無かった。 とかちょっと前置きをしてみたのだけれど、本質的にこれは「グラフ描きたいだけのエントリ」である。 PRML読んでて一番楽しいのは図表の再現プログラムを書くこと— naoya tさん (@naoya_t) 11月 12, 2012 だから仕方がない。 本題に入ろう。 そ
gihyo.jp の連載「機械学習 はじめよう」の第11回「線形回帰を実装してみよう」が公開されました - 木曜不足
gihyo.jp の連載「機械学習 はじめよう」の第11回「線形回帰を実装してみよう」が公開されました。 機械学習 はじめよう 第11回「線形回帰を実装してみよう」 https://gihyo.jp/dev/serial/01/machine-learning/0011 今回は、第8回と9回で紹介した線形回帰をおなじみの Python / numpy / matplotlib で実装する内容となっています。 実践編を担当するのは今回が初めてなので、どういう書き方にしようかいろいろ迷ってしまいました。 ノリが以前と変わっているから調子が狂っちゃうかもしれませんが、ご容赦ください(笑)。 見せ方は変えてありますが、今回の連載記事の内容は、先日 Tokyo.SciPy #2 で発表した内容と一部被っています。 数式をnumpyに落としこむコツ View more presentations fr
「プログラマが本当に理解するには実装しないといけない」か - 木曜不足
ジュンク堂池袋本店にて 10/11 に行われた「パターン認識と機械学習」(PRML) 愛好家の集まり、じゃあなかった、トークセッションにのこのこ行ってきた、ばかりか前でしゃべってきた。ありがとうございました＆お疲れ様でした＞各位 PRML同人誌 『パターン認識と機械学習の学習』（暗黒通信団） 刊行記念トークセッション 「今度こそわかる!? PRMLの学習の学習」 http://www.junkudo.co.jp/tenpo/evtalk.html#20121011_talk 参加して下さった上に感想までブログにしたためて下さった方には感謝感謝なわけだが、そういったブログの中で、@yag_ays さんがちょうど今気にしていたことを書かれていたので、ちょこっと紹介。 「今度こそわかる!? PRMLの学習の学習」に参加しました - Wolfeyes Bioinformatics beta 余談：
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - yousuketakada/prml_errata: More PRML Errata
https://qiita.com/advent-calendar/2012/prml