機械学習(4) – スタンフォード大学の講義から | Synergy Marketing LAB BLOG
こんにちは、馬場です。 本番の講義終わりました！ あとは、この連載も完走します。今回は第7週、8週の内容です。 13. サポートベクターマシン 教師あり学習のオオトリは、SVM=サポートベクターマシンです。 SVM も ロジスティック回帰のように、分類をするアルゴリズムです。特徴は、「large margin classifier」と呼ばれるもので、 「境界線を引く場合、学習データより遠いところになるように引く」というものです。 また、「カーネル」を変更することにより、境界線の形が変わります。linear kernel の場合、境界線の形が直線になりますが、Gaussian kernel の場合は、境界線が複雑な形になりますので、ロジスティック回帰で高バイアスが原因でうまく分類できない場合はおすすめです。ただし、Gaussian kernel を選択した場合入力ベクトルが学習データの
Deep Learning の概要 - Sideswipe
はじめに 去年の 機械学習×プログラミング勉強会 vol.2 で、Deep Learning の概要について発表させていただきました。誘っていただいた @07c00 さん、ありがとうございました。 Deep learning from Kazuya Gokita 詳しくは上記のスライドを御覧ください（注：Auto Encoder と DBM をごっちゃに説明しているので正しくありません、そのうち直します）。 Deep Learning とは Deep Learning は、ニューラルネットワーク*1のひとつで、5層とか10層とか、従来の手法ではうまく学習できなかった深い層の学習をうまくできるようにしたアルゴリズムです。 Deep Learning が目指したところ 入力に近い層では、単純な特徴抽出しかできませんが、それらの重み付け和をとると表現能力が上がります。それをさらに上位の層に入力し
PRMLガール 〜 文芸部のマネージャーが「パターン認識と機械学習」を読んだら 〜 - 木曜不足
放課後の学食は、普段なら常時腹を空かせた運動部の連中があちこちにたむろっているのだが、今日は珍しく先客は一人きりだった。 静かな様子にほっとしたカズは、まったり休憩でもしようとジュースを片手に奥の目立たない席を目指す。が、学食で筆記用具を広げている女子生徒の横を通り過ぎたところで突然立ち止まった。 振り返ってその先客をよく眺めると、ツインテールの頭をどこか見覚えのある黄色い本に乗せて、机に突っ伏すようにして寝ていた。カズは思わず近寄って、本の正体を確認するためにのぞき込もうとしたそのとき。 「やっぱ、わかんない！ ……って、ひゃあ!?」 「わわっ」 突然跳ね起きたその生徒は、目と鼻の先にいたカズの姿にびっくりして悲鳴を上げた。カズもやはり驚きうろたえてしまった。 二人してしばらくそのまま息をのむようにして顔を見合わせていたが、そのうちどちらともなくぷっと吹き出した。 「あはは、ごめん……す
Deep Learning を実装する
2015年9月18日 (GTC Japan 2015) 深層学習フレームワークChainerの導入と化合物活性予測への応用
A List of Data Science and Machine Learning Resources - Conductrics
A List of Data Science and Machine Learning Resources By Matt Gershoff | Monday, December 17th, 2012 Every now and then I get asked for some help or for some pointers on a machine learning/data science topic. I tend respond with links to resources by folks that I consider to be experts in the topic area. Over time my list has gotten a little larger so I decided to put it all together in a blog
Think Stats: Probability and Statistics for Programmers
by Allen B. Downey, published by O'Reilly Media. The second edition of this book is available now. We recommend you switch to the new (and improved) version! Order Think Stats from Amazon.com. Download this book in PDF. Read this book online. Code examples and solutions are available from this zip file. Download data files for use with the book. Read the related blog Probably Overthinking It. Desc
Deep Learning Tutorials — DeepLearning 0.1 documentation
Deep Learning Tutorials¶ Deep Learning is a new area of Machine Learning research, which has been introduced with the objective of moving Machine Learning closer to one of its original goals: Artificial Intelligence. See these course notes for a brief introduction to Machine Learning for AI and an introduction to Deep Learning algorithms. Deep Learning is about learning multiple levels of represen
ニューラルネットの逆襲 - Preferred Networks Research & Development
岡野原です。Deep Learningが各分野のコンペティションで優勝し話題になっています。Deep Learningは7、8段と深いニューラルネットを使う学習手法です。すでに、画像認識、音声認識、最も最近では化合物の活性予測で優勝したり、既存データ・セットでの最高精度を達成しています。以下に幾つか例をあげます。 画像認識 LSVRC 2012 [html] 優勝チームスライド [pdf], まとめスライド[pdf] Googleによる巨大なNeuralNetを利用した画像認識（猫認識として有名）[paper][slide][日本語解説] また、各分野のトップカンファレンスでDeep Learningのチュートリアルが行われ、サーベイ論文もいくつか出ました。おそらく来年以降こうした話が増えてくることが考えられます。 ICML 2012 [pdf] ACL 2012 [pdf] CVPR
mlpy (Machine Learning Python) の SVM を試す - (主に)プログラミングのメモ
mlpy : http://mlpy.sourceforge.net/ 例題として，UCI Repository で提供されている "Breast Cancer Wisconsin (Original) Data Set" を用いる。 http://archive.ics.uci.edu/ml/datasets/Breast+Cancer+Wisconsin+(Original) サンプル数：683 (本来のサンプル数 699個から missing value をもつ 16個を除いた) 次元数 : 9 最初に numpy を利用してデータを読み込む。 >>> import numpy as np >>> f = np.loadtxt("breast-cancer-wisconsin.data",dtype='int',delimiter=',') >>> print f [[1000025
インターフェイスの街角(93) – 本棚演算(協調フィルタリング)
� � � � 2005 10 30 (93) – ` ` (Collaborative Filter- ing) ´ ´ blog GroupLens Net- News GroupLens [1] GroupLens 6 4 1 Ken Lee Meg Nan 1 1 4 2 2 2 5 2 4 4 3 3 4 2 5 5 5 4 1 1 6 ? 2 5 ? 1 5 2 Ken 5 Lee 2 2 Ken Lee 1 2 4 5 Ken (1, 5, 2, 4) Lee (4, 2, 5, 1) rKL σK , σL K, L Cov(K, L) Ken K = 3 Lee L = 3 rKL = Cov(K, L) σK σL = � i (Ki − K)(Li − L) �� i (Ki − K)2 �� i (Li − L)2 = −2 − 2 − 2 − 2 √ 10 √ 1
協調フィルタリングのグラフィカルモデル - nokunoの日記
協調フィルタリングとはAmazonのお勧めのように「この商品を購入した人はこんな商品も購入しています」という情報を用いて推薦をする手法です。グラフィカルモデルはベイジアンネットワークとも呼ばれ、最近一部で流行している機械学習の手法です。今回は、協調フィルタリングをグラフィカルモデルで表現したらどのようになるだろう、と考えて思いついたアイデアを紹介します。 今、ユーザuとアイテムiの組{u,i}のデータが大量に与えられているとします。例えばソーシャルブックマークならユーザとブックマークしているページの組み合わせ、E-commerseならユーザと購入した商品の組み合わせ、などです。ここではSBMを例に考えるので、はてブと同様にユーザはマイナスの評価を付けることはできないものとします。 このときユーザuに対してお勧めのページを推薦することを考えると、ユーザuがまだブックマークしていないページiに
MapReduceできる10個のアルゴリズム - データサイエンティスト上がりのDX参謀・起業家
HadoopとMahoutにより、ビッグデータでも機械学習を行うことができます。Mahoutで実装されている手法は、全て分散処理できるアルゴリズムということになります。Mahoutで実装されているアルゴリズムは、ここに列挙されています。論文としても、2006年に「Map-Reduce for Machine Learning on Multicore」としていくつかのアルゴリズムが紹介されています。 そこで今回は、（何番煎じか分かりませんが自分の理解のためにも）この論文で紹介されているアルゴリズムと、どうやって分散処理するのかを簡単にメモしておきたいと思います。計算するべき統計量が、summation form（足し算で表現できる形）になっているかどうかが、重要なポイントです。なってない場合は、”うまく”MapReduceの形にバラす必要があります。 ※例によって、間違いがあった場合は随時
米スタンフォード大学、2012年も無料オンライン授業の新学期がスタート、「機械学習」「ユーザーインターフェイスデザイン」「テクノロジー起業家精神」など
米スタンフォード大学、2012年も無料オンライン授業の新学期がスタート、「機械学習」「ユーザーインターフェイスデザイン」「テクノロジー起業家精神」など その中でも面白そうなのが以下のコース。 Machine Learning（機械学習） Human-Computer Interaction（ヒト-コンピュータの対話） Technology Entrepreneurship（テクノロジー起業精神） An Introduction to Computer Networks（コンピュータネットワーク入門） それぞれのコースの説明を以下にピックアップしました。 Machine Learning 機械学習のコースでは、機械学習、データマイニング、統計パターン認識などが学べるとのこと。 This course provides a broad introduction to machine learn
そろそろ本気で機械学習の評価方法について学習するよ - Y's note
Machine Learning for Hackers 作者: Drew Conway,John Myles White出版社/メーカー: Oreilly & Associates Inc発売日: 2012/02/28メディア: ペーパーバック クリック: 63回この商品を含むブログを見る 機械学習の評価方法について学習 機械学習初心者ですが最近業務で本格的に触り始めています。少し前までSmartPhoneのWebAppliを作ることを専門職としていたので機械学習の領域は未知な事が非常に多く、用語の意味ですら十分に理解できていません。今日は機械学習の評価方法を中心に学習(勉強)した内容を記録して行きます。例えばPrecision/Accuracy/Recallの言葉の違いやROC曲線,AUC評価などの技法といったものが話の中心になります。初心者視点で書いていますので専門性がありません。間
データサイエンティストのつくり方
本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。 近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。 "Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise. The slides are made by the lecturer from outside our company, and shared here with his/her permission. Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステム
Algorithm::NaiveBayesで2ch系まとめサイトをカテゴライズしてみた - 岩手からこんにちは ☆彡 perl とかウェブ系なブログ
2ch系まとめサイトのアンテナ？的な新着サイトは結構あるんですが、勉強もかねてAlgorithm::NaiveBayesでベイズ使ってカテゴライズしてみたメモ。 Algorithm::NaiveBayes http://search.cpan.org/~kwilliams/Algorithm-NaiveBayes-0.04/lib/Algorithm/NaiveBayes.pm 目標 はてぶみたいに自動でカテゴリ分けしたい 参考に・・ 新はてなブックマークでも使われてるComplement Naive Bayesを解説するよhttp://d.hatena.ne.jp/tkng/20081217/1229475900上のサイトをみるとはてなではComplement Naive Bayesがつかわれてるっぽいです。 ここではAlgorithm::NaiveBayes 単純ベイズを使いました。
生成モデル - 機械学習の「朱鷺の杜Wiki」
生成モデル (generative model) / 識別モデル (discriminative model)† クラス分類を解くための手法は識別モデルと生成モデルに分けられる． データとクラスの確率変数をそれぞれ \(X\) と\(C\) で表す． パラメータは \(\theta=(\theta_1,\theta_2)\)． 生成モデル (generative model) \(X\) と\(C\) の結合確率をモデル化： \[\Pr[X,C|\theta]=\Pr[X|C,\theta_1]\Pr[C|\theta_2]\] パラメータはデータ集合とパラメータの同時確率を最大化するように学習： \[\Pr[\{x_i,c_i\}_i^N,\theta]=\Pr[\theta]\prod_i^N\Pr[x_i,c_i|\theta]=\Pr[\theta]\prod_i^N\Pr[x_i
機械学習(1) - スタンフォード大学の講義から | Synergy Marketing LAB BLOG
こんにちは、馬場です。 1月より研究開発グループの一員として活動していますが、日々感じること。それは私にはコンピュータサイエンスの基礎知識が足りない！ そこで、この場を借りてきっちり勉強したいと思っています。テーマは機械学習。ちょうどcoursera で機械学習が開講中。その内容や感想などをまとめていきます。（ここまで自分を追い込めばさすがの私も勉強するでしょう） coureseraは世界の大学の講義を無料で提供するWebサービス。講義の動画だけでなく、小テストやプログラムなどの課題や受講者同士のコミュニケーションの場も提供しています。 今回は、第１週、第２週の内容のまとめです。 1. イントロダクション 講義は、機械学習とはなにか、簡単な紹介から始まります。 機械学習は、今や「必要なITスキル12」のトップにあげられるような重要な技術です。機械学習により、コンピュータに新たな能力が加わり
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mahoutにパッチを送ってみた
Charming Python: Functional programming in Python, Part 3
