［機械学習革命1］嘆く天才プログラマー
「自ら学習するマシンを生み出すことには、マイクロソフト10社分の価値がある」。 米マイクロソフトの創業者ビル・ゲイツ氏は今から10年前の2004年2月にこう語った。 その時は来た。 米グーグルや米アップル、米フェイスブックといった先進IT企業は今、コンピュータがデータの中から知識やルールを自動的に獲得する「機械学習」の技術を駆使し、様々なイノベーションを生み出し始めている。 これらは来たる機械学習革命の、ほんの序章に過ぎない。 機械学習の本質は、知性を実現する「アルゴリズム」を人間の行動パターンから自動生成することにある。 この事実が持つ意味は、果てしなく大きい。 今後、実社会における様々な領域で「人間の頭脳を持つプログラム」が登場する一方、データの中から知識やルールを見つけ出したり、プログラムを開発したりするデータサイエンティストやプログラマーの仕事が、機械に置き換えられてしまうからだ。
因果推論祭り、Tokyo.R、機械学習ハッカソンなどの話 -
京都二週間目にしていきなり平日に休みをとり、東大で行われた"渾身のガチ企画：『夏の統計的因果推論祭り』"に参加しました。 http://takehiko-i-hayashi.hatenablog.com/entry/2014/04/30/120251 "調査観察データの統計科学―因果推論・選択バイアス・データ融合"の著者としても有名な東大の星野先生(Rubin学派の方)とJudea Pearlの"Causality"の翻訳者でPearlから直に電話がかかってくるという統数研の黒木先生が講演をされていました。この因果推論の主要二学派の話が3時間で両方聞けるのは世界でも稀な機会だったのではないかと思います。 星野先生は主にpotential outcome frameworkによる因果効果の定義の話、propensity scoreの概念的なはなし(具体的な手法というよりは概念的だったと思う)
2048のAIを書かなかった話。あるいは遺伝的プログラミングの話 - isEOL(@Angelworm_)
序 KMCでは2048のAIを作って戦わせるコンテストである「第一回2048AIコンテスト 結果報告 - KMC活動ブログ」が開催たそうですね。これを見て2048AIを私も作ってみたくなりました。 ところで、ボードゲーム上でAIとはおおよそ「勝率が最も高まる手を現在の状況を元に出力する」ものだと思います。チェスなどのゲームに置いて有名な「ミニマックス法」などは相手が最も自分に取って都合が悪い選択をして、自分が最高の選択をし続けた場合一番最初に選ぶべき最高の手を出力するアルゴリズムです。 このような次におこる状況を予測して手を決定するアルゴリズムは、探索アルゴリズムなんて呼ばれたりしています。 探索アルゴリズムを利用する上で大事なのは、読みの深さと評価関数の良さです。読みの深さとは、言葉の通りゲームの状況を何手先まで読む事が出来るかを表し、深ければ深いほどより大局的な戦い方が出来るようになる
判別分析法（⼤津の2値化）
B: B:画像処理の基本操作 (4)しきい値⾃動設定 【解説】 画像の統計量を利⽤して，2値化のしきい値を決定する ①Pタイル法 ②モード法 画像の⼆値化したい領域が全 画像の領域に占める割合を パーセント（％）で指定し⼆ 値化する⼿法．パーセントは 別の⽅法で求めなければなら ず，完全⾃動ではない． 100 画像の濃度ヒストグラムを求 めた時、「双峰性」の分布を ⽰す場合、濃度ヒストグラム の「⾕」の位置を閾値に決め る⽅法．⾕ができない場合に は難しい． 20 頻度の最大 値を検索 累 積 50 ％ しきい値 0 127 画素値 “40%”と決める 頻 度 10 ％ しきい値 中点 頻度の最大 値を検索 255 0 127 画素値 255 Powerpoint Templates Page 27 B: B:画像処理の基本操作 (4)しきい値⾃動設定 ③判別分
判別分析法による二値化
■判別分析法による二値化 判別分析法 画像をパターン領域(クラス１)と背景領域(クラス２)に分離する。 輝度ヒストグラムを用いて、最もクラス分離の良い閾値を決定する。 （クラス内分散が最小で、クラス間分散が最大の位置を求める。） ヒストグラムに双峰性がなくても閾値を決定できる。 ①全画素の明度平均値：μ0 ②ある閾値tでクラス分けしたとき、クラスi(=1,2)の 分散 ： σi^2 平均値 ： μi 画素数 ： ni ③クラス内分散： σW^2 = ( n1*σ1^2 + n2*σ2^2 )/(n1+n2) ④クラス間分散： σB^2 = ( n1(μ1-μ0)^2 + n2(μ2-μ0)^2 )/(n1+n2) (σB^2)/(σW^2)が最大になる t が閾値となる。 処理フロー グレースケール変換する ヒストグラムを作成する ヒストグラムの上限値、下
【機械学習】『コンピュータビジョン最先端ガイド6』はディープラーニングの分かりやすい解説があるのでもっと話題になっていいと思う - 歩いたら休め
グーグルの猫以来、ディープラーニングに興味を持っている人自体は多いものの、（自分も含めて）理解して実装できる人はそう多くないように思われます。 そんな人がステップアップできそうな本がありました。 コンピュータビジョン最先端ガイド6 (CVIMチュートリアルシリーズ) 作者: 藤代一成,高橋成雄,竹島由里子,金谷健一,日野英逸,村田昇,岡谷貴之,斎藤真樹,八木康史,斎藤英雄 出版社/メーカー: アドコムメディア 発売日: 2013/12/11 メディア: 単行本 この商品を含むブログを見る 第四章で東北大学情報科学研究科の岡谷貴之さん、齋藤真樹さんによるディープラーニングの詳しい解説があります。 私もまだほとんど読んでないのでアレですが、ディープラーニングとしてニューラルネットワークが注目された経緯、畳み込みニューラルネットワーク（CNN）やオートエンコーダの詳しい解説、ソフトウェア（The
JavaScriptで決定木 – Rest Term
前回のAS3でNaive Bayesによる文書分類に関連して機械学習による分類問題を扱います。 今回は決定木(Decision Tree)をCanvasに描いてみます。前回のナイーブベイズよりも決定木の方が解釈が簡単で、分類過程が見た目にも分かりやすいので手軽に試すことができました。今回も理論的な部分はWebや書籍の方を参考にしてもらって、ここでは試したことだけ書きます。 今回扱う問題は集合知プログラミングにある「サインアップを予測する」を取り上げます。これは、あるユーザーがあるWebサービスの無料会員になるか有料会員になるかを事前に集めたデータから予測する分類問題になっています。決定木は文章で説明するよりも、決定木そのものを見た方が意味が分かりやすいのでサンプルを載せます。 Demo: Decision Tree on Canvas この決定木の見方ですが、例えばリファラーが”googl
TopCoder マラソンマッチ AlleleClassifier に参加した(11/154位) - 唯物是真 @Scaled_Wurm
マラソンマッチというのは10日間ぐらいの期間で問題を分析しコードを書いてスコアを競う競技です。 今回ので3回めのマラソンマッチ参加。 序盤は上位にいられたのですが、終盤は失速してしまいましたorz 順位表 http://community.topcoder.com/longcontest/stats/?module=ViewOverview&rd=15876 問題の説明 AlleleClassifier 問題の内容は与えられたデータ点(\(x, y\)の2次元の値)の6つのラベルへの分類でした。 与えられたデータ点はいくつかのマップごとに与えられています。 ラベルは'0'、'0 or 1'、'1'、'1 or 2'、'2'、'>2'となっていて、マップ内のデータ点は\(z = x - y\)の値の昇順に6つのラベルに分けられています。 問題文にも書いてあるのですが、マップごとに大きく値とラ
自分の英語文書をマイニングして次に学ぶべき単語リストを自動生成する方法(暦本式語彙増強法) - NextReality
英単語の語彙をどうやって増やしたらいいだろうか。やみくもに単語集みたいなものを順に覚えていくのも道程が長そうだ。また、一般論ではなく自分がよく書く分野に特化して語彙を増やしたい。ということで、テキストマイニングを使ってやる方法を考えてみた。方針は以下の通りである： 自分が今までに書いたすべての（英語）の文書を解析して、品詞ごとに出現回数でソートする。 つぎに、自分の所属するコミュニティの文書（たとえば自分がよく参加する学会に掲載される論文など）をなるべく大量にあつめて、同じように品詞ごとに出現回数でソートしておく。 両者を比較して、そのコミュニティでは使用頻度が高いにも関わらず、まだ使ったことのない単語を抽出して自分専用の「単語集」をつくる。 こうやって抽出された単語集を勉強すれば、一般的な単語集を使うよりも効率がいいのではないだろうかという目論みだ。対象となる分野を選んでいるのは、たとえ
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Matrix Factorizationとは - Qiita
Machine Learning Advent Calendarです。 普段はGunosyという会社で推薦システムを作ってます はじめに 推薦システムに関する最近の文献を読むと結構な割合で出てくるMatrix Factorizartion(MF)と呼ばれる手法があります。 ざっくり言うとこの手法は協調フィルタリングにおける次元削減を行うことでよりよい推薦を行おうという手法であり、 Netflix Prize(100万ドルの賞金が賭けられた推薦システムのコンテスト)で最も成果を上げたモデルの一つでもあります。 本記事ではこの手法を紹介していきます。 協調フィルタリング まず協調フィルタリングについておさらいしましょう。 あるサービスで3人のユーザが５つのアイテムに対して5段階評価をしたとき、その評価値を以下のようにベクトルで表すことができます。
PRML/course - 機械学習の「朱鷺の杜Wiki」
必要な事前知識† 微積分：多変量の微分や積分は必要です．ラグランジュの未定乗数法や簡単な変分も必要ですがこれらは付録に簡単な解説があります．複素数の微積分については不要です． 線形代数：3×3以上の固有値・逆行列，行列に対する微積分は必要ですが，これらについては付録に簡単にまとめられています．\(l^2\)空間やヒルベルト空間，複素数については不要です． 確率：基礎については1章で述べられていますが，確率の扱いや考えに慣れていると便利です．確率測度など公理にまで踏み込んだ知識や，統計の検定などの知識は不要です． ↑ 本書に関連する分野† 以下の分野でデータからの予測や分析が必要とされる分野 対象分野：本書と直接的な関連がある分野には次のようなものがあります． 機械学習，パターン認識，統計，データマイニング 応用分野：機械学習，パターン認識，統計的予測技術が応用されている分野には次のようなも
Deep Learning : Bengio先生のおすすめレシピ - a lonely miner
先日，身内の勉強会(&ラボの勉強会)で，Deep Learningについてお話してきました．これまで興味がなさそうだったのに何故急に？というのはおいておいて． 紹介したのは，Deep Learningの第一人者のひとり， Yoshua Bengio先生自身が執筆された，以下の論文． Yoshua Bengio, Practical recommendations for gradient-based training of deep architectures, arXiv:1206.5533v2, 2012 どうやら書籍の草稿のようで，Bengio先生の長年の研究で得られたさまざまなノウハウ(最近の手法まで)がぎっしり詰め込まれています．すごい． 以前から気にはなりつつも，ちょっと分量が多い(30ページくらいある)ので，なかなか手を出すことができなかったのですが，ようやくヤル気が出てきた
口コミマーケティングのための劣モジュラ関数の話
PLAY to win the product development race. SERIOUSLY (Donna Denio and Dieter R...
【リクナビNEXT】で転職！
現在、あなたがお使いのブラウザは、Cookie（クッキー）をブロックする設定になっています。 リクナビＮＥＸＴでは、個人情報保護と利便性の観点からクッキーの使用をお願いしています（個人情報収集等の目的では使用しておりません）。お手数ですが、ブラウザの設定を変更してください。
ウェーブレット木の効率的で簡単な実装 "The Wavelet Matrix" - EchizenBlog-Zwei
久しぶりに論文を読んだ。 http://www.dcc.uchile.cl/~gnavarro/publ.html The Wavelet Matrix Claude & Navarro; SPIRE2012 "The Wavelet Matrix"はSPIRE2012のNavarro無双のうちの一本。タイトルからするとウェーブレット木の拡張のように思える。 機能としてはウェーブレット木と同一でデータ列に対するaccess,rank,selectを提供する。しかし実装は既存手法と比べて効率的でしかも簡単になっている。 これまでにウェーブレット木の実装としてはノードをポインタでつないだ普通の木として実装する方法(Standard Wavelet Tree. 論文のAlgorithm 1)と、木の階層ごとにノードをつなげた配列で表現する方法(Levelwise Wavelet Tree. 論文
中学生にもわかるウェーブレット行列 - アスペ日記
id:echizen_tm さんの記事「ウェーブレット木の効率的で簡単な実装 "The Wavelet Matrix"」から始まったウェーブレット行列ブームから半年以上が過ぎ、すでに枯れた技術として確立されつつある感があります。 …嘘です。 日本以外ではあんまり来ていません。 理由としては、やはりアルファベット圏では単語境界が明確であるため、こちらの記事で書かれているような「キーワード分割の難易度」といったことがあまり問題にならないということがあるかもしれません。 まあ、そういうわけで局所的に来ているウェーブレット行列ですが、日本語をはじめとする単語境界のない言語圏にとっては重要なネタであると思うため、解説記事を書き直して*1みようと思います。 ウェーブレット行列でできること 主となる操作は、文字列に対する 定数時間の rank() と select()*2 です。 rank() は、「文
PRML の読む章・飛ばす章(私家版) - 木曜不足
機械学習の定番教科書の1つと言われ、各地で読書会が開かれる「パターン認識と機械学習」(PRML)。読み解くにはある程度の解析と線形代数の知識が必要なため、数学が苦手な学生さんや××年ぶりに数式を目にしたというエンジニアたちを次々と「式変形できない……」という奈落に叩き込んでいるという。 サイボウズ・ラボの社内 PRML 読書会でもその現象が発生。見かねた同僚の光成さんが PRML で使われている数学の解説だけではなく、PRML の中で省略されている式変形の過程も含めて書き下したメモ（社内通称：アンチョコ）が暗黒通信団から「機械学習とパターン認識の学習」という同人誌として出版され、全国のジュンク堂で購入可能となるとちょっとしたムーブメントががが。 現在はアマゾンでも購入可能となっているが、もともとのアンチョコも PDF で無料公開(CC-BY ライセンス)されているので、紙の本でないと勉強す
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習の Python との出会い — 機械学習の Python との出会い
組合せ最適化入門：線形計画から整数計画まで
