スパースモデリングはなぜ生まれたか？ 代表的なアルゴリズム「LASSO」の登場 (1/3)：CodeZine（コードジン）
本連載は「これから機械学習に取り組みたい」「ディープラーニングや機械学習を使った経験がある」といったエンジニアに向けて、データ量が少なくても分析が実現できる「スパースモデリング」という手法を紹介します。今回は、スパースモデリングの歴史を紐解きながら、その代表的なアルゴリズムであるLASSOについて解説します。 スパースモデリングの基本アイデア オッカムの剃刀 2010年代初頭にバズワードにまでなったビッグデータ。今では当時の過熱ぶりはなくなり、ハードウェアやクラウド環境の充実とともに活用が広がっています。ビッグデータには一つの明確に定まった定義はありませんが、RDBMSでは扱いづらくなるほどの大量データであるという量的側面と、データの出処やその種類が多種多様であるという質的側面などが特徴として挙げられます。ビッグデータが手元にあり、解きたいビジネス課題にそのビッグデータを使うのが適当である
ニューラルネットワークが持つ欠陥「破滅的忘却」を回避するアルゴリズムをDeepMindが開発した論文を読んだ - Qiita
はじめに ニューラルネットワークが持つ欠陥「破滅的忘却」を回避するアルゴリズムをDeepMindが開発したらしいので、元論文を読んでみた。 Overcoming catastrophic forgetting in neural networks https://arxiv.org/abs/1612.00796 Introの最初から汎用人工知能とかいきなり出てくるのでおおっと思うが、やってることはめちゃくちゃシンプル 端的に言えば学習したニューラルネットのパラメータのそのタスクに対する重要度がフィッシャー情報行列で測れるよ 脳神経科学系の単語が結構出てくるので、専門家がいるのかな？とはいえこの背景は後付で、アルゴリズムが先なんじゃないかな… 元の論文では数式を端折っている箇所があるので、適宜補完しつつ、直感的解釈とかは勝手に入れている。論文の流れにはそこまで沿っていない 不正確・間違ってい
深層強化学習：ピクセルから『ポン』 – 前編 | POSTD
(訳注：2016/6/28、記事を修正いたしました。) 本記事は、もう随分と前から投稿したいと思っていた強化学習（RL）に関するものです。RLは盛り上がっています。皆さんも既にご存知のこととは思いますが、今やコンピュータは ATARI製ゲームのプレイ方法を自分で学習する ことができ（それも生のゲーム画像のピクセルから！）、 囲碁 の世界チャンピオンにも勝つことができます。シミュレーションの四肢動物は 走って飛び跳ねる ことを学習しますし、ロボットは明示的にプログラミングするのが難しいような 複雑な操作のタスク でも、その実行方法を学習してしまいます。こうした進歩はいずれも、RL研究が基となって実現しています。私自身も、ここ1年ほどでRLに興味を持つようになりました。これまで、 Richard Suttonの著書 で勉強し、 David Silverのコース を通読、 John Schulm
深層学習ライブラリ Keras - 人工知能に関する断創録
ここ1年くらいDeep Learning Tutorialを読みながらTheanoというライブラリで深層学習のアルゴリズムを実装してきた。 深層学習の基本的なアルゴリズムならTheanoでガリガリ書くこともできたがより高度なアルゴリズムをTheanoでスクラッチから書くのはとてもきつい*1。 そんなわけでPylearn2、Lasagne、nolearnなどのTheanoベースのラッパーライブラリをいろいろ調べていたのだが、結局のところKerasというライブラリが一番よさげだと思った。KerasはバックエンドとしてTheanoとTensorflowの両方が使え、より高レイヤな表現（たぶんChainerと同レベル）で深層学習のさまざまなアルゴリズムが記述できる。TheanoやTensorflowは完全に隠蔽されており、Kerasで書かれたプログラムはまったく修正せずにTheanoとTensor
面白そう。機械学習アルゴリズムまとめ - mobile hack 楽しい生活情報を携帯しよう
growthseed.jp
グリッターとアルゴリズムで画像復元する技術
新型の画像アルゴリズム、スパークル・ビジョンってご存知ですか？ とてもとても小さい鏡のようなグリッター。その反射光を使って、画像を映し出す技術画像アルゴリズムは スパークル・ビジョンと呼ばれています。グリッターで表面をコーティング、グリッターひとつひとつの反射を使って、オバマ大統領の顔を映し出すことができるのです。 スパークル・ビジョン以前は、グリッターボードを使用していました。ボードや写真の反射をコンピュータースクリーンに反映させる研究は、MIT（マサチューセッツ工科大学）の3人の学者達によって始まりました。 最初はグリッターボードでパソコン画面に画像を反射させて、それを写真に撮るところから始めました。人間の目に、グリッターの反射光はただのピカピカしたものにしか映りません。グリッターひとつひとつは、ばらばらの方向に向いた、とても小さい鏡のようなものですが、その3人の科学者達はこれを｢ラン
コンピュータを進化させてきた偉大なるアルゴリズムまとめ
By Kai Schreiber IT技術の進化のスピードには目を見張るものがありますが、それを支えているのはアルゴリズムと呼ばれる処理方法(技術的アイデア)です。さまざまなアルゴリズムの中でも、コンピュータの進化に革命的な影響をもたらしたとされる偉大なアルゴリズムは以下の通りです。 Great Algorithms that Revolutionized Computing http://en.docsity.com/news/interesting-facts/great-algorithms-revolutionized-computing/ ◆ハフマン符号(圧縮アルゴリズム) Huffman coding(ハフマン符号)は、1951年にデービッド・ハフマン氏によって開発されたアルゴリズム。頻出頻度の大小によって対戦するトーナメントツリーを考えて、ブロックごとに0と1の符号をもたせる
マルコフ連鎖で日本語をもっともらしく要約する - ザリガニが見ていた...。
そもそも、マルコフ連鎖とは何なのか？全く聞いたこともなかった。そして、文章を要約するのはとっても高度なことだと思っていて、自分のレベルではその方法を、今まで思い付きもしなかった。 しかし、以下のようなシンプルなRubyコードでそれが出来てしまうと知った時、目から鱗である...。一体、何がどうなっているのだ？コードを追いながら、マルコフ連鎖を利用するという発想の素晴らしさを知った！ 作業環境 MacBook OSX 10.5.7 ruby 1.8.6 (2008-08-11 patchlevel 287) [universal-darwin9.0] mecab utf8環境でインストール済み マルコフ連鎖に出逢う rssを流し読みしていると、以下の日記に目が止まった。（素晴らしい情報に感謝です！） MeCabを使ってマルコフ連鎖 一体何が出来るコードなのか、日記を読んだだけではピンと来なかっ
自動要約アルゴリズムを公開しました！ | カメリオ開発者ブログ
要点から言うと、この度試験的に自動要約サービスを公開しました。画像をクリックしてGo! こんにちは、白ヤギの自然言語処理見習い、シバタアキラです。忙しい時に余計なことを聞かされると、イラっとクルものです。「いいから要点にまとめてくれない？」とか、夫婦間でいうのはあまりオススメしませんが、職場ではよく聞かれるのではないでしょうか。戦略コンサルティング会社は「３っつで言うと」とよく言うことでも知られているように、要点をまとめてササッと話せる人を大量生産しており、実際に重要なポイントをコンサイスに表現できる人は「よく出来る」ということになるわけです。 アルゴリズムによる自動要約の研究は最近始まったものではなく、既に10年以上の研究がなされており、理論的にも体型だって論じられているようです。自然言語処理学会では、各種の問題に対してアルゴリズムの公募が行われていますが、2007／2008年にはNIS
粒子法のプログラム第１回（概要）
粒子法のプログラムを実装しようとしたのですが、論文や本だと数式レベルでしか説明がなく、それをプログラムにして動くようにするまで苦労しました。 数式をプログラムに落とすこと自体は簡単なのですが、各定数の値が分からなかったりして、粒子が上手く動いてくれるまで大変でした。 なので、同じところでつまづく人も多いのではと思い、自分が書いた粒子法のプログラムを紹介しようと思います。下の動画を作ったときのプログラムです。SPH法です。 こちらがソースコードです。 ※2009.11.4追記 こちらに整理したC++版のほか、Haskell版、OCaml版のコードがあります。 まずはシンプルにと考え、近傍粒子の探索は工夫せず、n(O^2)ですがわかりやすいアルゴリズムを採用しています。まず動くコードを書き、そこから高速化していくアプローチです。 また、計算量を減らした方が試しやすいのと、粒子法は３次元への拡張
マルコフ連鎖モンテカルロ法 - Wikipedia
出典は列挙するだけでなく、脚注などを用いてどの記述の情報源であるかを明記してください。記事の信頼性向上にご協力をお願いいたします。（2016年3月） マルコフ連鎖モンテカルロ法（マルコフれんさモンテカルロほう、英: Markov chain Monte Carlo methods、通称MCMC）とは、求める確率分布を均衡分布として持つマルコフ連鎖を作成することによって確率分布のサンプリングを行う種々のアルゴリズムの総称である。具体的には、同時事後分布に従う乱数を継時的に生成する。代表的なMCMCとしてメトロポリス・ヘイスティングス法やギブスサンプリングがある。 MCMCで充分に多くの回数の試行を行った後のマルコフ連鎖の状態は求める目標分布の標本として用いられる。試行の回数を増やすとともにサンプルの品質も向上する。 求められる特性を持つマルコフ連鎖を作成することは通常難しくない。問題は許容で
Bitcoinをざくざく掘り出す、モンスター・マシンたち
Bitcoinをざくざく掘り出す、モンスター・マシンたち2013.04.17 20:0010,292 福田ミホ うちのパソコンじゃ、絶対かなわないような。 Bitcoinが今注目を集めています。その価値は下がって、急上昇して、また下がっています。新たにBitcoinの世界に入ってくる人も多く、コインを少し買ってそれで買えるものを物色したり、リアル通貨と交換して相場変動でひともうけしようとしたりしています。 でもそんなBitcoinバブルの中、粛々とBitcoinをマイニングし続けているスペシャリストたちがいます。暗号解読をより速く、より効率良くすることで、少しでも多くの｢お金｣を掘り出そうとしています。 Bitcoinは当初、どんなコンピューターでもヒマつぶしに参加できる程度のものでした。でも今や、Bitcoinで真剣に稼ごうとしている人は専用のマイニングマシンを使っています。普通の人が今
http://www.hpcs.is.tsukuba.ac.jp/~daisuke/pi-j.html
2009 年 8 月 17 日 我々の最新の記録を以下に示します。 宣言した記録： 2 兆 5769 億 8037 万桁 二つの異なるアルゴリズムに基づく二つのプログラムを使用して得られた 2 兆 5769 億 8037 万 7600 桁 (=75*2^35桁) の値を比較したところ 2 兆 5769 億 8037 万 7524 桁まで一致（すなわち最後の 76 桁のみ異なっ ていた）していた。そこで、記録の安全性と記憶のしやすさを考慮し、切り の良い 2 兆 5769 億 8037 万桁を新記録と宣言した。 主計算について： 計算開始 ：2009 年 4 月 9 日 午前 07 時 37 分 32 秒 計算終了 ：2009 年 4 月 10 日 午後 12 時 43 分 21 秒 経過時間 ：29 時間 05 分 49 秒 主記憶容量 ：13.5 TB アル
マルコフモデルを使った人工無能の作り方 - Hacking My Way 〜 itogのhack日記
2014/12/13 追記 このブログで参考にしていた絶版本の復刻版が出たようです。 追記ここまで 先日、チャットボットを作りました。 「恋するプログラム」という本を参考にしたのですが、この本、既に絶版になっていて、Amazonのマーケットプレイスではなんと定価の3倍以上の値段で売られています！ うーん、これだと手が出ない、けど内容知りたい、、という方のためにクラス図を描きました。本書には設計図がかかれてなかったので、持ってる人も確認する意味での役には立つかも知れませんし、Rubyは書けないよ！という方の参考にもなるかと思います。 本書で紹介している人工無能の最終形はこんな感じです。 Nobyというのが人工無能のキャラクター、Unmoが人工知能のメインクラスです。Emotionは感情のモデル、Responderが返答内容を作るクラスで、DictionaryやMorph、Guguluなどを参
Category:機械学習 - Wikipedia
下位カテゴリ このカテゴリには下位カテゴリ 16 件が含まれており、そのうち以下の 16 件を表示しています。
バックプロパゲーション - Wikipedia
バックプロパゲーション（英: Backpropagation）または誤差逆伝播法（ごさぎゃくでんぱほう）[1]はニューラルネットワークの学習アルゴリズムである[2]。 概要[編集] バックプロパゲーションは数理モデルであるニューラルネットワークの重みを層の数に関わらず更新できる（学習できる）アルゴリズムである。ディープラーニングの主な学習手法として利用される。 そのアルゴリズムは次の通りである： ニューラルネットワークに学習のためのサンプルを与える。 ネットワークの出力を求め、出力層における誤差を求める。その誤差を用い、各出力ニューロンについて誤差を計算する。 個々のニューロンの期待される出力値と倍率 (scaling factor)、要求された出力と実際の出力の差を計算する。これを局所誤差と言う。 各ニューロンの重みを局所誤差が小さくなるよう調整する。 より大きな重みで接続された前段のニ
人工免疫システム - Wikipedia
人工免疫システム（じんこうめんえきシステム、英: Artificial Immune System, AIS）は、生物の免疫系の原理やプロセスにヒントを得たコンピュータシステムである。そのアルゴリズムは免疫系の学習と記憶の特性を問題解決に利用する。人工知能と一部のAISアルゴリズムを組み合わせたものもあり、遺伝的アルゴリズムと密接に関連している。 AISでシミュレートされるプロセスとしては、B細胞のパターン認識や過剰変異やクローン選択、T細胞の negative selection、親和性成熟、免疫ネットワーク理論などがある。 本項目では、これらのプロセスのアルゴリズム的実装に関するものである。その基盤となる生物学的理論については、免疫系を参照されたい。 パターン認識[編集] 抗体と抗原は一般に一連の属性で表される。属性はバイナリ、整数、実数などが多いが、基本的にどんなデータでもよい。マッ
群知能 - Wikipedia
群知能（ぐんちのう、むれちのう、swarm intelligence, SI）は、分権化し自己組織化されたシステムの集合的ふるまいの研究に基づいた人工知能技術である。「群知能」という用語は、1989年 Beni および Wang が提唱したもので、セルラーロボットシステムに関して使ったのが最初である[1](セル・オートマトン、進化的計算も参照されたい)。 SIシステムは一般に単純なエージェントやボイドの個体群から構成され、各個体はローカルに互いと、そして彼らの環境と対話する。個々のエージェントがどう行動すべきかを命じている集中的な制御構造は通常存在しないが、そのようなエージェント間の局所相互作用はしばしば全体の行動の創発(emergence)をもたらす。このようなシステムの自然界の例として、アリの巣、鳥の群れ、動物の群れ、細菌のコロニー、魚の群れなどがある。[2] 群ロボット工学は群知能の
粒子群最適化 - Wikipedia
粒子群最適化（りゅうしぐんさいてきか、Particle Swarm Optimization、PSO）とは、群知能の一種。 昆虫の大群や魚群において、一匹がよさそうな経路を発見すると（すなわち、食料を発見したとか安全であるという場合）、群れの残りはどこにいても素早くそれに倣うことができる。 これは多次元空間において位置と速度を持つ粒子群でモデル化される。これらの粒子はハイパー空間を飛びまわり、最善な位置を探す。位置の評価は適応度関数で行う。群れのメンバーは良い位置について情報交換し、それに基づいて自身の位置と速度を調整する。このコミュニケーションは主に次の二種類の方法でなされる。 最も良い位置にいる粒子が全体に通知される。 ローカルなベストの位置にいる粒子が近傍の粒子群に通知される。 位置と速度の更新は以下の式で行われ、これが繰り返される。 は、慣性定数。多くの場合 1 より若干小さい値が
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
