スパースモデリングはなぜ生まれたか？ 代表的なアルゴリズム「LASSO」の登場 (1/3)：CodeZine（コードジン）
本連載は「これから機械学習に取り組みたい」「ディープラーニングや機械学習を使った経験がある」といったエンジニアに向けて、データ量が少なくても分析が実現できる「スパースモデリング」という手法を紹介します。今回は、スパースモデリングの歴史を紐解きながら、その代表的なアルゴリズムであるLASSOについて解説します。 スパースモデリングの基本アイデア オッカムの剃刀 2010年代初頭にバズワードにまでなったビッグデータ。今では当時の過熱ぶりはなくなり、ハードウェアやクラウド環境の充実とともに活用が広がっています。ビッグデータには一つの明確に定まった定義はありませんが、RDBMSでは扱いづらくなるほどの大量データであるという量的側面と、データの出処やその種類が多種多様であるという質的側面などが特徴として挙げられます。ビッグデータが手元にあり、解きたいビジネス課題にそのビッグデータを使うのが適当である
FightCode - Killing Robots for Fun
Code robots in javascript and watch them fight.
PythonによるDeep Learningの実装（Restricted Boltzmann Machine 編） - Yusuke Sugomori's Blog
機械学習の分野で最近話題になってきている Deep Learning。 Deep Learningでは、何層ものニューラルネットワークを用いて訓練・予測を行いますが、各層でそれぞれ学習を行い、段階的に特徴を抽出していくのがこれまでの機械学習手法と異なる点です。 最近の動向については、 Learning Deep Architectures for AI (Bengio 2009) で詳しくまとめられています。 今回は、Deep Learningにおける各層の学習で用いられている Restricted Boltzmann Machine （RBM, 制約付きボルツマンマシン）のコードを紹介します。 ソースは以下。 Referencesにも書いてあるように、RBMを含むDeep LearningのコードはDeepLearningTutorialsにあるのですが、theanoという特殊なpyth
きつねさんでもわかるLLVM - 達人出版会
内容紹介本書は趣味でLLVMを触っている著者二人のLLVMをもっと普及させていきたいと思いから生まれたLLVM解説本です。 LLVMは今非常に注目されていますが、度重なるAPI仕様の変更や公式ドキュメントの充実さなどが理由で、まとまった解説がなされたものはありませんでした。本書によりまとまった情報が日本語で手に入るようになり、多くの方にLLVMを知って頂けると幸いです。 本書ではLLVMを使用したコンパイラの作り方を順を追って説明しLLVMへの理解を深めてもらおうというのがコンセプトになっています。フロントエンド(中間表現出力まで)、ミドルエンド(最適化)、バックエンド(オブジェクト生成)と幅広く解説していますので多くの方に有用な内容を含んでいるのではないでしょうか。 LLVMの用途は多岐にわたり，本書では解説できていない部分もありますが，初心者向けの情報としてLLVMを利用するための基礎
パナソニック、CMOS回路上での強誘電体メモリスタ形成に成功
パナソニックは、アナログデータを記憶、再生できる「強誘電体メモリスタ」をCMOS回路上に形成することに成功したと発表した。 パナソニックは、アナログデータを記憶、再生できる「強誘電体メモリスタ」をCMOS回路上に形成することに成功したと発表した。同社では、「世界初の成果」とし「電子回路上で『人の思考』の一部を再現するニュートラルネットワーク処理に応用した場合、消費電力を最大1/10に削減できる」とする。 メモリスタとは、流れた電流量により抵抗値が変わり、その状態を保持する機能を持つ素子で、抵抗、コンデンサ、インダクタに続く「第4の受動素子」とされる。従来の「0,1」で記憶するデジタルメモリに対し、0～1までの任意の中間値をアナログデータとして記憶、再生でき、より多くの情報を記憶できるという。パナソニックでは、強誘電体の材料を用いて、メモリスタに近い機能、動作を実現できる強誘電体メモリスタを
バックプロパゲーション - Wikipedia
バックプロパゲーション（英: Backpropagation）または誤差逆伝播法（ごさぎゃくでんぱほう）[1]はニューラルネットワークの学習アルゴリズムである[2]。 概要[編集] バックプロパゲーションは数理モデルであるニューラルネットワークの重みを層の数に関わらず更新できる（学習できる）アルゴリズムである。ディープラーニングの主な学習手法として利用される。 そのアルゴリズムは次の通りである： ニューラルネットワークに学習のためのサンプルを与える。 ネットワークの出力を求め、出力層における誤差を求める。その誤差を用い、各出力ニューロンについて誤差を計算する。 個々のニューロンの期待される出力値と倍率 (scaling factor)、要求された出力と実際の出力の差を計算する。これを局所誤差と言う。 各ニューロンの重みを局所誤差が小さくなるよう調整する。 より大きな重みで接続された前段のニ
サポートベクターマシン - Wikipedia
サポートベクターマシン（英: support-vector machine, SVM）は、教師あり学習を用いるパターン認識モデルの1つである。分類や回帰へ適用できる。1963年にウラジミール・ヴァプニク（英語版）とAlexey Ya. Chervonenkisが線形サポートベクターマシンを発表し[1]、1992年にBernhard E. Boser、Isabelle M. Guyon、ウラジミール・ヴァプニクが非線形へと拡張した。 サポートベクターマシンは、現在知られている手法の中でも認識性能が優れた学習モデルの1つである。サポートベクターマシンが優れた認識性能を発揮することができる理由は、未学習データに対して高い識別性能を得るための工夫があるためである。 基本的な考え方[編集] サポートベクターマシンは、線形入力素子を利用して2クラスのパターン識別器を構成する手法である。訓練サンプルから
遺伝的アルゴリズムを楽しく理解できるサイトをまとめてみた - download_takeshi’s diary
女優の菊川怜さんが学生時代に研究テーマにしていたという事で有名な「遺伝的アルゴリズム」ですが、名前の仰々しさとは裏腹に、意外と直感的に理解できる取っ付きやすいアルゴリズムだったりします。 それにしても菊川怜さん、美人ですねー。こんな先生にイロイロと教えてもらいたかったなぁ。。。 という願望はおいといて、「遺伝的アルゴリズム」を目で見て＆手で触って、直感的に「理解したつもり」になれそうなサイトをまとめてみました！ 学術的なことはガン無視でいきます。 動画で見て雰囲気を知る まずは動画で見て楽しみましょう。ニコ動から何本か動画を紹介します。 【人工知能】物理エンジンで人工生命つくって学習させた http://www.nicovideo.jp/watch/sm6392515 いきなりですが、強烈なインパクトをはなつ動画です。 人工生命がうにょうにょ動きながら、勝手に「歩き方」を学んでいきます。超
大脳皮質と deep learning の類似点と相違点
脳とdeep learning のアーキテクチャには共通の特徴が多くありますが、 脳にはあるのに現在(2012年時点)の deep learning にはない重要な特徴もあります。 その中には deep learning の性能をさらに向上させる 有望なヒントが含まれているのではないかと思います。 そこで、大脳皮質と deep learning の類似点と相違点を簡単にまとめてみました。 特に「脳は上の層ほど発火がスパース」「脳はあまり深くなくむしろ横に広い」 「脳では領野ごとに強い個性がある」といった特徴は、 重要なのではないかと思います。 ◆ 大脳皮質に見られる「深いネットワーク」 大脳皮質の視覚野（腹側経路と背側経路）、聴覚野、体性感覚野、運動野には 「深いネットワーク」の構造が見られる。 これらの領域における主な領野の階層構造を [Felleman and Essen 1991]
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
人の助けを必要としない、AIの「直感」学習モデル
ネット学習して『モナー』も描ける、東工大のロボット
Wikibooks
＠IT：XMLカレッジ―総合インデックス