nVidiaもビビってる 世界最速スパコン神威太湖之光 - Qiita
DeepLearningや深層学習など、CUDAやGPGPUなどの需要が 急激に高まっている。 一方でnVidiaやATI(AMD)は元々3Dグラフィックスをベースに CUDAやGPGPUを発展させてきた。 決して、DeepLearningなどの汎用演算を想定してCUDAやGPGPUが 設計されきたわけではない。 ラスタライザやShaderコアなどで実装されている浮動小数演算器を、 より汎用的な演算に解放しよう努力はしているが ラスタライズ処理で必須とされる回路規模のインパクトは今日現時点でも軽くはない。 では、スパコン業界ではどうだろうか？ 時間レンタルでスパコンにTensorFlowを流したらどうだろうか？ 昨今のスパコンは、米国製、中国製 問わず Intel®Xeon®やnVidiaなどのハイエンドCPU/GPUを コア・パーツとして力技で組み上げられていた。 しかし、その力技にも限
各機械学習ライブラリの比較をまとめる - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この部分は需要が高いと思ったので、以下の自分の投稿から抜粋。 TensorFlowのチュートリアルを通して、人工知能の原理について学習する http://qiita.com/jintaka1989/items/3b70b5c5541620536fa2 以下のことについて知りたい人向けの記事。 ・各機械学習ライブラリの比較 ちなみに私はTensorFlowしか触っていないので、 この記事はブログなどを探索して、それをまとめたものである。 追記：実際にライブラリをいろいろ使ってみた人の感想はこちら https://speakerdeck.c
【論文シリーズ】画像・文字混合データをボルツマンマシンで学習する - Qiita
原文 DBMを用いた多形態データの学習(Multimodal Learning with Deep Boltzmann Machines) Nitish Srivastava (2012) 1. 要約／背景 画像と文字の混合データにDBMを適用したら、良好な結果を得られた。 テキストと画像では抽出データの型が異なるため、もともと併用が難しい テキスト→語数カウントベクトルであり、成分は離散的かつスパースである。 画像→ピクセルに分割し、各点の輝度をベクトルにまとめる。 SVMとLDA→混合データの認識に使われるが、教師データがない場合、特徴抽出ができない… 混合データによる学習イメージを下に示す。 画像をインプットした時に、意味(タグ登録してある)を選択識別する感じ。 2. 骨子の理論 分析過程の模式図を以下に示す。 ポイントは、画像の特徴とテキストの特徴をそれぞれ別のDBMで学習させるこ
【論文シリーズ】強化学習と深層学習を組み合わせる - Qiita
原文 強化学習における自己符号化器付き深層ニューラルネットワーク(Deep Auto-Encoder Neural Networks in Reinforcement Learning) Sascha Lange and Martin Riedmiller (2010) 1. 要約 (メモリ基盤の)バッチ強化学習(Reinforcement Learning; RL)アルゴリズムを考案した。これにより、自己符号化器でDNN (Deep Neural Network)を学習し、特徴空間を創出することができる。 メインの機械学習アルゴリズムは、MLP(Multi Layer Perceptions) 、いわゆる多層自己符号化器を使う。 2. 背景 強化学習は、次の2ステップからなる。 ①入力データから特徴を抽出する ②特徴空間から、教義(Policy)を学び、行動に落としこむ これまで、①は人
Amazonがオープンソースで公開したディープラーニングのライブラリ「DSSTNE」を使ってみる - Qiita
DSSTNEとは？ DSSTNEは、Deep Scalable Sparse Tensor Network Engineの頭文字を並べたもので、読み方は“Destiny”と読むらしい。 なぜ今アマゾンがDeep Learning(DL)のオープンソースを発表したのか？ DSSTNEは、既存のDeepLearningのオープンソースよりも、データがSparse(疎)なときに高いパフォーマンスを示すため、Amazonのように大量の商品データ、ユーザーデータを持ち、その二つのオブジェクトが購買、評価などの行動をした行動データを持つような疎行列データを持つ場合に強いDeapLearningのオープンソースと言える。 スパース(疎)行列データとは？ 疎行列（そぎょうれつ、英: sparse matrix）とは、成分のほとんどが零である行列のことをいう。 スパース行列とも言う。 有限差分法、有限体積法
Hierarchical Softmaxの性質 - Qiita
これはHierarchical Probabilistic Neural Network Language Model に登場するHierarchical Softmax(以降hSm)について簡単に書くものです． 分類問題(特にsoftmax関数)に関する基本的な知識を必要とします．あとハフマン木がどのように構成されるかについて知っている方と理解がスムーズに進むかと思います． 手法の背景 Neural Networkを用いて文字列の生成をする場合，一般にラベル(単語)の予測にはSoftmax関数が用いられる．Softmax関数は$m_l = \langle \mathbf{w}_l, \mathbf{x} \rangle$とした時， で定義される関数である．自然言語で語彙を考える場合，辞書は数万単位のサイズになる．そのため，$Z=\sum_k^K exp(m_k)$の計算が非常にハイコスト
ライントレーサーをDeep Q Learningで教育する - Chainer - Qiita
光センサがコースを検知したら左曲がりに進行、検知しなかったら右回りに進行、という味気ないやつ 青色 僕らの期待の新星DQN 入力：[[光センサの検知/不検知][前回とった行動]]を1セットに過去5個分 : 20次元 隠れ層：50ユニット x 2枚ほど <実は前の記事で隠れ層が1枚なのに2枚と勘違いしてました> 出力：左曲がり進行、直進、右曲がり進行 ご褒美：コースから5px以内 +1ポイント 10px以内 +0.5ポイント 壁際2px以内 -1ポイント そして、壁にぶつかったら張り付き続けてしまい学習時間に支障が出そうになるのでコース上に位置リセット。 現状の状況 いくら直近の過去のことを覚えていても自分の位置もわからない一つ目お化けじゃ迷子になる様子？ せめて2つ以上センサーがあるようなライントレーサーにしたり、自分の位置を計算したりするなど何らかの手段で、自分とコースの位置関係を把握で
ChainerでやってみるDeep Q Learning - 立ち上げ編 - Qiita
こんにちは 本業はプログラマじゃない人です。 テレビで「ディープラーニング」というキーワードがバズっているときに、 分散深層強化学習でロボット制御 | Preferred Researchを見て、 試してみたいことが出てきたので、いきなりクローンとは言わず、まず簡単なものから作った。 ⇒ 置き場：DeepQNetworkTest 狙い Pythonも初めて！Chainerも初めて！ プログラミングの作法すら分からないのに周囲にソフト屋さんがいない！ でも、自走機械に強化学習というのをやらせてみたい！ ⇒ とりあえず公開すれば教えてくれる人が出てくるかもしれない 慣性とか持っている機械を動かして見せてる事例が本当に少ない（気がする） ⇒ 次のステップで入れてみよう やったこと ConvNetJS Deep Q Learning Reinforcement Learning with Neur
人工知能が作った画像?! 誰かに話したくなるディープラーニング事例まとめ - Qiita
#画像生成 ##Deep Convolutional Generative Adversarial Networks Newmu/dcgan_code: Deep Convolutional Generative Adversarial Networks ###寝室画像の自動生成 ###Arithmetic on faces 画像の意味を足し算、引き算できる。 ###顔の向きを回転 向きを変えた顔を自動生成。 ###Face Frontalization 正面から見た顔を自動生成。(Deep Leariningではないかもしれませんが、顔の向きを変える類似研究として。。。 ) dougsouza/face-frontalization: This is a port of the Face Frontalization code provided by Hassner et al. at
Goodfellow,Bengio,CourvilleさんのDeep Learning本の18章まとめ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Goodfellow,Bengio,CourvilleさんのDeep Learning本の18章まとめ 重要と思った部分だけ独断で抽出しています. 本当にメモ書き程度です. すみません. 間違っている記述があるかもしれません. 心眼で書いている部分があるかもです. Score matchingのくだりは正直よくわかっていないです. 18.Confronting the Partition Function 16章でやったように(無向グラフィカルモデルとかでは)規格化されていない確率分布がよく現れる. このとき規格化するためには積分をする
[Survey]Deep Residual Learning for Image Recognition - Qiita
Deep Residual Learning for Image Recognition Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun ImageNetのCompetitionで１位になったMSRAの論文 ・network層をdeepにすることは性能向上に欠かせない。 ・しかし、Deepにすると性能が向上せずに悪くなることが知られている。（下のグラフ） ・これらはOverfittingによるものではなく、勾配が０になったり、発散したりするため。 これを解決しようというのがこの論文の趣旨 Residual Network 普通のNetwork $H(x)$が所望するmapping(求めたい変換） 2 weight layerをH(x)になるように学習する Residual Network ・$x$をshortcutして足し合わせると$H(
![[Survey]Deep Residual Learning for Image Recognition - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7a48b78f82a56c4ab5e21ed9ff2cd69da3d8dc87/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTAwNTIzJTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzA4MTIwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPTlmNjVlN2Y3NTE0MGQwZWNmYjAwNzhkMmM3ZDJmMTZj%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D1c718de2b30c00590130a4e7c1781925%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCU3VydmV5JTVERGVlcCUyMFJlc2lkdWFsJTIwTGVhcm5pbmclMjBmb3IlMjBJbWFnZSUyMFJlY29nbml0aW9uJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9MGU3YWQ3NjE3MGNmODk3MjdhZDQ3NzFlNjFiMzY3NTA%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBzdXBlcnNhaWFrdWppbiZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTllZGIzOTQ1YThjNDUxMjIwMWZhYTU3YjM2MTYwODI5%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D965305d6f3a34060f9959cf169c1d6a1)
Convolutional Neural Networkを実装する - Qiita
Deep Learning系のライブラリを試すのが流行っていますが、Exampleを動かすのはいいとしても、いざ実際のケースで使おうとするとうまくいかないことがよくあります。 なんとか動かしてみたけれど精度が出ない、データの加工の仕方が悪いのか、モデルのパラメーターが悪いのか、原因がぜんぜんわからん・・・という事態を乗り越えるには、やはり仕組みに対する理解が必要になってきます。 そんなわけで、本編では画像の用意という一番最初のスタートラインから、Chainerで実装したCNNを学習させるところまで、行うべき手順とその理由を解説していきたいと思います。 前段として理論編を書いていますが、ここではライブラリなどで設定しているパラメーターが、理論編の側とどのようにマッチするのかについても見ていきたいと思います。 なお、今回紹介するノウハウは下記リポジトリにまとめています。画像認識を行う際に役立て
Try SensorBee - No.1 - Qiita
SensorBee オフィシャルサイト： http://sensorbee.io/ github： https://github.com/sensorbee/sensorbee SensorBeeはPreffered Networksさんが先日発表したStreaming ETL(Extract/Transform/Load)のためのOSSです。 ニュースリリースの中でそのコンセプトを以下の様に説明されています。 SensorBeeはネットワークのエッジやフォグで発生する非構造化ストリームデータに対して継続的に機械学習を適用し、その結果を既存のデータベースやデータ分析システムに転送したり、直接ロボットなどにフィードバックして制御を行うために開発されました。機械学習ではChainerをサポートすることにより、deep learningのストリームデータへの適用が可能となっています。またJuba
[Survey]Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 - Qiita
Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 Matthieu Courbariaux, Itay Hubara, Daniel Soudry, Ran El-Yaniv, Yoshua Bengio BinaryNetは、weightとactivationを2値化したhardware friendlyな**DNN(Deep Neural Network)**です。 論文ではactivationと書かれていますが、たぶん活性化関数の出力のことかなと思います。 要は重みにかけられる方の値です。 これにより以下の特徴が得られます。 ・１bitなのでメモリを劇的に減らせる ・掛け算器をXNORに置き換えられる（回路規模、処理
![[Survey]Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/48a0ffde6db922b87641f48eb4643e97e91203f1/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTAwNTIzJTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzA4MTIwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPTlmNjVlN2Y3NTE0MGQwZWNmYjAwNzhkMmM3ZDJmMTZj%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D1c718de2b30c00590130a4e7c1781925%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCU3VydmV5JTVEQmluYXJpemVkJTIwTmV1cmFsJTIwTmV0d29ya3MlM0ElMjBUcmFpbmluZyUyMERlZXAlMjBOZXVyYWwlMjBOZXR3b3JrcyUyMHdpdGglMjBXZWlnaHRzJTIwYW5kJTIwQWN0aXYlRTIlODAlQTYmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz05MDFkNTZkNDk3OTBkODE1YThlOTJjYjg2MmM0NjdlMw%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBzdXBlcnNhaWFrdWppbiZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTllZGIzOTQ1YThjNDUxMjIwMWZhYTU3YjM2MTYwODI5%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D5df87237f12a9c671432e8ae8c8f7ad3)
Convolutional Neural Networkとは何なのか - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 機械学習の世界において、画像といえばConvolutional Neural Network(以下CNN)というのは、うどんといえば香川くらい当たり前のこととして認識されています。しかし、そのCNNとは何なのか、という解説は意外と少なかったりします。 そこで、本記事ではCNNについてその仕組みとメリットの解説を行っていきたいと思います。 なお、参考文献にも記載の通り解説の内容はStanfordのCNNの講座をベースにしています。こちらの講座はNeural NetworkからCNN、はてはTensorflowによる実装まで解説される予定な
~Pythonistaより愛をこめて贈るPython入門者のためのTips①~ - Qiita
動機 Liaroで代表取締役をやりながら#HiveShibuyaで窓際戸締役をしている@hanaken_Nirvanaです。 会社では動画のレコメンドアプリを開発しているのですが、API〜レコメンドエンジンまで(DeepLearning※, NLP含めて)基本的にPythonで書いています(ところどころScalaですが...)。 スタートアップ界隈でいうとRoRが多くPython人口も増えてほしいなぁーと思っていたのですが、『人工知能うぇい！』ブームにのってかPython教えて欲しいと言われることが度々あるので、その時のためにメモがてらPython初心者向けにPythonっぽい文法を中心に書こうかと思います。 まぁ偉そうに言っても僕もPython contributorでもないでもない、ただのPythonユーザーなんで間違いがあったらジャンジャン指摘して欲しいですʕº̫͡ºʔ ※ Deep
support vector machine (SVM) の計算（cvxopt 利用） - Qiita
こんにちは。 support vector machine (SVM) の計算は、 人工知能に関する断創録「ソフトマージンSVM」の手順（cvxopt を利用）にそっくり従うと、少し自分でも解を計算した気分になれます。下記1では、Lagrange乗数alphaの収束解、tabplot 等もプロットしています（class × prediction == 1 となるデータを強調表示。prediction == 0 が境界線）。 #!/usr/bin/env python # -*- coding: utf-8 -*- # support vector machine (SVM) の計算 # cvxopt.solvers.qp (Quadratic Programming) を利用 from __future__ import print_function import numpy as np
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
(t-SNE, DBSCAN, Decision Tree)で、(可視化 > クラスタリング > 特徴説明)を行う - Qiita
深層学習フレームワークChainerの勉強に役立つページのまとめ - Qiita
https://qiita.com/conjugate_box/items/a5efcbe7d9be977367b8