[Survey]Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 - Qiita
Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 Matthieu Courbariaux, Itay Hubara, Daniel Soudry, Ran El-Yaniv, Yoshua Bengio BinaryNetは、weightとactivationを2値化したhardware friendlyな**DNN(Deep Neural Network)**です。 論文ではactivationと書かれていますが、たぶん活性化関数の出力のことかなと思います。 要は重みにかけられる方の値です。 これにより以下の特徴が得られます。 ・１bitなのでメモリを劇的に減らせる ・掛け算器をXNORに置き換えられる（回路規模、処理
![[Survey]Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/48a0ffde6db922b87641f48eb4643e97e91203f1/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTAwNTIzJTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzA4MTIwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPTlmNjVlN2Y3NTE0MGQwZWNmYjAwNzhkMmM3ZDJmMTZj%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D1c718de2b30c00590130a4e7c1781925%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCU3VydmV5JTVEQmluYXJpemVkJTIwTmV1cmFsJTIwTmV0d29ya3MlM0ElMjBUcmFpbmluZyUyMERlZXAlMjBOZXVyYWwlMjBOZXR3b3JrcyUyMHdpdGglMjBXZWlnaHRzJTIwYW5kJTIwQWN0aXYlRTIlODAlQTYmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz05MDFkNTZkNDk3OTBkODE1YThlOTJjYjg2MmM0NjdlMw%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBzdXBlcnNhaWFrdWppbiZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTllZGIzOTQ1YThjNDUxMjIwMWZhYTU3YjM2MTYwODI5%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D5df87237f12a9c671432e8ae8c8f7ad3)
Convolutional Neural Networkとは何なのか - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 機械学習の世界において、画像といえばConvolutional Neural Network(以下CNN)というのは、うどんといえば香川くらい当たり前のこととして認識されています。しかし、そのCNNとは何なのか、という解説は意外と少なかったりします。 そこで、本記事ではCNNについてその仕組みとメリットの解説を行っていきたいと思います。 なお、参考文献にも記載の通り解説の内容はStanfordのCNNの講座をベースにしています。こちらの講座はNeural NetworkからCNN、はてはTensorflowによる実装まで解説される予定な
~Pythonistaより愛をこめて贈るPython入門者のためのTips①~ - Qiita
動機 Liaroで代表取締役をやりながら#HiveShibuyaで窓際戸締役をしている@hanaken_Nirvanaです。 会社では動画のレコメンドアプリを開発しているのですが、API〜レコメンドエンジンまで(DeepLearning※, NLP含めて)基本的にPythonで書いています(ところどころScalaですが...)。 スタートアップ界隈でいうとRoRが多くPython人口も増えてほしいなぁーと思っていたのですが、『人工知能うぇい！』ブームにのってかPython教えて欲しいと言われることが度々あるので、その時のためにメモがてらPython初心者向けにPythonっぽい文法を中心に書こうかと思います。 まぁ偉そうに言っても僕もPython contributorでもないでもない、ただのPythonユーザーなんで間違いがあったらジャンジャン指摘して欲しいですʕº̫͡ºʔ ※ Deep
support vector machine (SVM) の計算（cvxopt 利用） - Qiita
こんにちは。 support vector machine (SVM) の計算は、 人工知能に関する断創録「ソフトマージンSVM」の手順（cvxopt を利用）にそっくり従うと、少し自分でも解を計算した気分になれます。下記1では、Lagrange乗数alphaの収束解、tabplot 等もプロットしています（class × prediction == 1 となるデータを強調表示。prediction == 0 が境界線）。 #!/usr/bin/env python # -*- coding: utf-8 -*- # support vector machine (SVM) の計算 # cvxopt.solvers.qp (Quadratic Programming) を利用 from __future__ import print_function import numpy as np
Coursera Machine Learningの課題をPythonで: ex1（線形回帰） - Qiita
方針 オンライン学習プラットフォームCourseraで一番人気の講座、Stanford大学のMachine Learning。講師はAndrew Ng先生。授業はレクチャーとプログラミング課題からなるが、プログラミング課題に使用する言語はOctaveまたはMatlabが指定されている。 このプログラミング課題をPythonを使って粛々と実装していく。ただし、 オリジナルの課題はアルゴリズムの理解を助けることを目的としているため、一部の処理は機械学習のライブラリを使用せずに自らコードを書くように設計されている。これをそのままPythonで再現するのではなく、できる限りPythonにある機械学習ライブラリを使って効率よく実装したい。 という方針。 さっそくex1 最初の課題となるex1では線形回帰(Linear Regression)をやります。レストランチェーン経営において、過去に出店した街
わかるLSTM ～ 最近の動向と共に - Qiita
Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2～3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日本語文献はあまり見当たらない。はて、どういうことでしょうか。 本記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ
scikit-learn で TF-IDF を計算する - Qiita
昨日触れた TF-IDF を求めるコードを実装します。機械学習については例によって scikit-learn を使います。 このような既知の計算については自力で実装するより完成度の高いライブラリを利用するべきでしょう。これにより車輪の再発明を避ける、品質を担保するという狙いがあります。 事前準備として、ホームディレクトリの docs ディレクトリに処理対象となる自然言語の文書を格納します。 import os import MeCab from sklearn.feature_extraction.text import TfidfVectorizer home = os.path.expanduser('~') target_dir = os.path.join(home, 'docs') token_dict = {} def tokenize(text): """ MeCab で分か
【機械学習】ディープラーニング フレームワークChainerを試しながら解説してみる。 - Qiita
今話題のDeep Learning(深層学習)フレームワーク、Chainerに手書き文字の判別を行うサンプルコードがあります。こちらを使って内容を少し解説する記事を書いてみたいと思います。 (本記事のコードの全文をGitHubにアップしました。[PC推奨]) とにかく、インストールがすごく簡単かつ、Pythonが書ければすぐに使うことができておすすめです！ Pythonに閉じてコードが書けるのもすごくいいですよね。 こんな感じのニューラルネットワークモデルを試してみる、という記事です。 主要な情報はこちらにあります。 Chainerのメインサイト ChainerのGitHubリポジトリ Chainerのチュートリアルとリファレンス 1. インストール# まずは何はともあれインストールです。ChainerのGitHubに記載の"Requirements" ( https://github.c
scikit-learnでtf-idfを計算する - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この投稿は現実逃避アドベントカレンダー2013の4日目の記事です。 2日目の記事でBing APIを使ってフェッチしたhtmlを使うので、2日目を先に読んでおくと理解しやすいです。 本稿を3行でまとめる scikit-learnというPythonのライブラリを調べた 2日目で保存したhtml内の語のtf-idfを計算した 語とtfidfのマッピングを確認した 参考 scikit-learn公式、テキストの素性抽出ドキュメント scikit-learnを使ってTweet中の単語のtfidf計算 完成品 Fork me! 理論 tfidfの
数学を避けてきた社会人プログラマが機械学習の勉強を始める際の最短経路 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 巷ではDeep Learningとか急に盛り上がりだして、機械学習でもいっちょやってみるかー、と分厚くて黄色い表紙の本に手をだしたもののまったく手が出ず（数式で脳みそが詰む）、そうか僕には機械学習向いてなかったんだ、と白い目で空を見上げ始めたら、ちょっとこの記事を最後まで見るといいことが書いてあるかもしれません。 対象 勉強に時間が取れない社会人プログラマ そろそろ上司やらお客様から「機械学習使えばこんなの簡単なんちゃうん？」と言われそうな人 理系で数学はやってきたつもりだが、微分とか行列とか言われても困っちゃう人 この記事で行うこと
Azure Machine Learning を利用したアプリケーション開発 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Azure Machine Learningは、Webブラウザで手軽に機械学習のモデルを作成することができるプラットフォームです(2015年2月正式リリース)。 ここで作成したモデルはWeb APIから呼び出すことができます。 今までは機械学習を組み込む・・・となるとPython等のライブラリを使うことが一般的で、なれた言語とは異なるプラットフォームで開発しなければならないことも少なくありませんでしたが、これでWebリクエストさえ飛ばせれば機械学習アルゴリズムを利用したアプリケーションを開発することが可能になりました。 今回は、このAz
CaffeでDeep Learning つまずきやすいところを中心に - Qiita
はじめに 近年Deep Learningへの注目が高まっていますが、多くの場合膨大なデータを必要とすること、学習にはGPU計算環境が必要であったりなど、独特の敷居の高さがあります。この記事では、この敷居を大きく下げるであろうCaffeについて紹介します。ただ、Caffeを紹介する記事はすでに良いものがたくさんあり、そもそも公式documentがかなり充実しているので、今回は躓きやすい部分や他の記事があまり触れていない部分を中心に紹介していきます。 Caffeって何？ CaffeはDeep Learningのフレームワークの一つです。Deep Learningは一般に実装が難しいとされていますが、フレームワークを使えばかなり手軽に扱うことができます。 代表的なフレームワークには、 Caffe theano/Pylearn2 Cuda-convnet2 Torch7 などがあります。この中でも
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
特徴抽出と TF-IDF - Qiita
TF-IDF Cos類似度推定法 - Qiita
