BitNetから始める量子化入門
はじめに BitNet、最近話題になっていますね。 そもそも量子化って何？という方もいると思うので、この記事は DeepLearning の量子化から入り、その上で BitNet の触りについて見ていこうと思います。色々とわかってないことがあり、誤読してそうなところはそう書いてるのでご了承ください。 図を作るのは面倒だったので、様々な偉大な先人様方の図やスライドを引用させていただきます。 量子化 DeepLearning における量子化 DeepLearning の学習・推論は基本 float32 で行います。これを int8 や Nbit に離散化することを量子化といいます。 計算に使う値は、モデルの重み、アクティベーション（ReLUとか通した後）、重みの勾配等があります。 学習時については一旦置いておいて、この記事では推論における量子化について焦点をあてます。推論時に量子化の対象となる
オライリーから「仕事ではじめる機械学習」が出版されます
どういう本なの？まえがきのスクリーンショットを貼りましたが、この本は多くの機械学習の本とは異なり、機械学習の実務で使えるようになるために知りたい、機械学習を含めたシステムのアーキテクチャや機械学習プロジェクトの進め方、効果検証をどうするのかということをまとめました。 めざすところのイメージ既に多く刊行されているTensorFlowやChainerでディープラーニングをしてみようというものでもなければ、機械学習の理論をわかりやすく解説するといった類のものでもありません。ゼロから作るDeep LearningやCourseraのMachine Learningで学んだけど、実際の仕事に活かすにはどうしたら良いだろう？という疑問に答えているつもりです。また、大学の講義などで機械学習は学んだけど、実際仕事で機械学習のプロジェクトを進めるときはどうすればいいんだろう？という人にも得るものがあると思い
データサイエンティストもしくは機械学習エンジニアになるためのスキル要件とは（2017年夏版） - 渋谷駅前で働くデータサイエンティストのブログ
この記事は2年前の以下の記事のアップデートです。 前回はとりあえずデータサイエンティストというかデータ分析職一般としてのスキル要件として、「みどりぼん程度の統計学の知識」「はじパタ程度の機械学習の知識」「RかPythonでコードが組める」「SQLが書ける」という4点を挙げたのでした。 で、2年経ったらいよいよ統計分析メインのデータサイエンティスト（本物：及びその他の統計分析職）vs. 機械学習システム実装メインの機械学習エンジニアというキャリアの分岐が如実になってきた上に、各方面で技術革新・普及が進んで来たので、上記の過去記事のスキル要件のままでは対応できない状況になってきたように見受けられます。 そこで、今回の記事では「データサイエンティスト」*1「機械学習エンジニア」のそれぞれについて、現段階で僕が個人的に考える「最低限のスキル要件」をさっくり書いてみようかと思います。最初にそれらを書
データ活用やら機械学習の時代に情シスとベンダーってどうなるんですかね - 雑種路線でいこう
だらだらしていたら連休が終わってしまう。連休中に仕上げるはずだった、あの原稿も、火曜の講義資料も、さっぱりできていないのに困ったものだ。この連休中けっこうな時間を割いたのは、くだらないことに手元のラップトップをLinuxからWindowsに戻すことだった。 Blockchainの評価・デモと機械学習の勉強用に買った重いゲーミングノートで、LinuxのリハビリがてらfabricやirohaのビルドにDockerが欲しいし、TensorflowでGPGPUを使おうとするとUbuntuが良さげだというので入れてみた。2か月ほどいじってみる間にBlockchainを動かすだけならDocker for Windowsで十分だし、TensorflowやKerasもWindows版でGPGPUを扱えるようになり、Linuxは仮想環境だけで一通りの用事を済ませられそうなのでWindowsに戻すことにした。
東大のディープラーニング公開講座がヤバくていろいろ考えさせられた件｜加藤貞顕
１カ月ほど前から、東京大学の松尾研のディープラーニング公開講座に行っている。 ネットで募集していたのであわてて申し込んだら、とんでもない数の人が集まっていて熱気がすごい。学部生、院生、社会人、あわせて300人以上が同時に授業を受けている。 初回こそ、人工知能概論のような話だったけれど、2回目以降はものすごい速度で授業が進む。そして宿題の量と質もすごい。2回と3回目の授業だけで、普通の学校の半年分くらいの内容になっている気がする。東大、ほんとにやべーよ。 毎回、授業の冒頭は「ふんふん、そうか」とはじまるのだけれど、終わり間近に大量のサンプルコードを見せられて、それをすごい勢いで説明され、最後にゴツイ宿題が出る。授業終了後は、ポカーンってなる（授業中にぜんぶ理解しているひと、どれくらいいるんだろう）。 友人の物書堂の社長の広瀬くん（iPhone辞書アプリ開発の大御所！）も、たまたまいっしょに講
飯塚里志 — ディープネットワークによる画像補完（SIGGRAPH 2017）
概要： 本研究では，畳み込みニューラルネットワークを用いて，シーンの大域的かつ局所的な整合性を考慮した画像補完を行う手法を提案する．提案する補完ネットワークは全層が畳み込み層で構成され，任意のサイズの画像における自由な形状の「穴」を補完できる．この補完ネットワークに，シーンの整合性を考慮した画像補完を学習させるため，本物の画像と補完された画像を識別するための大域識別ネットワークと局所識別ネットワークを構築する．大域識別ネットワークは画像全体が自然な画像になっているかを評価し，局所識別ネットワークは補完領域周辺のより詳細な整合性によって画像を評価する．この2つの識別ネットワーク両方を「だます」ように補完ネットワークを学習させることで，シーン全体で整合性が取れており，かつ局所的にも自然な補完画像を出力することができる．提案手法により，様々なシーンにおいて自然な画像補完が可能となり，さらに従来の
Iris flower data set - Wikipedia
Scatterplot of the data set The Iris flower data set or Fisher's Iris data set is a multivariate data set used and made famous by the British statistician and biologist Ronald Fisher in his 1936 paper The use of multiple measurements in taxonomic problems as an example of linear discriminant analysis.[1] It is sometimes called Anderson's Iris data set because Edgar Anderson collected the data to q
Talk about ML and DL for happy engineer's life
DevFest Tokyo 2016での発表資料 http://gdg-tokyo.connpass.com/event/38927/
「TensorFlowはじめました」を読んだ - すぎゃーんメモ
TensorFlowはじめました 実践！最新Googleマシンラーニング (NextPublishing) 作者: 有山圭二出版社/メーカー: インプレスR&D発売日: 2016/07/29メディア: Kindle版この商品を含むブログを見る 著者の有山さんとは、TensorFlowでの独自の画像データセットの分類に取り組む同士(？)として勉強会などでお話する機会があり、そんな縁もありまして有り難いことに献本ということで読ませていただくことができました。 第1章の「TensorFlowの基礎」では最初にまずデータフローグラフの「構築」と「実行」で分かれているという概念について、丁寧に説明されていてとても良かったです。いきなり何も知らずに公式Tutorialだけ始めていた自分は、こういう概念について理解するのが遅かった…。 第2章ではCIFAR-10の学習モデルと評価。公式Tutorialの
キュウリ農家とディープラーニングをつなぐ TensorFlow
家のキュウリが枯れてしまってから知りました。 ある程度パラメータがはっきりすれば 大規模なFPGAで処理できるかもしれません。 12月3日の大垣ミニメーカーズフェアでデジタルフィルタの人と会えたら話してみます。 返信削除
Google、ディープラーニングをサポートした機械学習ライブラリ「TensorFlow」をオープンソースで公開
Googleは、脳の活動を模したニューラルネットワークによって学習を実現する「ディープラーニング」をサポートした機械学習ライブラリ「TensorFlow」をオープンソースで公開しました。ライセンスはApache 2.0オープンソースラインセンスです。 Googleはすでに数年前からディープラーニングを同社のサービスに組み込んでいます。「私たちが社内でディープラーニングの基盤である「DistBelief」を開発したのは2011年のことだ」（ブログ「TensorFlow - Google’s latest machine learning system, open sourced for everyone」から）。 TensorFlowは、このDistBeliefをさらに強化したものだと説明されています。 TensorFlow is general, flexible, portable, e
Home — TensorFlow
Deploy ML on mobile, microcontrollers and other edge devices
数学を避けてきた社会人プログラマが機械学習の勉強を始める際の最短経路 - Qiita
巷ではDeep Learningとか急に盛り上がりだして、機械学習でもいっちょやってみるかー、と分厚くて黄色い表紙の本に手をだしたもののまったく手が出ず（数式で脳みそが詰む）、そうか僕には機械学習向いてなかったんだ、と白い目で空を見上げ始めたら、ちょっとこの記事を最後まで見るといいことが書いてあるかもしれません。 対象 勉強に時間が取れない社会人プログラマ そろそろ上司やらお客様から「機械学習使えばこんなの簡単なんちゃうん？」と言われそうな人 理系で数学はやってきたつもりだが、微分とか行列とか言われても困っちゃう人 この記事で行うこと 数学の基礎知識に慣れるための、数式が最初から出てこないプログラマ向けの数学入門書の紹介 機械学習の初学者には鉄板の、オンライン講座（MOOC）の機械学習コース紹介 環境 WindowsでもMacでもLinuxでも大丈夫(MATLAB/Octaveというツール
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
深層学習 DS-GA 1008 · 2020年度春学期 · ニューヨーク大学データ・サイエンス・センター
A Neural Network Playground
グローバル消費インテリジェンス寄附講座コンテンツ 公開ページ
画像認識に関する 機械学習技術 / kivantium さん - ニコナレ
DeepMind：AlphaGoをつくった「4億ドルの超知能」はいかにして生まれたのか？
https://jp.techcrunch.com/2015/01/17/20150116facebook-open-sources-some-of-its-deep-learning-tools/