こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、ニューラルネットワークの量子化の話をします。 TL;DR パラメータだけを量子化するのであれば、ほぼ精度を落とさずに、パラメータのデータ容量は1/16程度にまで削減できる パラメータ、アクティベーション、勾配のすべてを量子化し、推論だけでなく学習までもビット演算だけで実現する研究が進んできている 現在は深層学習 = GPU必須というぐらいの勢いがあるけど、量子化の研究が進むと、今後はどうなるかわからないよ はじめに 情報理論における量子化とは、アナログな量を離散的な値で近似的に表現することを指しますが、本稿における量子化は厳密に言うとちょっと意味が違い、十分な(=32bitもしくは16bit)精度で表現されていた量を、ずっと少ないビット数で表現することを言います。 ニュ
幼児高等教育が子供の成長に効果があると報道されています。音楽を聞かせたり、脳を活性化させるトレーニングを取り入れるなど、様々なものが取り上げられています。子どもが生まれたうれしさから、とても熱心に研究している親たちもいます。この現象は今に始まったことではなく、数十年前から提唱している評論家もいます。 確かに、それによって才能が開花し後に成功を収める人もたくさんいます。特に芸術の世界では、幼い時期に様々な経験をすることが良いといわれています。しかしながら、すべての子供に当てはまるわけではありません。全ての人が成功するのであれば、すべての親たちが幼児教育に取り組むことでしょう。子供の感性は幼児期に形成する、これは本当でしょう。環境が人を育てるのも本当でしょう。 大切なのは子供の成長を妨げないことです。才能を伸ばすことより、特別な能力を見つけてあげることより、子供の成長を邪魔しないことこそが重要
この10月の3連休を利用して、大阪で開催された関西Lispユーザ会にお邪魔しました。 kansai-lisp-useres.connpass.com 一枠空きがあったので20分程度の発表もさせていただきました。いまいち余計だったかもしれません。 すべての発表が終わったあとにイベント終了まで少し空き時間がありました。その時間を利用して運営の一人の油谷さんから関西Lispについての運営指針の話がありました。内容は「Shibuya.lispは作ったプロダクトの発表の場になっていて発表のハードルが高い。関西Lispは気軽に発表してもらい、アットホームなコミュニティにしたい」というものでした。 僕は東京に住んでいることもあり普段はShibuya.lispコミュニティに参加しています。運営者とも話す機会が多いので運営指針もそれなりに聞いています。そういう立場で話を聞いていると「ほう、外からはそのように
「日本は機械学習パラダイスだ」。こう提言したのは、早稲田大学法学部教授の上野達弘さんだ。 なぜなのか。その理由は、日本の著作権法にある。 日本の著作権法では、「情報解析を行うために著作物を複製すること」が、営利・非営利問わず認められているのだ。世界にもまれな規定だという。 著作権・AIに詳しい弁護士・柿沼太一さんが10月2日に都内で開いた「AIビジネス法務・知財セミナー」の内容から、機械学習と日本の著作権法の関係についてまとめる。 キモは「著作権法47条の7」 機械学習とは、大量のデータをプログラムに解析・学習させることで、プログラムが自らデータの特徴を見つけ出し、分類・整理できるようにする手法。例えば、大量の猫の写真を学習させ、猫の特徴を学んだモデルに、新たな動物の写真を入力すると、猫か猫ではないかを判別する――といったイメージだ。 機械学習を行うためには、大量のデータをAIプログラムに
Clojureに反対する大きな理由がJVMです。この役立たずは重いですからね。 これは、数週間前に ZA Tech のSlackで見た投稿です。休暇中にClojureの話題を何件か見たのですが、投稿者はJVMについても繰り返し言及していました。 私はこの投稿について Slack上で少しつぶやいていました が、もっと広く理解され議論されるように、本稿を書くことを決めました。 背景 以前は、私もJVMは重いと思っていました。2000年代の初めにJVMとPHPと比べていた頃の話です。当時は、.NETやColdFusionなど、別の重い製品が他にもありました。また、PerlやPythonという軽めの製品もありましたが、私はWindowsを使っていたのでActivePerlやActivePythonはやはり少し重めでした。 私が初めてJVMに対する“恐れ”を克服したのは、小規模な製品アプリを、JRu
I have recently started learning Clojure and I must say I am totally hooked. Clojure is a sane Lisp on the JVM. So I can express myself better while being able to take advantage of the huge JVM eco system. This is just wonderful! After finishing the popular book Clojure for the Brave and True, I wanted to try something out myself. I decided to try web scraping with clojure. In this post, I am goin
最近、弊社で開発しているプロダクトに初めてプログラミング言語Clojureを導入したため、その詳細をご紹介します。 あいさつ Clojure導入の経緯 プロダクトの要件 Clojureで実装する意義 JVM言語としての実用性 シンプルで高い表現力と拡張性 インタラクティブでインクリメンタルな開発スタイル Clojure導入の道のり 機能実現のためのライブラリ検討 プロジェクト構成: Luminus アプリケーション状態管理: mount DBアクセス: HugSQL ジョブスケジューリング: Immutant 日付時刻: clj-time コード品質を底上げするための+αのライブラリ利用 仕様記述/バリデーション: schema 静的解析: cljfmt, eastwood, kibit チームメンバーへの情報共有 ドキュメントとしてのコード(+ docstring, schema, ユニ
(setq キライの nil) (defun ハンタイの(p) (not p)) (defun そのさらにハンタイの(p) (not p)) (defun キモチを伝えるのって(p) (if p 'スキ 'キライ)) (defun 何だか難しい(p) p) (defun ハンタイは?(p) (if (not p) 'スキ 'キライ)) (何だか難しい (キモチを伝えるのって (そのさらにハンタイの (ハンタイの (ハンタイの (ハンタイの (ハンタイの キライの))))))) ; => スキ # -*- coding: utf-8 -*- class Object def ハンタイの() !self end def そのさらにハンタイの() !self end def キモチを伝えるのって() self ? :スキ : :キライ end def 何だか難しい() self end def
ubuntu14.04でpandocからPDFを出力する。 pandocの導入 markdownとpandocに関しては過去の記事に記載している。 Ubuntu 14.04にpandocを導入するには以下のコマンドを実行する。 $ sudo apt-get install pandoc Ubuntuのバージョンは14.10でも問題ない。 PDFの出力 http://qiita.com/sky_y/items/80bcd0f353ef5b8980eeの「日本語文書をPDFで出力する方法 」を参考にpandocからPDFを出力できるようにする。 必要なもの LuaLaTexが必要になる。 Ubuntu 14.04では、「texlive-luatex」パッケージが使用できる。 また、実際に変換するにはいくつかのパッケージも追加でインストールする必要がある。 以下のコマンドを実行する。 $ sud
Resource-efficient Machine Learning in 2 KB RAM for the Internet of Things This paper develops a novel tree-based algorithm, called Bonsai, for efficient prediction on IoT devices – such as those based on the Arduino Uno board having an 8 bit ATmega328P microcontroller operating at 16 MHz with no native floating point support, 2 KB RAM and 32 KB read-only flash. Bonsai maintains prediction accurac
名探偵の代名詞、シャーロック・ホームズ。 全作品を合計すると60作品(長編4、短編56)にもなります。 文庫本にして9~10冊ですから、全部読み切るのはなかなか大変です。 原作の著作権はすでに切れていますので、英語のテキストは数多くのサイトで公開されていますが、 邦訳はほとんど著作権が残っており、インターネット上で自由に読める邦訳はごく一部に過ぎません。 このサイトでは、既存の著作権に抵触しないように、全ての作品を改めて原作から翻訳し直して公開しています。 初出誌のストランドマガジンに掲載されたシドニー・パジェットのイラストも、ほぼすべて掲載してありますので、パソコンや携帯から、存分に世紀の名探偵シャーロック・ホームズの魅力をお楽しみください。 Tweet
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く