タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 追記：続きを書きました。 その２：ED法を高速化してその性能をMNISTで検証してみた その３：ED法+交差エントロピーをTF/Torchで実装してみた（おまけでBitNet×ED法を検証） はじめに 先日以下の記事が投稿され、その斬新な考え方に個人的ながら衝撃を受けました。 内容をざっくり言うと、ニューラルネットワークの学習を現在の主流であるBP法（誤差逆伝播法）ではなく、ED法（誤差拡散法）という新しい学習手法を提案しているものです。 もし記事の内容が本当ならニューラルネットワークの学習がO(1)でできてしまう事になり、まさしく革命
かれこれ一ヶ月弱くらいBitNetと格闘している。BitNetは、Microsoftが発明したと主張している1-Bit(1.58ビットとも言われる)量子化ニューラルネットワークのことだ。 僕はその辺に落ちてるコードを使って最初の最初はlossが2くらいまで下がったのだが、そもそもLLMはlossが1を切らないと実用性がない。 それ以降は6とか良くて5とかなのでたまたま最初に試したのがうまく行ったようだ。 しかしいつまで経っても良くならないのでBitNetの性質を根本的に見直す必要があるのでは?と思い、初心に帰って論理回路を学習させようとした。 BitNetのコードベースははちさんのコードと、Microsoftの公式な論文の実装を併用した。 まず試したのはこのようなコード from bitnet import * import torch from torch import optim im
本記事は20分程度でお読みいただけます。 こんにちは。TC3データサイエンス部門の梅本です。 普段はPyTorchを使っているのですが、新しいライブラリを触るのも勉強になると思いますので、今日は新進気鋭の深層学習ライブラリであるJAX/Flaxを使って、MNISTを学習させてみようと思います。 はじめに 皆さんご存知の通り、TensorFlow、Keras、PyTorch(Chainer…)と近年は様々な深層学習ライブラリが使われています。最近、JAXというライブラリが話題になっているものの、十分すぎるライブラリがある中でなぜJAXが新たに出てきたのでしょうか？（そしてなぜ使うべきなのか）。この理由には後発ライブラリの強みとして、先行ライブラリの問題点を改良しているという点が挙げられます。現状以下のような利点が挙げられます XLAコンパイルによる高速性 厳密な乱数の管理による再現性の担保
今回の目的 前回までに全結合型のオートエンコーダー、CNNを利用した畳み込みオートエンコーダー、それから学習を高速に行えるようにGPUを使用する方法などを見てきました。 ところで、オートエンコーダーが持つエンコーダーで元画像を縮小（次元削減）して、それをデコーダーで復元することはどんなことで役に立つのでしょうか。一般には異常検知やノイズ削減などがオートエンコーダーの用途として挙げられています。そこで、今回は、MNISTの手書き文字を例に異常検知とはどんなものなのか、その本当に表面的な部分だけを見てみることにします。 「異常検知」とは、数多くのデータの中から、他のデータとは異なる特徴を持つデータを見つけ出すことです。例えば、工場で生産されたネジを考えてみましょう。製造されたネジの多くは何の問題もなく、製品として出荷できるものです。しかし、その中のごく一部には、傷があったり、先端が曲がっていた
図1 QMNISTに含まれる「手書き数字」の例 ※データセットの配布元： 「facebookresearch/qmnist: The QMNIST dataset」。BSDライセンス。 ※出典： Cold Case: The Lost MNIST Digits. Chhavi Yadav, Léon Bottou. arXiv:1905.10498 QMNISTは、MNISTの改良版／再構築版として、NIST Special Database 19から抽出＆加工して作られたサブセットである。MNISTの代わりとして、主に画像認識を目的としたディープラーニング／機械学習の研究や初心者向けチュートリアルで使われることが想定される。 中身の画像データやラベルはMNISTデータセット（以下、MNIST）とほぼ同じであるが、 が異なる。 まず6万件に増やした理由については、論文「Cold Case:
自動微分+XLA付き機械学習フレームワークJAXを使用してMNISTを学習させてみる - Morikatron Engineer Blog
こんにちは、エンジニアの竹内です。 深層学習を行う際によく利用されるフレームワークといえばGoogleが開発しているTensorflowとFacebookが開発しているPytorchの２大巨頭に加えて、Kerasなどが挙げられるかと思いますが、今回はそのような選択肢の一つとしてGoogleが新しく開発している*1新進気鋭（？）の機械学習フレームワークJAXを紹介したいと思います。 github.com 今回JAXを紹介するきっかけですが、最近話題になったVision Transformerの公式実装のソースコードを読む際に、モデルの実装にJAXが使用されており、少し気になったので勉強がてら触ってみたというのが経緯です。 github.com ディープラーニングのフレームワークの入門といえばMNISTデータセットを使った画像分類ですので、今回はJAXの入門編としてシンプルな多層パーセプトロン
畳み込みニューラルネットワークと聞いて、画像処理を真っ先に思いつくのが普通だと思います。でも、実は別の分野でも大きな成果を出しています。今回扱う1次元畳み込みニューラルネットワークは自然言語処理などの時系列情報を認識する性能で再帰型ニューラルネットワークを凌いでいます。 そのため、今回は自身が1次元畳み込みニューラルネットワークについて学んだ結果をまとめつつ、記事として残したいと思います。もし、間違い等があったら教えていただけると大変助かります。 また、動画でも残していますので、以下にのせます。 畳み込みニューラルネットワークとは 畳み込みニューラルネットワーク（Convolutional Neural Network;CNN）とは、主に画像認識の場で使用される深層ニューラルネットワークで、局所的受容野と重み共有という特徴を生かし、全結合ニューラルネットワークに比べて少ないパラメータ数で空
BitNet b1.58(BitLinear)を実装してMNISTで検証してみた(Tensorflow/Torch) - Qiita
はじめに 2/27にMicrosoftから BitNet b1.58 に関する論文が発表されました。 これはモデルの推論を従来の小数でするのではなく、ビットで推論する事により速度・メモリを含めたエネルギーの省力化を実現した内容となります。 （ディープラーニングにおいて、こういったモデルを低ビット等に離散化して計算量を減らす技術のことを量子化といいます） （ちなみに私は量子化分野はほとんど分からないので間違っている内容があればすいません…） 論文では主にTransformerの利用に言及していますが、仕組み自体は単純でニューラルネット全般に適用できるので、そちらの視点をメインに書いています。 また、BitNetに関する解説記事はすでに分かりやすい記事があるので、この記事では技術メインに解説していきます。 ・【論文丁寧解説】BitNet b1.58とは一体何者なのか また実装に関してですが、多
バックボーンのフレームワークを、従来のTensorFlowから、デファクトスタンダードになりつつあるPyTorchと、実行効率に優れたJAXも選べるようになったKeras3.0が公開されていたので、さっそくバックボーンをPyTorchやJAXに設定して、手書きアルファベット画像のクラス分け課題のMNISTを試してみました。 23.11.29追記 公式の紹介ページも公開されていました。 https://keras.io/keras_3/ Keras3のインストール、インポート今回はGoogle Colabで試してみます。Keras3は現時点ではPyPI上では、プレビューリリースとしてkeras-coreの名前でインストールできます。 !pip install keras-coreバックエンドの設定(torch, jax, tensorflow) import os os.environ["K
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
とりあえずディープラーニングを実装してPyTorchの実装の流れを掴みたい（所要時間15分） 初心者だけど、PyTorchを丁寧に体系的に学びたい（所要時間30〜45分） （PyTorchを丁寧に学びたい方へ）: 各見出しごとに詳細ページへのリンクが貼られているので、より深く知りたいと思った箇所を適宜アクセスしてください！
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
金子勇さんのED法を実装してMNISTを学習させてみた - Qiita
BitNetでMNISTを学習させて見えてきた性質｜shi3z
JAX/Flaxを使ってMNISTを学習させてみる | TC3株式会社｜GIG INNOVATED.
MNISTを使ってオートエンコーダーによる異常検知を試してみよう
QMNIST：手書き数字の画像データセット（MNIST改良版）
1次元畳み込みニューラルネットワークでMNISTの時系列処理
PyTorchとJAXに対応したKeras3でMNISTを試す｜はまち
【MNIST】データ拡張で「汎化性能」UPっぷ【認識率UP!】 - Qiita
【入門】PyTorchの使い方をMNISTデータセットで学ぶ（15分）｜努力のガリレオ
indeep.jp
podcasts.apple.com
sagasitasekai.com
genomicsworkshop.isr.umich.edu
digital.asahi.com
genomicsworkshop.isr.umich.edu