タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
追記：続きを書きました。 はじめに 先日以下の記事が投稿され、その斬新な考え方に個人的ながら衝撃を受けました。 内容をざっくり言うと、ニューラルネットワークの学習を現在の主流であるBP法（誤差逆伝播法）ではなく、ED法（誤差拡散法）という新しい学習手法を提案しているものです。 もし記事の内容が本当ならニューラルネットワークの学習がO(1)でできてしまう事になり、まさしく革命が起きてしまいます。 （結論からいうと速度面はそこまででもなかったです（それでも早くなる可能性あり）） （ただこの新手法のポテンシャルは革命を起こす可能性は秘めているといっても過言ではありません） ED法に関してネットを探すとインターネットアーカイブに情報が少し残っていました。 このページですがED法のサンプルプログラム（C言語）が残っており、このサンプルプログラムをベースにpythonで書き起こしたものが本記事となりま
データセット「Fashion-MNIST」について説明。7万枚の写真（ファッション商品）の「画像＋ラベル」データが無料でダウンロードでき、画像認識などのディープラーニングに利用できる。scikit-learn、Keras／tf.keras、TensorFlow、PyTorchにおける利用コードも紹介。
KMNIST／Kuzushiji-MNIST：日本古典籍くずし字（手書き文字）データセット：AI・機械学習のデータセット辞典 データセット「KMNIST」について説明。7万枚の手書き文字（くずし字）の「画像＋ラベル」データが無料でダウンロードでき、画像認識などのディープラーニングに利用できる。データセットをダウンロードできるPythonファイルについても紹介。
深層距離学習(Deep Metric Learning)各手法の定量評価 (MNIST/CIFAR10・異常検知) - Qiita
各組み合わせにつき、上図で表した10テストケースをそれぞれ実施して統計をとっています。 まとめ: 10テストケースでは、正常・以上に割り当てる具体的なクラスを入れ替える。 8つのセットで評価の条件を組み合わせ、各条件で10テストケースすべてを実施した上で統計をとった結果を出している。 1.3 評価方法 ひとつの組み合わせは10テストケース実施それぞれで、①AUC、②各クラスサンプルの平均距離を得た。 ひとつのテストケースの評価手順 通常のCNN分類器(ResNet18)に、手法を組み込む。(Conventionalのときは何もせずそのまま使う) 学習は、「正常」に割り当てたクラスだけで構成する学習データセットを使い、転移学習によって行う。学習データは、各データセットで元々trainセットに入っているサンプルのみ利用する。 評価データの距離を得る。 正常・異常を問わずすべてのクラスから評価デ
本記事は20分程度でお読みいただけます。 こんにちは。TC3データサイエンス部門の梅本です。 普段はPyTorchを使っているのですが、新しいライブラリを触るのも勉強になると思いますので、今日は新進気鋭の深層学習ライブラリであるJAX/Flaxを使って、MNISTを学習させてみようと思います。 はじめに 皆さんご存知の通り、TensorFlow、Keras、PyTorch(Chainer…)と近年は様々な深層学習ライブラリが使われています。最近、JAXというライブラリが話題になっているものの、十分すぎるライブラリがある中でなぜJAXが新たに出てきたのでしょうか？（そしてなぜ使うべきなのか）。この理由には後発ライブラリの強みとして、先行ライブラリの問題点を改良しているという点が挙げられます。現状以下のような利点が挙げられます XLAコンパイルによる高速性 厳密な乱数の管理による再現性の担保
かれこれ一ヶ月弱くらいBitNetと格闘している。BitNetは、Microsoftが発明したと主張している1-Bit(1.58ビットとも言われる)量子化ニューラルネットワークのことだ。 僕はその辺に落ちてるコードを使って最初の最初はlossが2くらいまで下がったのだが、そもそもLLMはlossが1を切らないと実用性がない。 それ以降は6とか良くて5とかなのでたまたま最初に試したのがうまく行ったようだ。 しかしいつまで経っても良くならないのでBitNetの性質を根本的に見直す必要があるのでは?と思い、初心に帰って論理回路を学習させようとした。 BitNetのコードベースははちさんのコードと、Microsoftの公式な論文の実装を併用した。 まず試したのはこのようなコード from bitnet import * import torch from torch import optim im
Flaskとは Flaskとは、Pythonのための軽量なウェブアプリケーションフレームワークです。 フレームワークとは アプリケーションソフトを開発する際に必要とされる機能をまとめて整えてくれている 枠組み・ひな形を簡単に構築できるパッケージのことを指します。 Rubyという言語でしたらRails PythonでしたらDjangoやFlaskが主流となっています。 Flaskというひな形にはめることでwebアプリケーションを簡単かつ軽量に開発することができます。 MNISTを用いた手書き文字識別アプリを制作していきます。 Flaskを用いてサーバとの処理を行い、HTML&CSSでアプリの見た目を作ります。 最小規模のFlaskアプリを実行 Flaskで何ができるかを体験していただくために、まずは最小規模のFlaskウェブアプリケーションを実行してみましょう。
MNISTのデータをCSVに変換する（Pythonによるスクレイピング＆機械学習テクニック） - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話
今回は、前回ダウンロードしてきたMNISTのデータをCSVに変換しました。 今までバイナリデータをちゃんと扱ったことがなかったので、とても勉強になりました。 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第４章を参考にさせていただきながら、取り組んでいます。 MNISTのデータのダウンロードまでは、前回の記事をご参照ください。 oregin-ai.hatenablog.com では、振り返っていきたいと思います。 MNISTのデータをCSVに変換する 1.MNISTのデータ構造 2.全体像 3.ラベルファイルとイメージファイルを開く 4.ヘッダー情報を読み込む 5.画像データを読み込んでCSVで保存 6.うまく取り出せたかどうかPGMで保存して確認 7.出力件数を指定して出力 8.コマンドラインか
脳科学と教師なし学習の関係。情報量最大化教師なし学習でMNIST：Google Colabratory（PyTorch） - Qiita
脳科学と教師なし学習の関係。情報量最大化教師なし学習でMNIST：Google Colabratory（PyTorch）Python機械学習DeepLearningAIPyTorch 本記事では、教師なし学習と脳科学、そして教師なし学習でMNISTで高性能を出すIICの実装を解説します。 本記事で着目する論文は、 Invariant Information Clustering for Unsupervised Image Classification and Segmentation です。 この論文では相互情報量と呼ばれる指標を活用し、教師なし学習のクラスタリングで手書き数字画像を分類します。 IIC（Invariant Information Clustering）と呼ばれます。 本記事では、脳科学と教師なし学習、IICのポイン、MNISTでの実装例を解説します。 目次は以下の通りで
今回の目的 前回までに全結合型のオートエンコーダー、CNNを利用した畳み込みオートエンコーダー、それから学習を高速に行えるようにGPUを使用する方法などを見てきました。 ところで、オートエンコーダーが持つエンコーダーで元画像を縮小（次元削減）して、それをデコーダーで復元することはどんなことで役に立つのでしょうか。一般には異常検知やノイズ削減などがオートエンコーダーの用途として挙げられています。そこで、今回は、MNISTの手書き文字を例に異常検知とはどんなものなのか、その本当に表面的な部分だけを見てみることにします。 「異常検知」とは、数多くのデータの中から、他のデータとは異なる特徴を持つデータを見つけ出すことです。例えば、工場で生産されたネジを考えてみましょう。製造されたネジの多くは何の問題もなく、製品として出荷できるものです。しかし、その中のごく一部には、傷があったり、先端が曲がっていた
MNIST：手書き数字の画像データセット
データセット「MNIST」について説明。7万枚の手書き数字の「画像＋ラベル」データが無料でダウンロードでき、画像認識などのディープラーニングに利用できる。scikit-learn、Keras／tf.keras、TensorFlow、PyTorchにおける利用コードも紹介。
Fashion-MNIST: 簡単になり過ぎたMNISTに代わる初心者向け画像認識ベンチマーク - 渋谷駅前で働くデータサイエンティストのブログ
(MNIST database - Wikipedia) 僕は画像認識分野は門外漢なのですが、ここ最近初心者向けにCNNのトレーニングを行うことを企画していて、その目的に適した画像認識のオープンデータセットを探していたのでした。 というと誰しも思いつくのがMNISTではないかと思うのですが、Kaggleのベンチマークにも出ているように、実はMNISTはチューニングなしのデフォルトのランダムフォレストで回しても97%以上のACCが出てしまいます。そしてちょっとチューニングしたCNNなら99.7%を叩き出せてしまう上に、そういったノウハウがネットのあちこちにHello World並みのイージーハウツーコンテンツとして溢れ返っていて、初心者向け教材という意味では全く参考になりません。そこで、ちょっとサーベイして探してみることにしました。 MNIST以外のMNIST的なデータセットを探す 実は、以
図1 QMNISTに含まれる「手書き数字」の例 ※データセットの配布元： 「facebookresearch/qmnist: The QMNIST dataset」。BSDライセンス。 ※出典： Cold Case: The Lost MNIST Digits. Chhavi Yadav, Léon Bottou. arXiv:1905.10498 QMNISTは、MNISTの改良版／再構築版として、NIST Special Database 19から抽出＆加工して作られたサブセットである。MNISTの代わりとして、主に画像認識を目的としたディープラーニング／機械学習の研究や初心者向けチュートリアルで使われることが想定される。 中身の画像データやラベルはMNISTデータセット（以下、MNIST）とほぼ同じであるが、 が異なる。 まず6万件に増やした理由については、論文「Cold Case:
[OpenCV] Pytorchの手書き数字（MNIST）分類モデルをOpenCVから利用してみました | DevelopersIO
1 はじめに CX事業本部の平内（SIN）です。 Pytorch入門ということで、MNIST（手書き数字のデータセット）から作成したモデルを使用して、OpenCVでWebカメラの動画を推論にかけてみました。 使用したモデルのコードは、Githubで公開されている、Pytorchの公式サンプルコードです。 https://github.com/pytorch/examples/blob/master/mnist/main.py 最初に動作しているようすです。 推論の対象となっているのは、画面の中央だけで、別ウインドウに表示されている部分です。 2 モデル 公開されているサンプルコードは、以下のようになっています。 (1) データセット データセットは、torchvisionによって、MNISTが利用されています。 取得時に、transformsによる変換を行って、訓練用とテスト用のデータロー
![[OpenCV] Pytorchの手書き数字（MNIST）分類モデルをOpenCVから利用してみました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/4339c888bf60e2c185a32451708e331b9d3ff47f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F07%2Fopencv_logo.png){kind=logo}
【PyTorch】MNISTのサンプルを動かしてみた
今まではTensorFlowバックエンドのKerasでディープラーニングをやっていましたが，そろそろKerasを卒業したいなと思いまして，PyTorchを少し触ってみました。 PyTorchにした理由は， 実行速度が速い ユーザが多い Define by Run 論文の実装がPyTorchの場合が多い（重要） といったようなところです。 まずはMNISTでやってみる Kerasでは2種類ほど過去にディープラーニングの実装はやってみました。 【Keras+TensorFlow】Deep Learningで顔検出をしてみた 【Keras+TensorFlow】Deep Learningでテロップ位置を検出してみた このときに自前（といってもオープンデータですが）を用意して実装したので，この2つをPyTorchに書き換えてもいいかなーとも思ったのですが，とりあえずはサンプル通りにということでMI
MNISTデータベースには、上に示したような手書きの数字（と対応する正解ラベル）が訓練データとして6万個、テストデータとして1万個格納されています。この膨大な数のデータを使用して、手書きの数字を認識してみようというのが目標です。 今回は、これまでに見てきた全結合型のニューラルネットワークを作成して、これを実際に試してみましょう。今回紹介するコードはここで公開しているので、必要に応じて参照してください。 データセットの準備と探索 本連載で使用している機械学習フレームワークであるPyTorchには今述べたMNISTを手軽に扱えるようにするためのtorchvisionパッケージが用意されています（「vision」が付いているのは、このパッケージがコンピューターによる視覚の実現＝コンピュータービジョンに由来するのでしょう）。このパッケージを使って実際にMNISTデータベースからデータセットを読み込
自動微分+XLA付き機械学習フレームワークJAXを使用してMNISTを学習させてみる - Morikatron Engineer Blog
こんにちは、エンジニアの竹内です。 深層学習を行う際によく利用されるフレームワークといえばGoogleが開発しているTensorflowとFacebookが開発しているPytorchの２大巨頭に加えて、Kerasなどが挙げられるかと思いますが、今回はそのような選択肢の一つとしてGoogleが新しく開発している*1新進気鋭（？）の機械学習フレームワークJAXを紹介したいと思います。 github.com 今回JAXを紹介するきっかけですが、最近話題になったVision Transformerの公式実装のソースコードを読む際に、モデルの実装にJAXが使用されており、少し気になったので勉強がてら触ってみたというのが経緯です。 github.com ディープラーニングのフレームワークの入門といえばMNISTデータセットを使った画像分類ですので、今回はJAXの入門編としてシンプルな多層パーセプトロン
TensorFlowのいろいろな書き方「Keras API」「Custom train loop」「Custom layer」についてMNISTの例を解説します。また、TF2.0＋KerasでColab TPUを使った訓練方法も解説していきます1。 TensorFlow2.0での書き方 TensorFlow2.0の書き方は何種類かあります。Kerasの作者によるColab Notebookによると、 縦軸に注目してください。上に行くほど高レベルAPI、下に行くほど低レベルAPIとなります。各項目が何を表すかと言うと、 Built in training/eval loops ： Kerasのfit()やevaluate()といった関数を使うものです。TF1.X時代のKerasとほぼ同じです。 Customized step-by-step loops : Kerasのfit()などを使わず
autograd(自動微分) Tensorは自身が作成された関数の参照.grad_fnを持ち、backward()が呼ばれるとbackpropしてrequires_grad=TrueなTensorの勾配を自動で計算し.gradに入れてくれる。 MLPと誤差逆伝搬法(Backpropagation) - sambaiz-net import torch x = torch.randn(4, 4) y = torch.randn(4, 1) w = torch.randn(4, 1, requires_grad=True) b = torch.randn(1, requires_grad=True) y_pred = torch.matmul(x, w) + b loss = (y_pred - y).pow(2).sum() print(x.grad, w.grad) # None None
MacBook Pro の Radeon GPU で Keras を使って MNIST を高速に学習させる方法 - Kei Minagawa's Blog
2019年12月現在、MacBook Pro の Radeon GPU で Keras を使って MNIST を高速に学習させることができました。忘れないよう環境構築手順等を記載します。Plaid-ML という機械学習ライブラリをインストールし Keras のバックエンドにそれを指定するとできることを確認しました。 Table of Contents 1. 参考文献 2. 環境構築 2.1. 前提条件 2.2. "plaidml-keras" のインストール 2.3. 初期設定コマンド 3. Keras で GPU を使用するために追加するコード 4. MNIST の学習 5. まとめ 1 参考文献 以下の記事を参考にしています。 Tensorflowのdockerを使ってみる（macOS） qiita.com PlaidML Kerasでやっていく #TokyoR 73 PlaidML
SVMでMNISTのデータを画像分類する（Pythonによるスクレイピング＆機械学習テクニック） - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話
今回は、前回CSVに変換したMNISTの手書き文字画像を、０〜９に分類しました。 機械学習の一大テーマである画像分類の復習です。 今回も Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第４章を参考にさせていただきながら、取り組んでいます。 MNISTのデータのCSVへの変換は、前回の記事をご参照ください。 oregin-ai.hatenablog.com では、振り返っていきたいと思います。 SVMでMNISTのデータを画像分類する 1.全体像 2.CSVファイルを読み込んで訓練データに変換 3.訓練データで学習する 4.テストデータで予測する 5.精度を確認する 6.コマンドラインから実行してみる SVMでMNISTのデータを画像分類する 1.全体像 コード全体は以下の通りで、「mnist-tr
❶はじめに AIの'Hello World'と呼ばれるMNIST(AIによる数字認識)について、今日もゆるりと試行錯誤していきたいと思います。 自分で書いた数字を認識させてみた 『0からはじめる「Python AIプログラミング」for Google Colab』で実施した通り、MNISTの認識精度は99.1%以上となり、ほぼ完成しているように見えました。 しかし、『【MNIST】自分の数字をAIに認識させよう』で自分の手書き数字が正しく認識されるか試してみたところ、意外と誤認識が多いことが分かりました。 これはつまり、MNISTが用意したテストデータでの認識精度が99.1%以上になったに過ぎないということですね。 →考えてみたら、そりゃそーなんだけどね😅 誤認識サンプル 例えばですが、『0からはじめる「Python AIプログラミング」for Google Colab』で作ったモデルを
畳み込みニューラルネットワークと聞いて、画像処理を真っ先に思いつくのが普通だと思います。でも、実は別の分野でも大きな成果を出しています。今回扱う1次元畳み込みニューラルネットワークは自然言語処理などの時系列情報を認識する性能で再帰型ニューラルネットワークを凌いでいます。 そのため、今回は自身が1次元畳み込みニューラルネットワークについて学んだ結果をまとめつつ、記事として残したいと思います。もし、間違い等があったら教えていただけると大変助かります。 また、動画でも残していますので、以下にのせます。 畳み込みニューラルネットワークとは 畳み込みニューラルネットワーク（Convolutional Neural Network;CNN）とは、主に画像認識の場で使用される深層ニューラルネットワークで、局所的受容野と重み共有という特徴を生かし、全結合ニューラルネットワークに比べて少ないパラメータ数で空
mnistを距離学習(metric learning)してt-SNEで可視化してみる(pytorch) - Qiita
metric learningにおけるangular lossとn-pair lossの特性の違いを理解したかったので、pytorchで実装し、mnistで分類してからt-SNEで可視化してみました。 実装はgithubにあります。 https://github.com/tomp11/metric_learning また、N-Pair LossとAngular Lossについては 距離学習におけるN-Pair LossとAngular Lossの理解と実装(Pytorch) でも詳しく説明しているのでそちらも参考にしてください。 結果 最初に結果を比較してみます。 n_pair_loss n_pair_angular_loss n-pair lossは少し曖昧に分ける印象があります。3と8が重なってしまってる部分も見られます。しかし分類が難しいものでもそのままにせず、どこかのグループには所
MNISTで手書き文字認識やってみた｜まーこ
お勉強記録第一弾です。 今回使用するMNISTとは、手書き数字（0~9）の画像とその画像に書かれた数字のラベルのデータセットです。AIドルの研修でも使用しましたが、DeepLearningのチュートリアルとしてよく使用されています。 今回はこのMNISTを使用し、手書き数字（0~9）の分類をするDeepLearningのモデルを構築してみようと思います。 実行環境・ライブラリのご紹介Pythonの実行環境ですが、まずはGoogle Colaboratoryを使用することをオススメします。 Jupyter Notebookの環境構築って難しくないですか？私だけですか？？？ 環境構築で躓いてはやる気も削がれるので、いますぐGoogleアカウント作ってサクッと始めちゃいましょう。 Colaboratoryはクラウド上で動くJupyter Notebookみたいな感じです。 使用するライブラリをイ
就職活動ネタとして記事を初投稿。 精度が高いと言われている教師無し学習、IIC(Invariant Information Clustering)の論文を読み解き実装してみました。 IICとは、相互情報量を最大化することでクラスタリングを行う手法のことです。 IICの論文はこちら Invariant Information Clustering for Unsupervised Image Classification and Segmentation Xu Ji, João F. Henriques, Andrea Vedaldi 使ったフレームワークはTensorFlow2.0。対象データはお馴染みのMNIST。 相互情報量について 相互情報量の解釈は複数ありますが、今回の機械学習を説明しやすいシンプルな方法を選びます。 確率分布Xに対する情報エントロピーH(X)は以下で定義される。
バックボーンのフレームワークを、従来のTensorFlowから、デファクトスタンダードになりつつあるPyTorchと、実行効率に優れたJAXも選べるようになったKeras3.0が公開されていたので、さっそくバックボーンをPyTorchやJAXに設定して、手書きアルファベット画像のクラス分け課題のMNISTを試してみました。 23.11.29追記 公式の紹介ページも公開されていました。 https://keras.io/keras_3/ Keras3のインストール、インポート今回はGoogle Colabで試してみます。Keras3は現時点ではPyPI上では、プレビューリリースとしてkeras-coreの名前でインストールできます。 !pip install keras-coreバックエンドの設定(torch, jax, tensorflow) import os os.environ["K
MNIST（手書き数字データ）のダウンロード／解凍を自動化する（Pythonによるスクレイピング＆機械学習テクニック） - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話
今回は、少しスクレイピングに戻って、画像の文字認識に使うためのMNIST（手書き数字データ）をダウンロードして解凍できるようになりました。機械学習では、圧縮されたデータをダウンロードして処理することもあるので、自動化できるのは非常に効率的です。 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第４章を参考にさせていただきながら、取り組んでいます。 環境構築については、Dockerを使われる方は、以下をご参照ください。 oregin-ai.hatenablog.com OSから、Ubuntuを導入して取り組む方は、以下をご参照ください。 oregin-ai.hatenablog.com では、振り返っていきたいと思います。 MNIST（手書き数字データ）のダウンロード/解凍を自動化する。 1.MNIS
PyTorchを勉強したので使い方をまとめていきます． ライブラリー 必要なライブラリをimportします． import numpy as np import torch from torchvision.transforms import ToTensor from torch.utils.data import DataLoader, Dataset, Subset from torchvision.models import resnet50 from sklearn.datasets import fetch_openml from sklearn.model_selection import KFold Datasetの作成 PyTorchにはtorchvision.datasets.MNISTというMNIST Datasetが用意されているが今回は自分でDatasetを作成し
とりあえずディープラーニングを実装してPyTorchの実装の流れを掴みたい（所要時間15分） 初心者だけど、PyTorchを丁寧に体系的に学びたい（所要時間30〜45分） （PyTorchを丁寧に学びたい方へ）: 各見出しごとに詳細ページへのリンクが貼られているので、より深く知りたいと思った箇所を適宜アクセスしてください！
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
金子勇さんのED法を実装してMNISTを学習させてみた - Qiita
Fashion-MNIST：ファッション商品（写真）の画像データセット
KMNIST／Kuzushiji-MNIST：日本古典籍くずし字（手書き文字）データセット
JAX/Flaxを使ってMNISTを学習させてみる | TC3株式会社｜GIG INNOVATED.
BitNetでMNISTを学習させて見えてきた性質｜shi3z
Python: Flask入門:MNISTを用いた数字識別アプリ制作 - Qiita
MNISTを使ってオートエンコーダーによる異常検知を試してみよう
QMNIST：手書き数字の画像データセット（MNIST改良版）
MNISTの手書き数字を全結合型ニューラルネットワークで処理してみよう
TensorFlow2.0 with KerasでいろいろなMNIST（TPU対応） - Qiita
PyTorchでMNISTする - sambaiz-net
【MNIST】データ拡張で「汎化性能」UPっぷ【認識率UP!】 - Qiita
1次元畳み込みニューラルネットワークでMNISTの時系列処理
教師なし学習でMNISTの正解率を97%以上出す簡単な手法（転移学習なし） - Qiita
PyTorchとJAXに対応したKeras3でMNISTを試す｜はまち
PyTorch入門 MNIST - きままなvacation
【入門】PyTorchの使い方をMNISTデータセットで学ぶ（15分）｜努力のガリレオ
book18.dmm-av.xyz
togetter.com
shirouto.dmm-av.xyz
erodouga.cyou
yoshie0.vp.bex.jp
book18.dmm-av.xyz