はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに CNNやRNNと並んで重要なニューラルネットワークの仕組みとして、アテンション機構が挙げられます。 アテンション機構は入力データのどこに注目するべきかを学習することが可能です。 従来、アテンション機構はRNNやCNNなどと組み合わせて実装されることが専らでしたが、 「Attention Is All You Need」にてアテンション機構のみを用いたモデル（RNNやCNNを用いない！）「Transformer」が登場しました。 本モデルの特徴として、高い精度と容易に並列処理が可能な点が挙げられます。 登場直後は自然言語処理を中

はじめに ニューラルネットを用いた画像関係の処理に、セグメンテーションと呼ばれるタスクが存在します。セグメンテーションは画像の1ピクセルごとにどのクラスに属するか予測します。代表的な応用事例として、自動運転・医療画像解析が挙げられます。 バイオ関係では、接着細胞の割合を算出することが可能だと思います。 今回はPytorchの習熟とセグメンテーションに対する理解を深めることを目的として、UNetの実装を行いました。 UNet 【参考】セグメンテーションのモデル 【原著論文】U-Net: Convolutional Networks for Biomedical Image Segmentation セグメンテーションにはいくつかのモデルが存在しますが、UNetはエンコーダ・デコーダ構造の代表的なモデルとなります。 このモデルは序盤（エンコーダ）に畳み込み層を用いた特徴量抽出を行い、終盤（デコ

はじめに ニューラルネットワークの学習では、誤差逆伝播法と呼ばれる手法で各ニューロンの重みの更新を行います。実際に重みの更新を可視化している記事が少なかったので、アニメーションとして可視化を行いました。 環境 Google Colaboratory Pro コード モジュールのimport・変換前のデータ import torchvision.transforms as transforms from torch.utils.data import DataLoader from torchvision.datasets import MNIST import torch from torch.autograd import Variable import torch.nn as nn import torch.nn.functional as F import torch.optim a