並び順

ブックマーク数

期間指定

  • から
  • まで

201 - 240 件 / 435件

新着順 人気順

Pytorchの検索結果201 - 240 件 / 435件

  • PyTorch 2.0の新機能「torch.compile」使ってみた - まったり勉強ノート

    今回は3/16についに出たPyTorch 2.0の目玉機能である「torch.comple」について実際に動かしてみて計算時間を測定してみたので、そのまとめになります。 時間計測の部分で測定に使ったコードはここにあげてあります。 https://github.com/shu65/pytorch_2_compile_example/blob/main/torch_2_0_compile.ipynb torch.compileとは? torch.compileはPyTorch 2.0の新機能で、PyTorchの複数の機能を組み合わせて使い関数や深層学習のモデルを実行時に最適化して、その後の呼び出して高速に実行できるようにする機能です。 torch.compileの中身の詳しい説明はここにかかれています。 https://pytorch.org/get-started/pytorch-2.0/#

      PyTorch 2.0の新機能「torch.compile」使ってみた - まったり勉強ノート
    • Microsoft、機械学習ライブラリ「PyTorch」の初心者向け無料教材 | Ledge.ai

      サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

        Microsoft、機械学習ライブラリ「PyTorch」の初心者向け無料教材 | Ledge.ai
      • Pytorch+Tensorflowのちゃんぽんコードのすゝめ(tfdsでpytorchをブーストさせる話) - Qiita

        この記事は、 『Pytorchユーザーが実験速度で悩んでるときに、Tensorflowを部分的に使ってみるの割とアリでは説』 をちょっと検証してみたという内容になります とどのつまり(編集 2020/07/20) ちゃんぽんの方が純粋pytorchより速かったりもしますが、いやでもやっぱ普通はフレームワーク統一した方がいいですたぶん。(可読性、コードの再利用性的に) 背景(ちょっとポエムを…本題は『やったこと』からです) Pytorch v.s. Tensorflow 先日こんなツイートを見かけました(引用失礼します) TensorFlowが書きにくいというのはどういうことだろう.インターフェイスとして書きにくいというのであれば,それはないと思う,というかどのツールも正直大して変わらない.エラーの出処が深すぎて(あとデコレータでスタック改造していたりするので)デバッグできないというのは分か

          Pytorch+Tensorflowのちゃんぽんコードのすゝめ(tfdsでpytorchをブーストさせる話) - Qiita
        • 【LLM for NewsRec】大規模言語モデル(BERT)を活用したニュース推薦のPyTorchによる実装と評価

          1. はじめに 世は大インターネット時代。「ニュースは紙ではなく、スマホで。」が当たり前。日々生み出される膨大なニュースの中から個人の嗜好に基づいた記事を抽出するニュース推薦システムの需要は高まり、Microsoft NewsやYahoo News、Smart Newsなど数多くのオンラインニュースメディアが、その分野に多大なる労力を割いています。そして、近年用いられる手法の多くは機械学習技術が用いられています。 ニュース推薦における推薦アイテムは、いうまでもなく「ニュース記事」。そしてその大部分はテキスト情報から構成されます。機械学習 x テキスト処理となると、今最もホットなトピックといえば、やはり大規模言語モデルの応用です。 大規模言語モデルは、膨大なコーパスによる事前学習を通して深い言語理解を獲得した大規模なニューラルネットです。文書分類や翻訳、対話応答など、様々な自然言語処理タスク

            【LLM for NewsRec】大規模言語モデル(BERT)を活用したニュース推薦のPyTorchによる実装と評価
          • PyTorchの気になるところ(GW第1弾) - Qiita

            はじめに GW今年はどこへも行けないのですね、、、。せっかくなので記事を書いていきたいと思います(毎日1記事目標に)。PyTorchを普段触っているのですが、細かいところをなんとなくで今まで過ごしてきたので、今回しっかりまとめていきたいと思います。自分の備忘録になっていますが、少しでも参考になればと思います。 この記事の対象者 .copy(), .detach(), .bachward()がよくわかっていない方 nn.Conv2dのweightやbiasの取得ってどうやんの? model.eval()って結局何してる?って方 torch.no_grad(), torch.set_grad_enabled()の区別がわからない方 F.relu, nn.ReLUの違いなんやねんって方 コアなネタが多いですが、よかったら参考にしてみてください。 この記事の内容 1. Tensorの操作テクニック

              PyTorchの気になるところ(GW第1弾) - Qiita
            • PyTorchのEmbeddingの挙動についてまとめてみた - DROBEプロダクト開発ブログ

              はじめに CTOの都筑(@tsuzukit2)です この記事では PyTorch の Embedding の挙動について記載します Embedding とは何か 公式の仕様書はこちらになります Embedding - PyTorch 1.9.0 documentation 公式の説明は以下となっており、非常に的を得ていると思います A simple lookup table that stores embeddings of a fixed dictionary and size. 意訳すると、 固定長の辞書埋め込みを保存するシンプルなルックアップテーブル になるんじゃないかなと思います。Embedding は、何だか難しそうにも思えてしまうのですが、ここに記載されている通り非常にシンプルなテーブルでしかないという事です モジュールの解説としては以下のように記載があります This mod

                PyTorchのEmbeddingの挙動についてまとめてみた - DROBEプロダクト開発ブログ
              • Lightning AI | Turn ideas into AI, Lightning fast

                The all-in-one platform for AI development. Code together. Prototype. Train. Scale. Serve. From your browser - with zero setup. From the creators of PyTorch Lightning.

                  Lightning AI | Turn ideas into AI, Lightning fast
                • GitHub - microsoft/ptgnn: A PyTorch Graph Neural Network Library

                  You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                    GitHub - microsoft/ptgnn: A PyTorch Graph Neural Network Library
                  • PyTorchを用いたディープラーニング実装の学習方法 (Part 1)

                    PyTorchを用いて画像処理から自然言語処理など、様々なDeepLearningの実装手法を学習する方法を解説します(Part 1)。( I introduce how to learn PyTorch Implementation for Japanese people). 本シリーズの内容[1] 機械学習そのものが初心者の方へ [2] これからPyTorchを学びはじめる方へ [3] 画像分類の転移学習とファインチューニング [4] 物体検出(SSD) [5] セマンティックセグメンテーション(PSPNet) [6] 姿勢推定(OpenPose) [7] GANによる画像生成(DCGAN、Self-Attention GAN) [8] GANによる異常検知(AnoGAN、Efficient GAN) [9] 自然言語処理による感情分析(Transformer) [10] 自然言語処理

                      PyTorchを用いたディープラーニング実装の学習方法 (Part 1)
                    • How Nvidia’s CUDA Monopoly In Machine Learning Is Breaking - OpenAI Triton And PyTorch 2.0

                      The 1,000-foot summary is that the default software stack for machine learning models will no longer be Nvidia’s closed-source CUDA. The ball was in Nvidia’s court, and they let OpenAI and Meta take control of the software stack. That ecosystem built its own tools because of Nvidia’s failure with their proprietary tools, and now Nvidia’s moat will be permanently weakened. TensorFlow vs. PyTorch A

                        How Nvidia’s CUDA Monopoly In Machine Learning Is Breaking - OpenAI Triton And PyTorch 2.0
                      • Python向け機械学習ライブラリ「PyTorch 2.4」がリリース

                        PyTorch 2.4におけるベータ版としては、torch.compile()におけるPython 3.12を使用したモデル最適化への対応や、CPUでAOTInductorを使用する際にフリーズフラグをオンにできるようになり、AOTInductorでInductor CPPバックエンドと同じオペレーションシナリオセットをカバーして、同等のパフォーマンスの実現を可能にする機能が追加されている。 あわせて、Pythonの組み込み演算子のように動作するカスタム演算子を使用して、PyTorchを拡張することが容易になる高レベルPythonカスタム演算子APIの追加や、初期化時間を大幅に短縮してスケーラビリティを向上する、TCPStore用の新たなデフォルトサーババックエンドとなるlibuvの導入が行われた。 プロトタイプ機能としては、dim-0パラメータごとのシャーディングを使用してFSDP1のフ

                          Python向け機械学習ライブラリ「PyTorch 2.4」がリリース
                        • GitHub - NVlabs/imaginaire: NVIDIA's Deep Imagination Team's PyTorch Library

                          You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                            GitHub - NVlabs/imaginaire: NVIDIA's Deep Imagination Team's PyTorch Library
                          • PyTorchを使ってジャパリパークの歌詞みたいなやつを生成させたい - Qiita

                            はじめに 先日,Preferred Networks(PFN)社が提供している深層学習ライブラリ「Chainer」の開発が終了しましたね. 私の研究室ではTensorflow派とChainer派に分かれており,互いにマウントを取り合っていたのですが,開発終了と同時にChainer派が淘汰されてしまいました(キレそう). 私自身はChainerを愛用しておりましたのでとても残念に思うのと同時に,今まで使いやすいフレームワークを提供して頂いたことによる感謝の気持ちでいっぱいでございます(信者). さてそのPFN社なのですが,PyTorchの開発へ移行するらしいです. しかもPyTorch自体がChainerの記述に似ている面が多いと聞きます. また私の研究では主に使用したのがCNNやらGANなのですが,RNN関連に手を付けていませんでした.... 「これはPyTrochの使い方とRNNの仕組み

                              PyTorchを使ってジャパリパークの歌詞みたいなやつを生成させたい - Qiita
                            • PyTorch to JAX 移行ガイド(MLP学習編)

                              背景 「JAX最高」「GoogleではみんなJAXやってる」などと巷で言われているが、研の活動をやってると、比較手法がPyTorchで提供されていたり、ちょっと特殊な損失関数とかを使わないといけなかったり、あとはネットワーク魔改造をしたくなったりと、「とりあえずまずはPyTorchでやっとくか…」と思わせる要素がたくさんあり、PyTorchから抜け出せずにいた。 ムムッでもこれは2013年ごろを思い出す…その頃自分はとにかくMatlabで全部書いてて、なかなかPythonに移行出来ずにいた。そんななか「飯の種ネタをPythonで書き始めれば、Pythonできない→成果が出ない→死」なので自動的にPythonを習得できるのでは???と思い、えいやとPythonの海に飛び込んだのである。思えばPyTorchもDockerもそんな感じで飛び込んだが、今こそJAXに飛び込む時なのかもしれない。 移

                                PyTorch to JAX 移行ガイド(MLP学習編)
                              • ディープラーニングモデル圧縮手法 Pruning を PyTorch でお試し - OPTiM TECH BLOG

                                こんにちは、R&D チームの宮城です。画像分類モデルの開発や精度改善などの業務を担当しています。 最近は将棋観戦にはまっており、藤井聡太先生の対局を見まくっていますが一向に将棋が強くなる気配はありません。 今回の記事ではディープラーニングモデル圧縮手法の一つ、Pruning を PyTorch で簡単に試してみました。 Pruningとは PyTorch で Pruning お試し データセットを用意 モデル作成 ベースとなるモデルを訓練 モデルをPruning 精度評価 Pruning後の有効パラメータ数確認 Pruning後のモデルサイズ確認 評価結果まとめ おわりに Pruningとは Pruningについては下記の記事が大変参考になりました。内容をかいつまんで説明します。 Compress & Optimize Your Deep Neural Network With Pruni

                                  ディープラーニングモデル圧縮手法 Pruning を PyTorch でお試し - OPTiM TECH BLOG
                                • GitHub - ashawkey/stable-dreamfusion: Text-to-3D & Image-to-3D & Mesh Exportation with NeRF + Diffusion.

                                  You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                    GitHub - ashawkey/stable-dreamfusion: Text-to-3D & Image-to-3D & Mesh Exportation with NeRF + Diffusion.
                                  • Hydra — A fresh look at configuration for machine learning projects

                                    This post is authored by Omry Yadan, Software Engineer at Facebook AI who created Hydra. Hydra is a recently released open-source Python framework developed at Facebook AI that simplifies the development of research and other complex applications. This new framework provides a powerful ability to compose and override configuration from the command line and configuration files. As a part of the PyT

                                      Hydra — A fresh look at configuration for machine learning projects
                                    • PyTorchモデルをモバイルやエッジで利用するための方法の整理 - ほろ酔い開発日誌

                                      はじめに 最近では、Deep LearningのライブラリとしてPyTorchが利用される機会が多くなっています。私自身も以前はTensorflow/Kerasを利用していましたが、現状はPyTorchを使うことがほとんどです。 しかし、PyTorchは実装がしやすいものの、モバイルやエッジデバイスへのデプロイを考える上では不安な点が残ります。今回は、PyTorchを様々なプラットフォーム上で利用することを考えたときにどのような方法があるかを整理します。 モバイル 選択肢の整理 現在、モバイル (iOS/Android)へのデプロイを考えるときにメジャーな選択肢が3つあります。 Core ML (Apple) PyTorchをonnxに変換し、onnxをcoreMLに変換する Tensorflow Lite (Google) PyTorchをonnxに変換し、Tensorflow/Kera

                                        PyTorchモデルをモバイルやエッジで利用するための方法の整理 - ほろ酔い開発日誌
                                      • Pytorchの基礎 forwardとbackwardを理解する

                                        iris = load_iris() data = pd.DataFrame(iris.data, columns=iris.feature_names) y = iris.target y = np.identity(3, dtype=np.int64)[y] X_train, X_test, y_train, y_test = train_test_split(data.values, y, train_size=0.67, shuffle=True) print(f"X_train: {X_train.shape}, X_test: {X_test.shape}, y_train: {y_train.shape}, y_test: {y_test.shape}") X_train = torch.from_numpy(X_train).float() y_train = torch.

                                          Pytorchの基礎 forwardとbackwardを理解する
                                        • PyTorchは誤差逆伝播とパラメータ更新をどうやって行っているのか? - け日記

                                          引き続きお仕事でPyTorchを使った開発を行っているのですが、これまでKerasで高度にラッピングされた学習フレームワークしか経験が無かったので、お作法的なところで躓くこと・疑問に思うことがよくありました。 loss.backward()で計算グラフを伝って誤差逆伝播されるのはなんとなくわかる だけど、その計算方法や計算結果は誰が持ってて、入力側へどうやって渡してるのだろうか... optimizer.zero_grad()とoptimizer.step()は何をしているの? 今回はPyTorchの誤差逆伝播やパラメータ更新について調べて整理しました。 この投稿ではPyTorch 1.1.0を使ってます。 import torch import torch.optim as optim import numpy as np import matplotlib.pyplot as plt

                                            PyTorchは誤差逆伝播とパラメータ更新をどうやって行っているのか? - け日記
                                          • Pythonの機械学習ライブラリ「PyTorch」に脆弱性 研究者が発見

                                            人気ライブラリPyTorchに見つかったサプライチェーン攻撃の詳細 PyTorchは、MetaのAI(人工知能)リサーチグループによって開発されたライブラリで、GPUをサポートしたテンソル演算や深層学習トレーニング、Open Neural Network Exchange(ONNX)へのエクスポート機能、自動微分機能、自動ベクトル化などの特徴を備える。多くの深層学習ソフトウェアがPyTorchをベースに構築されており、さまざまな企業やプロジェクトによって使われている。 スタウィンスキー氏によると、PyTorchの「継続的インテグレーション/継続的デリバリー」(CI/CD)プロセス内の脆弱性と「GitHub」のデプロイシステム「セルフホステッドランナー」を悪用することで、PyTorchリポジトリに対する広範なアクセス権を獲得し、悪意あるコードのアップロードやリポジトリの秘密情報の窃取が可能に

                                              Pythonの機械学習ライブラリ「PyTorch」に脆弱性 研究者が発見
                                            • Fine-tuning a PyTorch BERT model and deploying it with Amazon Elastic Inference on Amazon SageMaker | Amazon Web Services

                                              AWS Machine Learning Blog Fine-tuning a PyTorch BERT model and deploying it with Amazon Elastic Inference on Amazon SageMaker November 2022: The solution described here is not the latest best practice. The new HuggingFace Deep Learning Container (DLC) is available in Amazon SageMaker (see Use Hugging Face with Amazon SageMaker). For customer training BERT models, the recommended pattern is to use

                                                Fine-tuning a PyTorch BERT model and deploying it with Amazon Elastic Inference on Amazon SageMaker | Amazon Web Services
                                              • Pytorchでオートエンコーダを試してみる - Qiita

                                                初めに AutoEncoder(自己符号器)というのは機械学習の中でも、教師無し学習の一種です。応用例としては異常検知が知られています。 今回はCNN(畳込ニューラルネットワーク)を使用してmnistに対するAutoEncoedrを試してみたいと思います。 何番煎じかわからないですが、Pytorchを勉強した備忘録です。 今回参考にしたのはこちら AutoEncoderについて 大雑把なAutoEncoderの理解は以下になります。 入力データと出力データの内容がイコールになるように、エンコーダとデコーダを調整します。 入力データが普段と異なるデータの場合、うまく入力データとイコールになる出力データを作ることができません。 そのため、入力データと出力データの差が多い場合、異常と判断することができる(らしいです)。 実践 環境は python ver3.6.9 pytorch ver1.3.

                                                  Pytorchでオートエンコーダを試してみる - Qiita
                                                • Pytorch – 自作のデータセットを扱う Dataset クラスを作る方法 | pystyle

                                                  概要 Pytorch で自作のデータセットを扱うには、Dataset クラスを継承したクラスを作成する必要があります。本記事では、そのやり方について説明します。 Dataset クラスでは、画像や csv ファイルといったリソースで構成されるデータセットからデータを取得する方法について定義します。基本的にはインデックス index のサンプルが要求されたときに返す __getitem__(self, index) とデータセットのサンプル数が要求されたときに返す __len__(self) の2つを実装します。 from torch.utils.data import Dataset class MyDataset(Dataset): def __getitem__(self, index): # インデックス index のサンプルが要求されたときに返す処理を実装 def __len__

                                                    Pytorch – 自作のデータセットを扱う Dataset クラスを作る方法 | pystyle
                                                  • GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite

                                                    You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                      GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite
                                                    • SmallTrain

                                                      さあ、はじめよう! ダウンロード SmallTrainは、Geek Guildが開発したオープンソースのディープラーニングフレームワークです。大量のデータを取得せず少量のデータでも、精度を損なうことなく、ディープニューラルネットワークを迅速に開発できます。 SmallTrainは... - 主にPythonで記述されており、Tensorflowのラッパーです。将来はKerasやPyTorchのラッパーともなり、Tensorflow、Keras、PyTorchユーザーのかけはしとなることを掲げています。 - エンジニアやデータサイエンティストに馴染み深いアーキテクチャとして、Pythonモジュールの形式を採用しています。KerasやPyTorchと同じような使い方なので、使い方の学習にかかる時間が短縮され、モデルの構築により多くの時間を費やすことができます。 - データサイエンスの概念に関す

                                                      • 【PyTorch】TorchEval を使って精度評価しよう

                                                        はじめに 今回は PyTorch で Deep Learning (深層学習,機械学習) を行う際に用いる,評価指標の計算方法について記述していきます. 本記事では,TorchEval という Facebook 社が開発を主導している PyTorch と同時に使われることを想定している,2022/10/30 にリリースされたばかりの精度評価用のライブラリです. ドキュメントを以下に貼っておきます. この記事を読むメリット 複雑な評価計算を 1 行で実装できる PyTorch が公式で出しているライブラリのためコードが綺麗になる といった 2 点のメリットがあります. これを使うことで,Accuracy,Top-k Accuracy はもちろん Precision(適合率)や Recall(再現率)や F1-score(Dice),混同行列,PR曲線,AUCに至るまで Tensor型のまま手

                                                          【PyTorch】TorchEval を使って精度評価しよう
                                                        • Why TensorFlow for Python is dying a slow death

                                                          Future of work Why TensorFlow for Python is dying a slow death PyTorch is easier to use and beloved by more developers Religious wars have been a cornerstone in tech. Whether it’s debating about the pros and cons of different operating systems, cloud providers, or deep learning frameworks — a few beers in, the facts slide aside and people start fighting for their technology like it’s the holy grai

                                                            Why TensorFlow for Python is dying a slow death
                                                          • PyTorchで全結合型のGANを作ってみよう

                                                            今回の目的 前回までは数回にわたってオートエンコーダーについて見てきました。今回はそれとはまた別の画像生成フレームワークとしてよく知られているGAN(Generative Adversarial Network。敵対的生成ネットワーク)を作ってみましょう。といっても、今回はみんな大好き「全結合型」のニューラルネットワークとして作ってみます。 GANの代表的な用途としては今回も取り上げる画像生成が挙げられます。萌え絵を自動生成するようなニューラルネットワークモデルはいろいろなところで話題になったことから、関連してGANという語を覚えている方もたくさんいらっしゃるでしょう。 GANは2014年に登場したアルゴリズムですが、その後、さまざまな改良が加えられ、その派生となる数多くのアルゴリズムが登場しています。その一つであるDCGAN(Deep Convolutional GAN)については後続の

                                                              PyTorchで全結合型のGANを作ってみよう
                                                            • PyTorch関数名の末尾アンダーバー`_`の意味 - BioErrorLog Tech Blog

                                                              in-place処理であることを意味します。 はじめに PyTorch関数名の末尾アンダーバー_ 意味 具体例 おわりに 参考 はじめに PyTorchを触っていると、しばしばアンダーバー_を接尾語とする関数を見かけます。 kaiming_normal_ add_ etc... 初見で意味を知らなかったので備忘録メモです。 PyTorch関数名の末尾アンダーバー_ 意味 PyTorch関数名の末尾アンダーバー_は、in-place処理を意味します。 in-place処理とは、元のデータを直接変更する処理のことです。 In-place operations Operations that have a _ suffix are in-place. For example: x.copy_(y), x.t_(), will change x. Ref. Tensors — PyTorch Tu

                                                                PyTorch関数名の末尾アンダーバー`_`の意味 - BioErrorLog Tech Blog
                                                              • TorchStudio

                                                                Browse, train and compare AI models in a couple clicks. Code only when needed. Connected Browse and load thousands of datasets and models offline and online. Build and train models locally and remotely. Visual Explore, analyze and reformat datasets. Visualize and debug models. Monitor and compare trainings.

                                                                  TorchStudio
                                                                • PyTorch入門

                                                                  PyTorchの勉強はシンプルなニューラルネットワーク(NN)を実装することから始めてみよう。まずはニューロンのモデル定義から始め、フォワードプロパゲーションとバックプロパゲーション、PyTorchテンソルの基礎、データローダー、最適化、評価まで一通りを解説。さらにCNNやRNNの実装例を通して、PyTorchに習熟する連載。 PyTorchだって難しくない 本連載の目的と方針 PyTorchとは? 本連載の第3回までで説明する大まかな流れ (1)ニューロンのモデル定義 ・PyTorch 1.4のインストール ・ニューロンのモデル設計と活性化関数 ・パラメーター(重みとバイアス)の初期値設定 (2)フォワードプロパゲーション(順伝播) ・フォワードプロパゲーションの実行と結果確認 ・動的な計算グラフの可視化 (3)バックプロパゲーション(逆伝播)と自動微分(Autograd) ・簡単な式で

                                                                    PyTorch入門
                                                                  • TensorFlow・PyTorchによる分散学習

                                                                    深層学習モデルの学習は、学習データの一部を抽出・勾配を計算するミニバッチ学習によって行われることが一般的です。勾配のばらつきを抑えるためには、ある程度のバッチサイズを保持する必要があります。一方で、バッチサイズの上限は利用するマシン(GPUやTPU)のメモリによって制約を受けるため、大規模なモデルや高解像度画像などを用いる際には、バッチサイズを小さくせざるを得ない場合があります。 これに対して複数のGPUや計算ノードを利用できる場合には、並列化によって単一GPUの時よりも大規模な学習を行うことができます。複数の計算機を用いた並列学習(分散学習)には大きく分けてデータ並列とモデル並列が存在しており、合わせて利用することもできます。 データ並列(Data Parallel):ミニバッチを複数の計算機に分散する方法 モデル並列(Model Parallel):一つのモデルを複数の計算機に分散する

                                                                      TensorFlow・PyTorchによる分散学習
                                                                    • ONNXモデルの変換エラーを解決: PyTorchのTransformerモデルの再実装方法

                                                                      Turing株式会社の自動運転・AIモデル開発チームの岩政(@colum2131)です。 Turingは2030年までに完全自動運転の達成を目指しており、自動運転AI開発から車両開発など、取り組むことは多岐に渡っています。 今回の話は、自動運転AI開発中に出た問題と、ひとまずの解決方法になります。より良い解決策があれば、教えてもらいたいです🙏 Transfomer-EncoderをONNXに変換したい ONNX(Open Neural Network eXchange)は、機械学習・深層学習モデルを表現するために構築されたオープンフォーマットです。 PyTorchやTensorFlow、scikit-learnなどのフレームワークで学習されたモデルをONNXに変換することでサーバーやエッジデバイスなど多様なハードウェアで運用が可能です。各ハードウェアごとに最適化されたフォーマットにも変換

                                                                        ONNXモデルの変換エラーを解決: PyTorchのTransformerモデルの再実装方法
                                                                      • OpenXLA is available now to accelerate and simplify machine learning

                                                                        The latest news from Google on open source releases, major projects, events, and student outreach programs. ML development and deployment today suffer from fragmented and siloed infrastructure that can differ by framework, hardware, and use case. Such fragmentation restrains developer velocity and imposes barriers to model portability, efficiency, and productionization. Today, we’re taking a signi

                                                                          OpenXLA is available now to accelerate and simplify machine learning
                                                                        • WSL2のUbuntuにCUDAをインストールしてPyTorchを動かす

                                                                          タイトル通りですが、WSL2のUbuntuにCUDAをインストールして、PyTorchでCUDAを利用する方法を紹介します。 そこまで難しい設定はありませんが、2021年4月17日時点ではWindows Insider Programに参加して、Windows10のビルドバージョンを20145以上にする必要があります。 多少面倒なのとdev版のビルドバージョンを利用する必要がありますが、WSLでGPUを使えるようになるのは便利すぎます。 実行環境 Windows10 Pro (OSビルド 21359)Ubuntu 20.04 on WSL2GeForce MX350CUDA Toolkit 11.3Python 3.8PyTorch 1.8.1 さらっと書きましたが、GeForce MX350でCUDA&PyTorchを使おうとする人ってどのくらいいるのでしょうか、、、 Windows10

                                                                            WSL2のUbuntuにCUDAをインストールしてPyTorchを動かす
                                                                          • GitHub - facebookresearch/schedule_free: Schedule-Free Optimization in PyTorch

                                                                            You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                                              GitHub - facebookresearch/schedule_free: Schedule-Free Optimization in PyTorch
                                                                            • PyTorchで日本語BERTと日本語DistilBERTの文章分類の精度比較をしてみた&BERTの精度向上テクニックの紹介 - Qiita

                                                                              PyTorchで日本語BERTと日本語DistilBERTの文章分類の精度比較をしてみた&BERTの精度向上テクニックの紹介Python自然言語処理PyTorchbert はじめに 前回の記事でhuggingface/transformersを使って日本語BERTを使ってみましたが、huggingface/transformersを使えば、他の事前学習済のBERTモデルも簡単に扱えます。 使えるモデルの一覧のうち、日本語のものと思われるモデルは他にもDistilBERTとかALBERTとかがあるようです。どちらも軽量版BERTって位置づけですかね。 今回はhuggingfaceからも使えるバンダイナムコさんが提供しているDistilBERTを簡単に紹介しつつ、通常のBERTとの精度比較を行ってみました。最後にBERTで文章分類をする際の精度を向上させるテクニックの1つも紹介してみます。 D

                                                                                PyTorchで日本語BERTと日本語DistilBERTの文章分類の精度比較をしてみた&BERTの精度向上テクニックの紹介 - Qiita
                                                                              • 種類が豊富な画像モデルライブラリpytorch-image-models(timm)の紹介 - のんびりしているエンジニアの日記

                                                                                皆さんこんにちは お元気ですか。私は小麦を暫く食べるだけにしたいです。(畑で見たくない‥) さて、本日は最近勢いのあるモデルのライブラリ(pytorch-image-models)を紹介します。 pytorch-image-modelsとは 通称timmと呼ばれるパッケージです。 PyTorchの画像系のモデルや最適化手法(NAdamなど)が実装されています。 Kagglerもこのパッケージを利用することが増えています。 github.com 従来まで利用していたpretrained-models.pytorchは更新が止まっており、最新のモデルに追従できていないところがありました。 このモデルは例えば、EfficientNetやResNeStなどの実装もあります モデルの検証も豊富でImageNetの様々なパタンで行われているのでこの中で最適なものを選択すると良いでしょう。詳しくはこちら

                                                                                  種類が豊富な画像モデルライブラリpytorch-image-models(timm)の紹介 - のんびりしているエンジニアの日記
                                                                                • ニューラルネットワークの学習でしていること

                                                                                  net = Net()  # ニューラルネットワークのインスタンスを生成 criterion = nn.MSELoss()  # 損失関数 optimizer = torch.optim.SGD(net.parameters(), lr=0.003)  # 最適化アルゴリズム EPOCHS = 2000  # 2000回繰り返す for epoch in range(EPOCHS): optimizer.zero_grad()  # 手順0:重みとバイアスの更新で内部的に使用するデータをリセット outputs = net(X_train)  # 手順1:ニューラルネットワークにデータを入力 loss = criterion(outputs, y_train)  # 手順2:正解ラベルとの比較 loss.backward()  # 手順3:誤差逆伝播 optimizer.step()  #

                                                                                    ニューラルネットワークの学習でしていること

                                                                                  新着記事