サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
パリ五輪
www.yurui-deep-learning.com
docker run --gpus all -it --rm -p 8887:8887 --name tensorrt nvcr.io/nvidia/pytorch:22.07-py3 下記コードを参考に実行します。 https://github.com/pytorch/TensorRT/blob/master/notebooks/Hugging-Face-BERT.ipynb Docker内にすでにコードがあるので、そのコードを使用します。 Jupyter-labを起動してコードにアクセスします。
参考情報 今回は下記の記事を参考に記述しています。 https://pytorch.org/tutorials/beginner/transformer_tutorial.html 動作確認した環境はGoogle Colabになります。設定方法は下記の記事に記述しました。 Transformerとは複数のAttention処理を使用しているモデルになります。Attention Is All You Needで提唱された手法になります。 Transformerが出るまでLSTMなどのモデルが自然言語処理では一般的に使用されていましたが、LSTMなどのモデルは並列実行が難しく、学習、推論時にパフォーマンスを出すのが難しい問題がありました。 TransformerはAttentionをベースにしたモデルにしてLSTMで使われている処理を使わないようにすることで並列実行速度を上げただけでなく、あら
TRTorchについて 以降は下記のリンクを元に記述しています。 https://www.nvidia.com/en-us/on-demand/session/gtcfall20-a21864/ PyTorchはpython依存しているがTorchScriptを使用するとC++からも使用可能になります。モデル静的な構造に変換します。 PyTorchのモデルをTorch Script形式に変換してC++から呼ぶ一例は下記になります。 PyTorchのモデル、TorchScriptのモデルはTensorRTで推論高速化が可能です。 TensorRTの特徴は下記になります。 なるべく低い数値精度を保ったままモデルを変換します。 レイヤー、Tensor合成をしてGPUへのカーネル命令の呼び出しをまとめています。 ハードウェアごとに最適なカーネル命令が異なるのですが、自動的に最適なカーネル命令を取得
Wav2Vec 下記の論文で紹介された手法になります。 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations https://arxiv.org/pdf/2006.11477.pdf 大きな特徴は事前学習とファインチューニングのフェーズに分かれており、事前学習ではラベルデータが必要ない。つまり音声データのみでOKという手法になります。 ラベルコストをさげて学習できる手法ということで有用な手法になります。 下記はモデルの図です。 ラベルなしの事前学習部分が重要なので、その部分にフォーカスして説明します。 音声データを前処理せずにCNNに入力して、音声データを圧縮して量子化しています。 量子化のモジュールではゆらぎを与えるためにギャンブルソフトマックスを採用して、固定的な値を出力しないよう
下記にHuggingFaceのパイプラインの情報があります。 https://huggingface.co/transformers/main_classes/pipelines.html パイプラインで実行可能なタスクは下記になります。 ConversationalPipelineFeatureExtractionPipelineFillMaskPipelineQuestionAnsweringPipelineSummarizationPipelineTextClassificationPipelineTextGenerationPipelineTokenClassificationPipelineTranslationPipelineZeroShotClassificationPipelineText2TextGenerationPipelineTableQuestionAnsweri
高速にデータ処理を行いたい pandasをデータ処理で用いることが多いですが、データサイズが大きくなると遅くなり、待ち時間が長くなってしまいます。そこで今回はGPUを使用して高速に処理が可能なcudfの紹介をします。 環境構築 検証環境 Ubuntu 18.04メモリ:64GBGPU: Geforce 1080CPU : Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz NVIDIA GPU CLOUDにすでに環境構築されたDocker環境が存在します。今回はDockerを使用して環境構築をできるだけスキップして行います。 NVIDIA GPU CLOUDとは Dockerコンテナ、学習済みモデル、学習用スクリプトなどを提供しているサイトです。ここにあるリソースを使用すればGPUを用いた処理を始めることが容易になります。 https://www.nvidia.
このページを最初にブックマークしてみませんか?
『ゆるいDeep Learning : GPUを用いた機械学習、Deep Learningの高速化、簡単にする...』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く