Edge AIアクセラレータの速度性能に関して - Qiita
この記事について Edge AIではリアルタイム性が求められることが多いです。 高負荷なDeep Learning演算をエッジで行うため、最近は多くのEdge AIアクセラレータがリリースされています。 個人でも手に入る有名どころでは、Edge TPUやMovidius NCS、Jetson Nanoがあります。 今後もこの流れは続いていくと思います。 これらのデバイスメーカーや、個人のサイトでは速度性能のベンチマークを記載したり比較しています。 その際に、自分が見ている数字は何の速度なのか? 自分は何の速度を知りたいのか? をちゃんと理解しましょう、という内容です。 要約 Deep Learningに関する速度性能として、主に以下の3つが考えられると思います FLOPS (TOPS) ハードウェアとしてのスペック性能 推論時間 AIアクセラレータが有効なのは、基本的にはこの部分のみです
PyTorch Profiler With TensorBoard — PyTorch Tutorials 2.3.0+cu121 documentation
PyTorch Recipes See All Recipes See All Prototype Recipes Introduction to PyTorch Learn the Basics Quickstart Tensors Datasets & DataLoaders Transforms Build the Neural Network Automatic Differentiation with torch.autograd Optimizing Model Parameters Save and Load the Model Introduction to PyTorch on YouTube Introduction to PyTorch - YouTube Series Introduction to PyTorch Introduction to PyTorch T
Python 内包表記の限界: 複雑な処理と実行速度の関係 - Qiita
初めに 本記事は実務上で速度的優位性を得るために内包表記を使うことが合理的かどうか検証したものです。 文中のコードは読者層を広くするために型ヒントを省いています。 更新履歴 詳細 追記 (2023/05/24) 計測環境はPython3.12.0a6です。 修正 (2023/05/24) 記事中のバイトコードがPython3.7.16のものだったのでPython3.12.0a6のものに差し替えました。 修正 (2023/05/27) 「list(generator) 使えよ」とのご指摘があったので 単純な例の内包表記を[i for i in range(ELEMENTS)]からlist(range(ELEMENTS))に修正しました。 ご指摘ありがとうございます。 追記 (2023/05/28) Twitterでの反応に対しての追記を行いました。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
High performance Llama 2 deployments with AWS Inferentia2 using TorchServe
PyTorch Model Performance Analysis and Optimization — Part 2
