並び順

ブックマーク数

期間指定

  • から
  • まで

201 - 240 件 / 844件

新着順 人気順

onnxの検索結果201 - 240 件 / 844件

  • PyTorchのFXグラフモードで量子化認識トレーニングを試す - TadaoYamaokaの開発日記

    ディープラーニングのモデルを推論する際、通常GPUが必要である。しかし、GPUがない場合でも、モデルのパラメータを浮動小数点から整数へと変換する手法を使うことで、CPUだけでも推論処理を高速に行うことが可能である。この手法を量子化と呼ぶ。 PyTorchの量子化 PyTorchには、量子化の方法がいくつか用意されている。 実装は「Eager Mode Quantization」と「FX Graph Mode Quantization」に分かれており、「FX Graph Mode Quantization」の方が新しい実装で、「Eager Mode Quantization」ではモデルのレイヤー融合を手動で行う必要があったところが自動化されている。 また、一般的に量子化の手法として、 ダイナミック量子化 トレーニング後の量子化 量子化認識トレーニング がある。 ダイナミック量子化は、キャリブ

      PyTorchのFXグラフモードで量子化認識トレーニングを試す - TadaoYamaokaの開発日記
    • The making of Visual Studio IntelliCode's first deep learning model: a research journey - Visual Studio Blog

      The making of Visual Studio IntelliCode’s first deep learning model: a research journey Introduction Since the first IntelliCode code completion model was shipped in Visual Studio and Visual Studio Code in 2018, it has become an essential coding assistant for millions of developers around the world. In the past two years, we have been working tirelessly to enable IntelliCode for more programming l

        The making of Visual Studio IntelliCode's first deep learning model: a research journey - Visual Studio Blog
      • SageMaker RLでtic-tac-toe(3目並べ)エージェントの強化学習モデルを作成する | DevelopersIO

        DA事業本部の貞松です。各所アドベントカレンダーもいよいよ終盤です。 本記事は『機械学習 on AWS Advent Calendar 2019』24日目のエントリーです。 クラスメソッド 機械学習 on AWS Advent Calendar 2019 - Qiita クラスメソッド 機械学習 on AWS Advent Calendar 2019 | シリーズ | Developers.IO 今回はSageMaker RLを用いてtic-tac-toe(3目並べ)エージェントの強化学習モデルを作成します。 SageMaker RLの概要 SageMaker RLを使用するメリット 通常のSageMakerと同様にマネージドなインフラストラクチャやトレーニングジョブ、エンドポイントのデプロイなどを利用することで、強化学習に関係する処理の構築に集中することができます。 また、AWSから提供

          SageMaker RLでtic-tac-toe(3目並べ)エージェントの強化学習モデルを作成する | DevelopersIO
        • How I Re-implemented PyTorch for WebGPU

          TL;DR I’ve been working on a WebGPU optimized inference and autograd library called webgpu-torch with an API that matches PyTorch. The goal is to run neural networks in the browser at speeds comparable to a Linux workstation. Many kernels have been implemented and its design is easily extensible. It’s available on NPM now and works in both the browser and Node.js! Neural Networks in the Browser Ni

            How I Re-implemented PyTorch for WebGPU
          • BigQueryリモート関数で機械学習モデルを動かす

            テラーノベルで機械学習を中心に担当している川尻です。 テラーノベルでは、定期バッチ処理は主にBigQueryかDataflowを組み合わせて実行しています。データはBigQueryのテーブルにほとんど保存されているため、基本的にはBigQueryで完結させたいです。しかし、自作した機械学習モデルは前処理も含めてpythonで書く必要があるため、そこだけDataflowを使っていました。最近、BigQueryリモート関数を使ってみたところ、意外と簡単にBigQueryだけでシンプルに完結させることができました。今回は、機械学習モデルをBigQueryから実行したときのちょっとしたハマりどころや、実際にどれくらいコストや処理時間がかかったのか紹介します。 BigQueryリモート関数とは BigQueryリモート関数は、好きな言語やフレームワークでCloud FunctionsやCloud R

              BigQueryリモート関数で機械学習モデルを動かす
            • 接待dlshogi - TadaoYamaokaの開発日記

              接待水匠にインスパイアされて接待dlshogiを作ってみた。 何番煎じだというネタですが、接待将棋プログラムが一応動くようになりました!https://t.co/BLvfTF2rOe MultiPVで思考し、手番から見た評価値が100以上の指し手のうち、最も100に近いものを選択する単純な仕組み。 皆様とも指したいですね…誰か犠牲者、もとい対局相手になっていただけませんか!— たややん@水匠(将棋AI) (@tayayan_ts) 2021年10月2日 仕組み MultiPVを使うのではなく、モンテカルロ木探索(PUCT)で、勝率の期待値が接待係数に近づくように探索を行う。 接待係数(USIオプションSettai)は、1から99の整数で、50の場合に互角になるように指して、0に近いと負けるように指す。100に近いと最善手に近づく。 利点 MultiPVは探索した中で上位の手から選ぶが、この

                接待dlshogi - TadaoYamaokaの開発日記
              • Book of News - Ignite 2019

                B O O K O F N E W S Microsoft Ignite 2019 Orlando, November 4 – 8, 2019 | Foreword by Frank Shaw 9 Section 1 Azure 10 Chapter 1 Azure Infrastructure 11 Item 1.1.1 Azure Arc: Extended Azure management and security to any infrastructure Item 1.1.2 Azure Data Services Preview: Run Azure data services anywhere Item 1.1.3 Azure Da v4 and Das v4 series virtual machines Item 1.1.4 Serial Console for Azur

                • 個人開発したディープラーニングモデルの公開方法 - Qiita

                  はじめに 近年のディープラーニングブームの要因の一つは,tensorflow,kerasやpytorchといったフレームワークが整備され,誰でも簡単に動かせるようになったからだと思います。google colabなどの登場のおかげで,個人でもこんなこと出来たら面白いなって思ったことを容易に試してみることができる時代になりました。 試したらやっぱり公開してみたくなりますよね。 そこで公開方法についてまとめてみました。 サーバーで処理させる VPSやAWS,GCPといったサーバーで処理させる方法です。クライアント側でブラウザから処理したいもの(例えば画像)をアップロードしてもらい,サーバー側で処理した結果をブラウザに表示することで,学習したモデルを公開することが出来ます。ディープラーニングのフレームワークはだいたいpythonの物が多いのでflaskなどでサーバーを立てると,受け取った処理対象

                    個人開発したディープラーニングモデルの公開方法 - Qiita
                  • Pythonの分析モデルをBYOMしてVantageで利用する - Qiita

                    こんにちは 今回は Pythonで作成した分析モデルをVantageで活用する方法について解説したいと思います。 使いなれたPythonで分析モデルを作成頂き Vantageにインポートして頂く事で Vantage内にあるデータを高速にスコアリングする事が可能です。 この記事はTeradata VantageとTeradatamlを使用してPyhtonで作成した分析モデルをBYOM(Bring Your Own Meeting)してVantageにインポートする事で業務に活用する流れを説明します。 Vantage の BYOM は 現在 PMML, ONNX, H2O MOJO フォーマットに対応しています。 はじめに 使用するデータは scikit-learnの機械学習でロジスティック回帰を行い癌の陽性を判断するためのサンプルデータ(load_breast_cancer) を利用します。

                      Pythonの分析モデルをBYOMしてVantageで利用する - Qiita
                    • Object Detection at 1840 FPS with TorchScript, TensorRT and DeepStream

                      The Postprocessing on GPU stage from my previous post is logically closest to our first DeepStream pipeline. This was a fairly slow, early stage in the Python-based optimization journey but limitations in DeepStream around batching and memory transfer make this the best comparison. This Python-based pipeline runs at around 80 FPS: After we get a basic DeepStream pipeline up and running we’ll empir

                        Object Detection at 1840 FPS with TorchScript, TensorRT and DeepStream
                      • VOICEVOX COREをRaspberryPiにインストールしてCLIで便利に音声合成を行おう - uepon日々の備忘録

                        前回のエントリではVOICEVOXをPCにインストールされたUbuntuへインストールしたという内容でしたが、今回はRaspberryPiにVOICEVOXをインストールするという内容です。ただ、RaspberryPiの運用ではモニタのないヘッドレス環境での使用の可能性もあるため、この設定ではVOICEVOXを構成する要素の1つであるVOICEVOX COREを導入し、CLIでの運用を行ってみたいと思います。 ネットで検索してもうまくいかないという話はあるのですが、成功例はなかなかないようです。自分も数日悩みましたがようやく解決できました。 【参考】 uepon.hatenadiary.com VOICEVOXの構成要素 VOICEVOXは3つのモジュール「エディター」、「エンジン」、「コア」で構成されています。VOICEVOXソフトウェアはこの3つから構成され、エディターはエンジンの機能

                          VOICEVOX COREをRaspberryPiにインストールしてCLIで便利に音声合成を行おう - uepon日々の備忘録
                        • GitHub - oracle/tribuo: Tribuo - A Java machine learning library

                          Tribuo is a machine learning library in Java that provides multi-class classification, regression, clustering, anomaly detection and multi-label classification. Tribuo provides implementations of popular ML algorithms and also wraps other libraries to provide a unified interface. Tribuo contains all the code necessary to load, featurise and transform data. Additionally, it includes the evaluation

                            GitHub - oracle/tribuo: Tribuo - A Java machine learning library
                          • Metalの概要 - Apple Developer

                            グラフィックスの豊かな表現と可能性をMetalで追求 Metalには、低オーバーヘッドのAPI、ハイレベルのシェーディング言語、緊密に統合されたグラフィックスと演算プログラム、GPUのプロファイル/デバッグ用の高度なツールセットが用意されているため、Appleプラットフォームでハードウェアアクセラレータを使用するグラフィックスの強化が可能です。Appleシリコンの優れたパフォーマンスと効率性を、iPhone、iPad、Mac、Apple TVのゲームやプロ向けアプリで最大限に活用できるようになります。今年、新しいゲームポーティングツールキットによって、ゲームをこれまで以上に簡単にほかのプラットフォームからMacに展開できるようになります。また、Metalシェーダコンバータによって、ゲームのシェーダとグラフィックスコードの変換プロセスが驚くほどシンプルになります。 ゲーム ゲームポーティング

                              Metalの概要 - Apple Developer
                            • AIoTの実現させるJetson Xavier NXのためのディープラーニング 推論プラットフォームソフトウエア開発サービスを強化

                              AIoTの実現させるJetson Xavier NXのためのディープラーニング 推論プラットフォームソフトウエア開発サービスを強化 コンピュータ・通信機器 AIoTの実現させるJetson Xavier NXのためのディープラーニング 推論プラットフォームソフトウエア開発サービスを強化 2020年10月14日、ポジティブワン株式会社(本社:東京都渋谷区)は、AIoTの実現させるJetson Xavier NXのためのディープラーニング 推論プラットフォームソフトウエア開発サービスを強化いたします。 Jetson Xavier NXは、NVIDIA Jetsonファミリーの組み込みシステムオンモジュール(SoM)であり、Tensorコアを備えた統合384コアVolta GPU、デュアルDeep Learning Accelerator(DLA)、6コアNVIDIA Carmel ARMv8.

                                AIoTの実現させるJetson Xavier NXのためのディープラーニング 推論プラットフォームソフトウエア開発サービスを強化
                              • GitHub - onnx/tensorflow-onnx: Convert TensorFlow, Keras, Tensorflow.js and Tflite models to ONNX

                                You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                  GitHub - onnx/tensorflow-onnx: Convert TensorFlow, Keras, Tensorflow.js and Tflite models to ONNX
                                • New Amazon SageMaker Neo features to run more models faster and more efficiently on more hardware platforms | Amazon Web Services

                                  AWS Machine Learning Blog New Amazon SageMaker Neo features to run more models faster and more efficiently on more hardware platforms Amazon SageMaker Neo enables developers to train machine learning (ML) models once and optimize them to run on any Amazon SageMaker endpoints in the cloud and supported devices at the edge. Since Neo was first announced at re:Invent 2018, we have been continuously w

                                    New Amazon SageMaker Neo features to run more models faster and more efficiently on more hardware platforms | Amazon Web Services
                                  • ONNXの最適化まとめ - ぱたへね

                                    ONNXの最適化を一通り試してみたのでまとめ。 サポートしている最適化一覧の取得 サポートしている最適化は、get_available_passesで取得できます。 from onnx import optimizer all_passes = optimizer.get_available_passes() 大きく分けると、このように分類できます。 意味のないOpの削除 (eliminate_deadend等) 2つのOpのfusion (fuse_matmul_add_bias_into_gemm等) Convへのfusion (fuse_add_bias_into_conv等) その他 convへのfuseは全く動かず、バージョンアップ待ちです。 最適化の結果 Qiitaにそれぞれまとめました。 ONNXでeliminate_deadend 最適化 ONNXで eliminate_i

                                      ONNXの最適化まとめ - ぱたへね
                                    • ONNXの概要 | Hakky Handbook

                                      Hakkyでは「データでプロダクトを価値あるものにする」というミッションの元、大規模言語モデルを積極的に活用して記事執筆しております。ビジネスにおけるAI活用のため、Handbookをお役立ていただきましたら幸いです。 概要​ 本記事では ONNX の概要について解説します。 ONNX とは​ ONNX(オニキス)とは、機械学習モデルを表現するために使用されるオープンソースのフォーマットです。機械学習の世界では、TensorFlow や PyTorch、Caffe、Chainer など、様々なフレームワークが存在しており。プロジェクトに応じてフレームワークを使い分けているかと思います。複数のフレームワークを扱っていると、あるのフレームワークで学習したモデルを別ののフレームワークで使いたいといった、ニーズが発生します。フレームワーク間で共通して使用可能なフォーマットである ONNX 形式に変

                                      • AITemplate: Unified inference engine on GPUs from NVIDIA and AMD

                                        Faster, more flexible inference on GPUs using AITemplate, a revolutionary new inference engine GPUs play an important role in the delivery of the compute needed for deploying AI models, especially for large-scale pretrained models in computer vision, natural language processing, and multimodal learning. Currently, AI practitioners have very limited flexibility when choosing a high-performance GPU

                                          AITemplate: Unified inference engine on GPUs from NVIDIA and AMD
                                        • Linuxディストリビューション「openSUSE Leap 15.2」リリース

                                          openSUSEリリースチームは7月2日(米国時間)、オープンソースのLinuxディストリビューション「openSUSE Leap 15.2」をリリースした。Leap 15.2では、セキュリティやバグ修正に加えて、コンテナや仮想マシン技術のサポート強化、AI技術や機械学習に関するパッケージの追加などが含まれている。 openSUSE Leap 15.2リリース openSUSE Leap 15.2のリリースに関する詳細は、次のリリースアナウンスにまとめられている。 Release announcement 15.2 - openSUSE Wiki 今回のリリースで最も目を引くのは、やはりAI技術や機械学習に関するパッケージの充実だろう。深層学習向けのフレームワーク「Tensorflow」やPython用の機械学習ライブラリ「PyTorch」、機械学習や人工知能のモデルを表現するオープンなフ

                                            Linuxディストリビューション「openSUSE Leap 15.2」リリース
                                          • OpenVINOで各フレームワーク(ONNX、TensorFlow、TFLite、PaddlePaddle)の重みを読み込んで推論

                                            ただし、PyTorchさん、あなたはダメです。直接読み込めません👻 今回のサンプルは、Google Colaboratory上でお試しします。 いつの間にか、Colaboratory上でのOpenVINOインストール・実行も簡単になってて、助かります。 個人的には、PaddlePaddleの重みを直接読み込めるのが良い感じです。 ノートブックは以下のリポジトリで公開しています。 試してみたい方は「Open in Colab」からノートブックを開いて、上から順に実行していってください。 以降は処理の簡単な説明です。 パッケージインストール OpenVINOのインストールです。 今回のサンプルを動かすだけであれば、pipインストール1行で済みます。

                                              OpenVINOで各フレームワーク(ONNX、TensorFlow、TFLite、PaddlePaddle)の重みを読み込んで推論
                                            • intfloat/multilingual-e5-large · Hugging Face

                                              ","cls_token":"","eos_token":"","mask_token":{"__type":"AddedToken","content":"","lstrip":true,"normalized":true,"rstrip":false,"single_word":false},"pad_token":"","sep_token":"","unk_token":""}},"createdAt":"2023-06-30T07:38:19.000Z","discussionsDisabled":false,"downloads":1021762,"downloadsAllTime":6668499,"id":"intfloat/multilingual-e5-large","isLikedByUser":false,"isWatchedByUser":false,"infer

                                                intfloat/multilingual-e5-large · Hugging Face
                                              • OpenJDK 8/11 vs. GraalVM 20 vs. Amazon Corretto JVM Benchmarks - Phoronix

                                                OpenJDK 8/11 vs. GraalVM 20 vs. Amazon Corretto JVM Benchmarks Written by Michael Larabel in Software on 25 March 2020 at 02:00 PM EDT. Page 1 of 5. 32 Comments. Following last week's benchmarks of OpenJDK 8 through the newly-released OpenJDK 14 JVM benchmarks, some Phoronix readers expressed interest in seeing Java benchmarks with Oracle's GraalVM as well as Amazon's Corretto JVM implementations.

                                                  OpenJDK 8/11 vs. GraalVM 20 vs. Amazon Corretto JVM Benchmarks - Phoronix
                                                • 【Unreal Engine】強化学習を行う方法を調べてみた - Qiita

                                                  目次 1. Unreal Engine上で強化学習を行いたい理由 2. 各種手法の比較 2-1. 内部実行系の手法 以下の4つの方法について紹介します。 ・Python Editor Script Plugin ・UneralEnginePython ・Python Foundation Packages ・Neural Network Inference 2-2. 外部通信系の手法 以下の4つの方法について紹介します。 ・Mind maker ・UE4ML ・ML Adapter ・Learning Agent 3. 結局何を使えばいいのか ※記事中のUEはUnreal Engineの略です。 1. Unreal Engine上で強化学習を行いたい理由 強化学習は、機械学習の一分野であり、エージェントが環境と相互作用しながら、試行錯誤を通じて最適な行動を学習する手法です。ゲームエンジンと

                                                    【Unreal Engine】強化学習を行う方法を調べてみた - Qiita
                                                  • iOSで動作する異常検知モデルを作った - Qiita

                                                    背景 農業x深層学習のアプリケーションが作りたい! という動機のもと、例えば作物の画像を入力してその健康状態を診断するようなアプリが作れるんじゃないかと考えてます。 病気を判定できるすごいモデルのせたアプリを作ったとして、ユーザが対象の作物の画像を正しく入力してくれるかどうかは、そのアプリの信頼性を担保する上で重要な問題になります。 例えば、上記の稲の病気を診断してくれるアプリを作ったとして、ユーザが雑草の画像を入力したとしてもそれっぽい結果を出力してしまえば、そのアプリの診断結果自体が疑わしいものになってしまいます。 この問題に対処するため、メインとなるモデルの前段に入力画像の異常画像検知モデルを置いておけばよいのでは、と考えました。 異常検知モデルにおいて正常と判定された画像のみをメインモデルに渡せば、信頼性の高い結果を出力することができそうです。 できたもの 3年前に購入した iPh

                                                      iOSで動作する異常検知モデルを作った - Qiita
                                                    • ONNX Runtimeを使ってみる その3(DirectML) - TadaoYamaokaの開発日記

                                                      ONNX RuntimeでDirectMLを使ってdlshogiのモデルの推論を行い、処理時間を比較してみた。 DirectMLを使えばAMDのGPUでも推論が実行できるようになる。 DirectMLプロバイダの使用 NuGetからビルド済みバイナリが取得できる。 Microsoft.ML.OnnxRuntime.DirectMLをインストールする。 DirectMLプロバイダを使用するにはソースに以下の行を追加する。 #include <dml_provider_factory.h> session_options.DisableMemPattern(); session_options.SetExecutionMode(ORT_SEQUENTIAL); OrtSessionOptionsAppendExecutionProvider_DML(session_options, 0); D

                                                        ONNX Runtimeを使ってみる その3(DirectML) - TadaoYamaokaの開発日記
                                                      • TorchVision Object Detection Finetuning Tutorial — PyTorch Tutorials 2.3.0+cu121 documentation

                                                        PyTorch Recipes See All Recipes See All Prototype Recipes Introduction to PyTorch Learn the Basics Quickstart Tensors Datasets & DataLoaders Transforms Build the Neural Network Automatic Differentiation with torch.autograd Optimizing Model Parameters Save and Load the Model Introduction to PyTorch on YouTube Introduction to PyTorch - YouTube Series Introduction to PyTorch Introduction to PyTorch T

                                                        • [Rust] PyTorchで作成したONNXモデルをBurnで変換して使う [Deep Learning] | DevelopersIO

                                                          Introduction burnはRust用Deep Learningフレームワークです。 現在アクティブに開発が進められているようで、 今後が期待できるプロダクトです。 公開されているMNISTデモはこちら。 今回はこのburnを用いて、ONNX形式の既存モデルを burn用モデルに変換して使ってみます。 Burn? burnは2021年にリリースされた新しめの深層学習フレームワークです。 少し使ってみた感じだと、PyTorchに近い感じです。 burnの特徴は、以下のとおりです。 Tensor Tensor(テンソル)は、深層学習フレームワークを使う際の 基本的なデータ構造であり、 多次元の数値データを表現するために使用します。 burnでも例によってTensor構造体を使います。 このあたりも既存のフレームワークを使い慣れている人なら 馴染みやすいかと思います。 バックエンド bu

                                                            [Rust] PyTorchで作成したONNXモデルをBurnで変換して使う [Deep Learning] | DevelopersIO
                                                          • dlshogiの評価値のスケール調整 - TadaoYamaokaの開発日記

                                                            dlshogiは、開始局面から170点という比較的大きな評価値を出力する。 これは適切でないため、今回調整を行うことにした。 勝率から評価値への変換 dlshogiの内部では、局面の価値は、評価値を使わず勝率で扱っているが、GUIソフトには評価値として返す必要があるため、勝率から評価値にシグモイドの逆関数で変換を行っている。 ここで、は勝率である。 係数aは、Aperyややねうら王では、Ponanza定数と呼ばれるa=600が使われている。 ただし、Aperyややねうら王でこの定数を使うのは、学習時だけである。 探索時は評価値そのものを使用している。 dlshogiの係数a dlshogiでは、以下の2か所で係数aを使用している。 教師ありで棋譜を学習する際に、棋譜に記録された評価値から、勝率に変換する場合 探索時に、GUIソフトに評価値を表示するため、勝率から評価値に変換する場合 かなり

                                                              dlshogiの評価値のスケール調整 - TadaoYamaokaの開発日記
                                                            • ぬいぐるみを検出するモデルをYOLOv5で作成し、ONNX形式に変換してRaspberryPIで使用してみました | DevelopersIO

                                                              ぬいぐるみを検出するモデルをYOLOv5で作成し、ONNX形式に変換してRaspberryPIで使用してみました 1 はじめに CX 事業本部 delivery部の平内(SIN)です。 「ぬいぐるみ」の物体検出は、結構、むつかしくて、色々試していたのですが、なかなか精度の高いものを作れていませんでした。 しかし、Segment Anythingを使用して、手返し良くたデータセットを作成することで、いい感じのモデルになったので、今回はこちらを、紹介させてください。 また、AWS IoT Greengrassは、ONNXRuntimeにも対応しているとのことで、こちらでも試してみたいので、今回は、ONNXへ変換して、RaspberryPIで使用してみました。 https://github.com/aws-samples/aws-iot-gg-onnx-runtime 2 YOLOv5 Segm

                                                                ぬいぐるみを検出するモデルをYOLOv5で作成し、ONNX形式に変換してRaspberryPIで使用してみました | DevelopersIO
                                                              • OpenCV 4.7.0のChangeLogを読み解く - Qiita

                                                                この記事はOpenCV Advent Calendar 2022の12月33日の記事です。 TL;DR OpenCV 4.7.0が12/29にリリースされました、ということで、そのご紹介。 はじめに 自己紹介 どこにでもいる画像処理エンジニアでした!2023年はどうなるか分かりません!! ChangeLogの場所 OpenCVのChangeLogは、wikiで管理されている。 この修正内容のサマリーをざっくりと読み解いていきたい。こんな対応を入れたんだ、へー、というレベルで。 個人的気になったポイント SPNGライブラリ対応!libpngから完全置き換えもあり? Optimizationの「scalable vector instructions」対応とか、胸がわくわくしますね。そういえば、ARMにもあるんですよね…… https://community.arm.com/arm-commu

                                                                  OpenCV 4.7.0のChangeLogを読み解く - Qiita
                                                                • Pure な WebAssembly で推論処理をしてみる

                                                                  こんにちは、NTT の森田です。 今月 Microsoft 社から、WebAssembly (WASM) を OS 上のサンドボックスとして Kubernetes で利用できるようになる Krustlet がリリースされました。新しい標準バイナリフォーマットとして、WASM の認知度がさらに上がったように思います。 ところで WASM で深層学習の推論処理を行おうとすると、どうすれば良いのでしょう? TensorFlow.js や ONNX.js などは WASM バックエンドを持っていますが、JavaScript から実行することしかできません。今回、 JavaScript レイヤを必要としない、pure な WASM から推論処理を実行する方法を紹介したいと思います。 学習済みモデルから WASM ライブラリへコンパイルLLVM は 8.0 から WASM ターゲットに対応しているので

                                                                    Pure な WebAssembly で推論処理をしてみる
                                                                  • Ruby ML for Python Coders

                                                                    Curious to try machine learning in Ruby? Here’s a short cheatsheet for Python coders. Data structure basics Numo: NumPy for Ruby Daru: Pandas for Ruby Libraries Category Python Ruby Multi-dimensional arrays NumPy Numo Data frames Pandas Daru, Rover Visualization Altair Vega Predictive modeling Scikit-learn Rumale Gradient boosting XGBoost, LightGBM XGBoost, LightGBM Deep learning PyTorch, TensorFl

                                                                      Ruby ML for Python Coders
                                                                    • Hugging Face x ONNXを調べてみた 〜学習編〜

                                                                      お久しぶりです。気づいたら前回の投稿から1ヶ月以上も経っていました。。。もう7月も終わりなんて、信じられないですね😅 今回は、以前から気になっていたHugging FaceにおけるONNX(オニキス)の活用方法について調べてみました。きっかけは、以下の公式ブログでHugging Faceのモデルを結構簡単にONNX形式に変換できるんだなぁ と思ったことで、kaggleなどで活用できるように理解を深めたいというモチベーションが湧いてきたからです。 Convert Transformers to ONNX with Hugging Face OptimumWe’re on a journey to advance and democratize artificial intelligence through open source and open science.huggingface.c

                                                                        Hugging Face x ONNXを調べてみた 〜学習編〜
                                                                      • お手軽な検索API構築 その2 ~マルチコア・ベクトル・分散検索 | メルカリエンジニアリング

                                                                        こんにちは。株式会社メルペイのSolutionsチームのデータエンジニアの@orfeonです。 この記事は、Merpay Advent Calendar 2023 の22日目の記事です。 Solutionsチームは、社内向けの技術コンサルや技術研修、部門を跨いだ共通の問題を発見して解決するソリューションの提供などを行っています。 私は主に社内のデータ周りの課題を解決するソリューションを提供しており、一部の成果はOSSとして公開しています。 過去の記事では全文検索OSSであるApache SolrをCloud Run上で利用して手軽に検索APIを構築する構成を紹介しました。 社内向けのソリューションの一つとして社内向けの検索APIを使ったサービスなど小規模な検索システムの構成に役立てています。 前回の記事の時点では、検索対象として搭載できるデータサイズなどにいくつかの制約がありました。 今回

                                                                          お手軽な検索API構築 その2 ~マルチコア・ベクトル・分散検索 | メルカリエンジニアリング
                                                                        • Mastering All YOLO Models from YOLOv1 to YOLO-NAS: Papers Explained (2024)

                                                                          What is YOLO? You Only Look Once (YOLO): Unified, Real-Time Object Detection is a single-stage object detection model published at CVPR 2016, by Joseph Redmon, famous for having low latency and high accuracy. The entire YOLO series of models is a collection of pioneering concepts that have shaped today’s object detection methods. YOLO Models have emerged as an industry de facto, achieving high det

                                                                            Mastering All YOLO Models from YOLOv1 to YOLO-NAS: Papers Explained (2024)
                                                                          • 機械学習のモデルを変換する(PyTorchからTensorFlow Lite) | DevelopersIO

                                                                            はじめに 現在、カフェのシステムでは、機械学習を用いて、カメラを用いて動画を撮影し、商品の前にいる人物の骨格や手を検出することで、どのユーザがどの商品を取り出したかを判定しています。 今までは、骨格検出モデルを用いてエッジデバイスで動画を推論処理(撮影した画像から映っている人物の骨格の座標を検出する処理)を実行する、という構成で処理をしていました。今後、エッジ側のデバイスの費用を下げたり、骨格検出以外の処理を増やすことを考えているため、エッジデバイスからクラウドに動画を送信し、クラウド側で様々な処理を実行する、という構成を検討しています。 前回までの記事で、エッジデバイスでの動画処理(エンコード・送信)と、クラウド側の処理(動画の取り出し)について記載しました。 撮影した動画をリアルタイムにエンコードする方法【GStreamer】 【Kinesis Video Streams】Python

                                                                              機械学習のモデルを変換する(PyTorchからTensorFlow Lite) | DevelopersIO
                                                                            • Oracleの機械学習OSS「Tribuo」を試してみた - Qiita

                                                                              はじめに 先日、OracleがJavaによる機械学習ライブラリーをオープンソースで公開したというニュースを目にしたので、軽く触ってみました。 CodeZineニュース - Oracle、Javaによる機械学習ライブラリ「Tribuo」をオープンソースで公開 マイナビニュース - Oracle、Java機械学習ライブラリ「Tribuo」を発表 これを見ると、機械学習の一般的なアルゴリズムに加えてXGBoostなども使えるようです。 特徴 公式サイトのトップページには以下の3つの特徴が挙げられています。 来歴(Provenance):Tribuoのモデル、データセット、評価には来歴があるため、それらを作成するために使用されたパラメーター、データの変換方法、ファイルなどが正確に追跡できる(※)。 型安全:Javaを使用しており、本番環境ではなくコンパイル時にミスを発見できる。 相互運用可能:XG

                                                                                Oracleの機械学習OSS「Tribuo」を試してみた - Qiita
                                                                              • YOLOのオリジナルデータ学習手順 #1 環境設定 - Qiita

                                                                                Chapters 📘 Chapter #0 YOLOとは 📘 Chapter #1 環境設定 📘 Chapter #2 アノテーション 📘 Chapter #3 📗 Chapter #3-1 YOLOv3 Keras版実装 📗 Chapter #3-2 YOLOv3 Darknet版 📘 Chapter #A 📗 Chapter #A-1 YOLOの各バージョンについてまとめ 📗 Chapter #A-2 YOLOv3 Keras版実装に関して関連記事のまとめ 📗 Chapter #A-3 ONNX変換・確認ライブラリ、アプリケーションまとめ TL;DR ここでは、YOLOでオリジナルデータを学習させる際のソフトウェアインストール、環境設定手順について記載します。 ソフトウェアについて ソフトウェア 目的

                                                                                  YOLOのオリジナルデータ学習手順 #1 環境設定 - Qiita
                                                                                • dlshogi(第2回世界将棋AI電竜戦エキシビジョンバージョン)のWindows版ビルド済みファイル公開 - TadaoYamaokaの開発日記

                                                                                  dlshogi(第2回世界将棋AI電竜戦エキシビジョンバージョン)のWindows版ビルド済みファイルを公開します。 ダウンロード Release 第2回世界将棋AI電竜戦エキシビジョンバージョン · TadaoYamaoka/DeepLearningShogi · GitHub のAssetsからダウンロードしてください。 モデルファイル モデルファイルは別のzipファイル(model-dr2_exhi.zip)になっています。 ダウンロード前に、下記のライセンスを参照してください。 ダウンロードしたモデルファイルを使用するにはエンジン設定で、モデルファイルのパスの設定が必要です。 DNN_Modelに解凍したモデルファイル(model-dr2_exhi.onnx)のパスを設定してください。 モデルファイルのニューラルネットワークは15ブロックのResNetになっているため、以前のバージ

                                                                                    dlshogi(第2回世界将棋AI電竜戦エキシビジョンバージョン)のWindows版ビルド済みファイル公開 - TadaoYamaokaの開発日記