Googleは、AIを用いることでファイルの種類を高速かつ正確に判別できるツール「Magika」をオープンソースで公開したと発表しました。 Magikaは、あるファイルの中味が何なのか、記述されたプログラミング言語の種類、動画や画像、音声などのフォーマットの種類、ExcelやWord、PDFなどのオフィス系ソフトウェアの種類、OSの実行形式バイナリなどの種類を瞬時に判別してくれます。 下記はコマンドラインとしてMagikaを実行した例で、フォルダ内のファイルの種類を出力しています。 特別に最適化された1MBのモデルでを用いて推論を実行 Magikaはファイルの判別に、Kerasを用いて特別に最適化されたディープラーニングによる、わずか1MBのモデルを用いていると説明されています。 このモデルは推論エンジンのOnnx上で実行されています。実行速度はGPUを用いずCPU上で処理されたとしても数
Apple A4チップやAMD Ryzenの生みの親であるジム・ケラー氏がNVIDIAのCUDAとx86アーキテクチャを「沼」と呼んで批判
AMDのAthlonやZenマイクロアーキテクチャ、Apple A4などさまざまなチップの開発に携わったアーキテクトでエンジニアのジム・ケラー氏が、X(旧Twitter)で「NVIDIAのCUDAは沼です」と批判したことが報じられています。 Jim Keller criticizes Nvidia's CUDA, x86 — 'Cuda’s a swamp, not a moat. x86 was a swamp too' | Tom's Hardware https://www.tomshardware.com/tech-industry/artificial-intelligence/jim-keller-criticizes-nvidias-cuda-and-x86-cudas-a-swamp-not-a-moat-x86-was-a-swamp-too ケラー氏の経歴は以下の記事を
Windows 12は名前に過ぎないので 出るか出ないのかは、すべてMicrosoft次第 「Windows 11」というのはMicrosoftが提供するOSの名前である。Windows 95以来のWindowsは、ソフトウェアなのにバージョンではなく名前で区別されるようになった。 もちろんそれぞれのWindowsにもバージョン番号自体はある。現在のWindows 11には、Ver.23H2というバージョンがあって、次のバージョンは、Ver.24H2になる予定だ。しかし、これもWindows 11という名前の中で、それぞれを区別する名前の一部でしかない。 これらはあくまでも名前なので、技術的な観点ではなく、ビジネス的な観点から付けられる。Windows 10もWindows 11も、内部的には「10.0.xxxxx」というバージョン番号を持つ。この番号になったのは、Windows 10から
WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場
WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場 ONNX Runtime WebがWebGPUに対応。Webブラウザ上でさらに高速な推論処理が可能になった。Stable Diffusion Turbo全体をWebブラウザ上で高速に実行可能で、RTX4090を用いた場合1秒以内で結果が出力される。 ONNX Runtime Webの基になっている「ONNX Runtime」はクロスプラットフォーム対応の推論エンジンです。TensorFlow、PyTorch、SciKit Learnなどをはじめとするさまざまな機械学習のモデルに対応し、これらで生成されたモデルによる推論処理をプラットフォームに依存せず実行するランタイムの役割を果たします
PyTorchやTensorFlow互換のAI処理高速化プラットフォーム「MAX」プレビュー公開、Pythonを高速化した「Mojo」搭載
Modular社がAI処理を高速化するプラットフォーム「MAX」をプレビュー公開。PyTorchやTensorFlow、ONNXなどのAIモデルと入れ替えるだけで処理が最大5倍高速になる。 Pythonの高速なスーパーセット「Mojo」言語を発表したことで話題となったModular社が、AI処理を高速化するプラットフォーム「MAX」（Modular Accelerated Xecution）のデベロッパーエディションをブレビュー公開しました。 MAX Developer Edition Preview has officially launched! It's a drop-in replacement for running and serving @PyTorch, @tensorflow and @onnxai models much faster and leverages the
検索エンジンをVespaへ移行しています こんにちは、スタンバイで検索周りの開発を担当している鷹取です。 今回はスタンバイで利用している検索エンジンをVespaへ移行している話を紹介します。 検索エンジン移行の背景 Stanby Tech Blogのスタンバイ2+1年の軌跡の記事で説明されている通り、 スタンバイでは、主に求人検索機能を提供していますが、その中でもオーガニック(無料掲載)と広告(有料掲載)という２種類の検索が存在します。 この2種類の検索ではそれぞれで異なる検索エンジンを使用しています。 オーガニック検索: Yahoo! ABYSSという検索プラットフォーム 広告検索: Elasticsearch このようになっている背景については、前述の記事に詳細が記載されていますので、興味がある方はそちらをご参照ください。これまで、この２種類の検索エンジンを運用してきましたが、それぞれ
大手クラウドはクラウド専用チップで戦う時代へ。各社がクラウド基盤に専用SoC、サーバにArm、AI処理に独自プロセッサを相次いで採用
大手クラウドはクラウド専用チップで戦う時代へ。各社がクラウド基盤に専用SoC、サーバにArm、AI処理に独自プロセッサを相次いで採用 今から10年以上前にクラウドが登場した当時、その中味はインテルのプロセッサを搭載したサーバとその上で実行される仮想化ハイパーバイザを中心に構成されていました。 しかしその後、2017年にはAmazon Web Services（AWS）は、クラウド基盤に独自開発したSystem on a Chip（SoC）を載せたNitro Systemを2013年から採用していることを明らかにします。 同じ2017年、Googleも機械学習に最適化した専用プロセッサを利用したサービス「Cloud TPU」を発表するなど、大手クラウド事業者はその規模を活かしてクラウドに最適化したチップを開発し採用することで、他社との差別化を図ろうとしていることが明らかになってきました そし
DeepLearning系の将棋AIがRyzenのiGPUで簡単に動いた（ふかうら王編） - シンギュラリティ実験ノート
DeepLearning系の将棋AIがRyzenのiGPUで簡単に動いた、の続報で今回はふかうら王についてである。ふかうら王はやねうらお氏によって作られたdlshogi互換エンジンである。 ふかうら王の導入手順 Windows版実行ファイルは下記のページから辿っていき、ふかうら王の実行ファイル詰め合わせYaneuraOu-v7.6.1+20220511b.master-deep-windows.zipをダウンロードする。 yaneuraou.yaneu.com ふかうら王の導入手順は下記のページを見てほしい。 ふかうら王のインストール手順 · yaneurao/YaneuraOu Wiki · GitHub 上記ページに説明があるが、実行ファイル詰め合わせには以下の種類のふかうら王が含まれている。私が導入したのはORT-CPUとORT-DMLである。 ORT-CPU onnxruntime
Onnx Runtimeをネイティブプラグインとして、Unity上で動かす実験とサンプルを公開しています。 github.com 開発の動機 4年前に、TensorFlow LiteをUnityで動かす実験を初めて、 はじめは全くの趣味で始めたものが、今では海外からいただく相談の半分以上が機械学習関連になっています。 四年前に始めた実験↓ asus4.hatenablog.com ところが、実際にシェアを見ると、研究関連ではPytorchのシェアが圧倒的。Unityの公式推論ライブラリBarracudaやTensorFlow Liteで動かすために一旦Onnxに変換するなどの事例なども増え始め、速度的にはTFLiteは非常に満足していますが、サクッとモデルを試してみたいという時に、変換するのが億劫になってきていました。公式ツールで変換しようにもOnnxやPytorchのNCHWからTFLi
Intelの次世代CPU「Core Ultra」プロセッサが正式発表。新アーキテクチャでゲーム性能やAI処理がさらに速く
Intelの次世代CPU「Core Ultra」プロセッサが正式発表。新アーキテクチャでゲーム性能やAI処理がさらに速く ライター：米田 聡 2023年12月15日，Intelは，開発コードネーム「Meteor Lake」で知られるノートPC向け新型プロセッサ「Core Ultra」シリーズ計11製品を発表した。 Core Ultraは，Intelが「過去40年間で最大の変革」と主張していたプロセッサだ。世界各地から招いた報道関係者に，マレーシアのペナン地域にあるMeteor Lakeの製造（後工程）を担当する工場を公開したり，詳細な技術情報を公開するなど，アピールに力を入れてきたCore Ultraのラインナップや性能が，ようやく明らかとなったわけである。 関連記事 次世代のノートPC向けCPU「Meteor Lake」の詳細が明らかに。メインのCPUコアを使わずに動画を再生できる!?
Unlock a new era of innovation with Windows Copilot Runtime and Copilot+ PCs
I am excited to be back at Build with the developer community this year. Over the last year, we have worked on reimagining Windows PCs and yesterday, we introduced the world to a new category of Windows PCs called Copilot+ PCs. Copilot+ PCs are the fastest, most intelligent Windows PCs ever with AI infused at every layer, starting with the world’s most powerful PC Neural Processing Units (NPUs) c
Announcing the AI Toolkit for Visual Studio Code
We are excited to introduce the AI Toolkit for Visual Studio Code, a powerful VS Code extension available today in the Visual Studio Marketplace. AI Toolkit enables developers to explore, try, fine-tune, and integrate state-of-the-art models from Azure AI Studio and HuggingFace into applications. The AI Toolkit is an evolution of the Windows AI Studio extension that was released in November 2023.
概要 Unityが発表したAIツール群。その中にあるSeintsは、Barracudaをリプレイスすることを目標に作られているもののようです。現在はまだβプログラムで、全員が利用できるわけではありませんが、運良く参加できたので早速試してみました。 が、今回の内容はほぼBarracudaでも同じような内容になります。ONNXモデルを利用したフローを自分が理解したかったのでちょっとやってみた、という内容の記事ですｗ 今回は利用方法というより、全体の構造を把握、理解することを目的としています。Barracudaでもそうでしたが、SentisでもONNX（Open Neural Network Exchange）を利用してAIを構築します。 そこでONNXを自作し、それをSentis上で扱うまでを解説しながら使い方や使うイメージを掴んでもらえればと思います。 PyTorchでモデルを作成する ON
This post is also available in 简体中文, 日本語, 한국어, Deutsch, Français and Español. Today, Cloudflare’s Workers platform is the place over a million developers come to build sophisticated full-stack applications that previously wouldn’t have been possible. Of course, Workers didn’t start out that way. It started, on a day like today, as a Birthday Week announcement. It may not have had all the bells and
MINISFORUM UM790 Proを注文した後、AMDもROCmというソフト（NVIDIAのCUDAに該当するもの）を提供していることを知った。このAMD ROCmを使うことで、UM790 Proで動作が期待できるAI関連ソフトについて書きたい。 ROCmでMNIST ROCｍについて正確に知りたい方は本家のページを見ていただきたい。 www.amd.com ROCｍを使ってAMDのGPUでMNIST（文字（数字）認識の機械学習サンプルプログラム）を動作させた報告を幾つか見つけた。まず下記サイトではノートPCのRyzenのAPU(CPU+iGPU)で無理やりであるがMNISTを動かした様子。 blog.ingage.jp こちらはAMDのGPUとして何を使ったかはわからないが、やはりMNISTを動作させている。 qiita.com 基本的にはこちらに書いてある通りにやれと書かれている
stable-diffusion-webui の TensorRT 拡張(まさかのNVIDIA公式)を使うと早い！！！ので使い方など｜ぶるぺん/blue.pen5805
【警告】 私は専門家ではありません！！！ なにかトラブルが起きても責任は取れません！！！ もし試す場合は自己責任でお願いします！！！ また、今回の記事は若干むずかしめな内容を含んでいます！！！ 途中で動悸や眩暈が生じた場合は速やかにページを閉じてください！！！ 今回はみんな大好き Stable Diffusion web UI を高速化する TensorRT という機能を使えるようになる拡張機能の説明です なお、なんか結構まだ親切じゃない気がするので 好奇心旺盛な人と速度命な人以外は試さない方がいいかもです 試してもいいけどね！ 公式のサポートページはこちらにあります で、何？どんなもん？めちゃくちゃ適当な説明をすると、 普通のモデルをあなたの環境と決められた生成条件に合わせた専用のモデルに変換することで効率が上がってめっちゃ処理が早くなる みたいな感じです多分。しらんけど 簡単な話ですね
Magika: AI powered fast and efficient file type identification
The latest news from Google on open source releases, major projects, events, and student outreach programs. Today we are open-sourcing Magika, Google’s AI-powered file-type identification system, to help others accurately detect binary and textual file types. Under the hood, Magika employs a custom, highly optimized deep-learning model, enabling precise file identification within milliseconds, eve
AIの学習や推論に用いるAIインフラストラクチャーの市場ではNVIDIA製のAI特化チップが大きなシェアを占めています。そんな中、MicrosoftがAMD製のAI特化チップ「MI300X」を用いたAIインフラストラクチャー「ND MI300X v5」をAzureで提供開始することを発表しました。 Introducing the new Azure AI infrastructure VM series ND MI300X v5 - Microsoft Community Hub https://techcommunity.microsoft.com/t5/azure-high-performance-computing/introducing-the-new-azure-ai-infrastructure-vm-series-nd-mi300x/ba-p/4145152 AMD Inst
AUTOMATIC1111版Stable Diffusion web UIでNVIDIAのTensorRT拡張を利用する手順｜まゆひら
Last update 10-25-2023 ※まずは「0. 結論」をご確認ください。 ※拡張を入れても使えない場合は、本体に様々な変更を行います。筆者は一切フォローできませんので、くれぐれも自己責任でお願いします（心配な方は新規環境で…）。なお、TensorRTは比較的多くのVRAMを消費します。 高速に生成ができる、別の手法についての記事もご覧ください。 ▼ 0. 結論 下記の内容だけで話が理解できる方は、本記事の長々とした内容を読む必要はありません。どうぞお試しください。 GeForceの最新ドライバー（545.84以上）をインストールする。 TensorRT拡張をインストールする。 使えない → UI本体（拡張も）とtorch（とxformers）の更新、medvramやlowvramの削除を行う。 まだ使えない → venvを削除する。 エラーが出る → venv\Lib\sit
機械学習エンジニアの吉田です。今回は機械学習モデルの推論サーバとして NVIDIA Triton Inference Server の性能を検証した話です。 背景 バクラクでは請求書OCRをはじめとした機械学習モデルを開発していますが、これらの機械学習モデルは基本的にリアルタイムで推論結果を返す必要があります。 請求書OCRを例にとると、お客様が請求書をアップロードした際にその内容を解析し、請求書の金額や日付などを抽出します。 このような推論用のAPIサーバはNginx, Gunicorn/Uvicorn, FastAPIで実装し、PyTorchモデルをGPUで推論する構成となっており、SageMaker Endpointを使ってサービングしています。 バクラクの推論APIはこのような構成でリリース以降特に問題なく稼働してきていますが、ご利用いただくお客様が増えるにつれてリクエストも増加し
セキュリティ企業のJFrogが、機械学習モデルの配布に使用されているAI開発プラットフォーム「Hugging Face」でホストされているモデルを調査した結果を公表しました。 Examining Malicious Hugging Face ML Models with Silent Backdoor https://jfrog.com/blog/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor/ 他のテクノロジーと同様に、AIモデルについても適切に扱わなければセキュリティ上のリスクが発生します。AIモデルの配布時に使用されるファイル形式のうち、一部の形式のものはファイルのロード時にコードの実行が行われるため、悪意のある攻撃者が任意のコードを実行できてしまいます。 JFrogが
はじめに この記事はHIKKYアドベントカレンダー2023の10日目の記事です。 こんにちは、 @emadurandal と申します。HIKKYのエンジン開発部でメタバースエンジンの開発に従事しています。 今回は、WebGLからWebGPUへのステップアップについての記事を書いてみようと思います。 なぜWebGPUが登場したのか WebGLはOpenGL ESのAPI体系をブラウザに移植したものです。 そのOpenGLですが、歴史的経緯により、GPUやCPUの性能を完全に引き出しきれないレガシーな部分を引きずっていました。 詳しくはこちらの記事をご覧ください。 そのため、WebGL2の次はWebGL3というわけにはいかなかったようです。 よりGPUの性能を引き出せる、よりモダンなAPI体系が必要でした。ネイティブにはVulkan APIがありますが、それをそのままブラウザに持ってくるには、
Add AGPL-3.0 License (#3) · ultralytics/onnx2tf@1987dc1
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、Yahoo! JAPAN 研究所のエンジニアの田口・山下と、Yahoo!ニュースエンジニアの小林です。 さっそくですが、皆さんはYahoo!ニュースを利用している中で、「ココがポイント」というアイコンを見たことはありませんか？これは読者の理解をよりいっそう深めるための施策として、そのニュース記事を作成した編集者が作っているQ&A コーナーです。ニュースに関する情報をQ&A形式で整理して読者の理解を支援することを目指す一方で、編集者は編集時に大量の時間と労力がかかってしまうという課題を抱えています。 今回、私たちはこの課題を解決するためのAIシステムを開発し、編集者の業務効率化とニュース記事に対する読者の理解支援を目指し
「Google Colab」で「Phi-3」を試したので、まとめました。 1. Phi-3「Phi-3」は、Microsoftが開発したSLM (Small Language Model)です。さまざまな言語、推論、コーディング、数学のベンチマークにわたって、同じサイズのモデルや次のサイズのモデルよりも優れたパフォーマンスを発揮します。 パラメータ数と学習トークン数は、次のとおりです。 ・Phi-3-mini (3.8B、3兆3000億) ・Phi-3-small (7B、4兆8000億) ・Phi-3-medium (14B、4兆8000億) 2. Phi-3 のモデル「Phi-3」では現在、次の4種類のモデルが提供されています。 ・microsoft/Phi-3-mini-4k-instruct ・microsoft/Phi-3-mini-4k-instruct-onnx ・micro
人気ライブラリPyTorchに見つかったサプライチェーン攻撃の詳細 PyTorchは、MetaのAI（人工知能）リサーチグループによって開発されたライブラリで、GPUをサポートしたテンソル演算や深層学習トレーニング、Open Neural Network Exchange（ONNX）へのエクスポート機能、自動微分機能、自動ベクトル化などの特徴を備える。多くの深層学習ソフトウェアがPyTorchをベースに構築されており、さまざまな企業やプロジェクトによって使われている。 スタウィンスキー氏によると、PyTorchの「継続的インテグレーション／継続的デリバリー」（CI/CD）プロセス内の脆弱性と「GitHub」のデプロイシステム「セルフホステッドランナー」を悪用することで、PyTorchリポジトリに対する広範なアクセス権を獲得し、悪意あるコードのアップロードやリポジトリの秘密情報の窃取が可能に
日本語LLMの推論速度検証｜株式会社レトリバ
はじめにこんにちは。横浜国立大学大学院 理工学府 修士2年の藤井巧朗と申します。8月24日から9月29日の５週間、株式会社レトリバにインターンとして参加させていただきました。インターンでは日本語LLMの推論速度に関する検証を行いました。本記事では、インターンでの成果の一部を紹介します。 想定する読者： 自然言語処理に興味がある方 自然言語処理を扱う会社のインターンに興味のある方 LLMの推論速度に関心のある方 時間がない方向けまとめ： 推論速度に関して、特に大規模なモデルではCPUよりもGPUの方が圧倒的に速い GPUで高速化したい場合vLLMかFasterTransformerを使うべき（モデルの大きさによる） 特にバッチ処理をする場合はvLLMを使うべき 本検証では量子化によるスループット向上は見られなかった 0. インターン参加の経緯私はもともと研究スキルやエンジニアリング力を高めた
次世代のノートPC向けCPU「Meteor Lake」の詳細が明らかに。メインのCPUコアを使わずに動画を再生できる!?
次世代のノートPC向けCPU「Meteor Lake」の詳細が明らかに。メインのCPUコアを使わずに動画を再生できる!? ライター：米田 聡 Intelは，ノートPC向けの次世代プロセッサとなる開発コードネーム「Meteor Lake」を，2023年後半に市場へ投入する。Meteor Lakeは，すでに量産に入っており，その様子を4Gamerでもレポート済みだ。 Meteor Lake Meteor LakeについてIntelは，「過去40年において，もっとも大きなアーキテクチャ上の変革である」と，繰り返しアピールしている。現在のx86系CPUの基礎となったIA-32命令セットを実装した初のプロセッサ「Intel 80386DX」が1985年，つまり今から37年前に誕生しているので，それ以来の変革といった意味だろうか。 そんなMeteor Lakeに詰め込まれている新しい技術の概要を，In
Turing株式会社の自動運転・AIモデル開発チームの岩政(@colum2131)です。 Turingは2030年までに完全自動運転の達成を目指しており、自動運転AI開発から車両開発など、取り組むことは多岐に渡っています。 今回の話は、自動運転AI開発中に出た問題と、ひとまずの解決方法になります。より良い解決策があれば、教えてもらいたいです🙏 Transfomer-EncoderをONNXに変換したい ONNX（Open Neural Network eXchange）は、機械学習・深層学習モデルを表現するために構築されたオープンフォーマットです。 PyTorchやTensorFlow、scikit-learnなどのフレームワークで学習されたモデルをONNXに変換することでサーバーやエッジデバイスなど多様なハードウェアで運用が可能です。各ハードウェアごとに最適化されたフォーマットにも変換
Microsoftは2024年2月29日（米国時間）、オープンソースでクロスプラットフォームの機械学習（ML）モデルアクセラレータ「ONNX Runtime」の「ONNX Runtime Web」機能において、WebGPUを用いてWebブラウザ内でのMLを高速化できるようになったと発表した。 ONNX Runtimeは、さまざまなハードウェア、ドライバ、OSと互換性があり、グラフの最適化や変換に加え、ハードウェアアクセラレータを適宜活用したパフォーマンスを提供する。PyTorch、TensorFlow/Keras、TensorFlow Lite、scikit-learnなどのフレームワークのモデルで使用できる。 ONNX Runtime Webは、JavaScript APIとライブラリを使用して、WebアプリケーションでMLモデルを実行、デプロイ（展開）できる。 関連記事 「Chrome
事前資料によるレポートと基調講演のUpdateがすでに掲載されているが、いくつか判らない事に関してAMDのDavid McAfee氏(Photo01)とJack Ni氏(Photo02)にお話しを伺う機会に恵まれたので、ちょっと補足情報をお届けしたい。ちなみにZen 5ベースのRyzen 9000シリーズとかRyzen AI 300シリーズに関しては、7月の発売に先立ってTech Dayが開催され、そこで細かい情報が開示されるという事だそうで、現時点では例えばZen 5コアの内部構造の詳細といった話はまだ開示されていない。 Photo01: おなじみDavid McAfee氏(CVP&GM, Ryzen channel business)。 Photo02: Jack Ni氏(Sr. Director, AI Product Management, Making AI pervasive
ASRockが「AI QuickSet」なるツールを公開し、生成AI環境を一括導入できるよう支援しているようだ。特設ページ（外部リンク）もすでに公開されており、ツールそのものもダウンロードして利用できるようになっている。 ASRock、Radeon向けに「生成AI」環境を一括インストールするツール公開 - 動作要件は？ ASRockはAMD Radeonシリーズを搭載したグラフィックスカードを販売しており、同製品のパワーを生成AI機能に生かしたいと考えているのかもしれない。ツールをインストールするとDirectML仕様の「Shark」と、Stable Diffusion web UI、Stable Diffusion web UI ONNXを一発でインストールできるというもので、pythonを手でインストールする必要がなくなっている。 動作要件はCPU含めかなり最新モデルに限られているうえ
2024年1月24日発売の『Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門』を献本いただいて読みました。こちらの記事に感想などをまとめます。 書籍の概要 タイトル通り、Azure OpenAI Service（AOAI）を使い、LLMを組み込んだシステムを構築することを解説した書籍です。 生成AI（とくにChatGPT）の基本的な話から始まり、Azure OpenAI Serviceの基本、「RAG」という手法の丁寧な解説、Copilot stackなどのより発展的な話といった内容になっています。 Azure OpenAI Serviceは、LLMを組み込んだシステムを作る上で定番の選択肢です。Azure OpenAI Serviceにこれからふれるという方はもちろん、かなり実践的な内容まで書かれているので、すでにAzure OpenAI Serv
機械学習ベンチマークアプリ「Geekbench ML v0.6 for iOS/Android (Preview)」がmacOSとWindows、Linuxに対応。iOS版はTensorFlow LiteからCore MLへ切り替え。
機械学習ベンチマークアプリ「Geekbench ML v0.6 for iOS/Android (Preview)」がmacOSとWindows、Linuxに対応しています。詳細は以下から。 MacやWindows, Linux, iOS, Androidに対応したベンチマークアプリ「Geekbench」シリーズを開発するカナダPrimate Labs Inc,は2021年05月、ここ数年でプロセッサにおける機械学習処理の性能がより重要になっているとして、機械学習処理専用のパフォーマンステストを行うベンチマークアプリ「Geekbench ML (Preview)」のiOS/Android版を公開しましたが、 現地時間2023年12月12日付で、このGeekbench MLをバージョン0.6 (Preview)へアップデートし、新たにmacOSやWindows、Linuxをサポートしたと発表
C# と ONNX Runtime Generative AI (DirectML) を使って Phi-3 をローカルで動かす - しばやん雑記
Build 2024 では Windows などローカルのリソースを使って Generative AI を動かすという話が非常に多かったように、Keynote でも度々取り上げられた Phi-3 についても AWQ で 4-bit 量子化された DirectML で利用可能な ONNX モデルが公開されています。 セッションでも話がありましたが、Microsoft としては DirectML を使っておけば GPU / NPU の両方に対応できるようにするようなので、今後はローカルでの AI 利用は DirectML が主導権を握る可能性がありそうです。 現状 Hugging Face で公開されている DirectML に対応した Phi-3 の ONNX モデルは以下の 4 種類です。Phi-3 mini と Phi-3 medium の両方が利用可能になっていますが、残念ながら現時点
VOICEVOX COREをRaspberryPiにインストールしてCLIで便利に音声合成を行おう - uepon日々の備忘録
前回のエントリではVOICEVOXをPCにインストールされたUbuntuへインストールしたという内容でしたが、今回はRaspberryPiにVOICEVOXをインストールするという内容です。ただ、RaspberryPiの運用ではモニタのないヘッドレス環境での使用の可能性もあるため、この設定ではVOICEVOXを構成する要素の1つであるVOICEVOX COREを導入し、CLIでの運用を行ってみたいと思います。 ネットで検索してもうまくいかないという話はあるのですが、成功例はなかなかないようです。自分も数日悩みましたがようやく解決できました。 【参考】 uepon.hatenadiary.com VOICEVOXの構成要素 VOICEVOXは3つのモジュール「エディター」、「エンジン」、「コア」で構成されています。VOICEVOXソフトウェアはこの3つから構成され、エディターはエンジンの機能
ONNXの概要 | Hakky Handbook
概要 本記事では ONNX の概要について解説します。 ONNX とは ONNX（オニキス）とは、機械学習モデルを表現するために使用されるオープンソースのフォーマットです。機械学習の世界では、TensorFlow や PyTorch、Caffe、Chainer など、様々なフレームワークが存在しており。プロジェクトに応じてフレームワークを使い分けているかと思います。複数のフレームワークを扱っていると、あるのフレームワークで学習したモデルを別ののフレームワークで使いたいといった、ニーズが発生します。フレームワーク間で共通して使用可能なフォーマットである ONNX 形式に変換することにより、フレームワーク間でのモデルの共有というニーズを満たすことができます。ONNX は単一のバイナリファイルでネットワークとパラメータを表現しています。 サポート状況 ONNX は全てのフレームワークで互換
[Rust] PyTorchで作成したONNXモデルをBurnで変換して使う [Deep Learning] | DevelopersIO
Introduction burnはRust用Deep Learningフレームワークです。 現在アクティブに開発が進められているようで、 今後が期待できるプロダクトです。 公開されているMNISTデモはこちら。 今回はこのburnを用いて、ONNX形式の既存モデルを burn用モデルに変換して使ってみます。 Burn? burnは2021年にリリースされた新しめの深層学習フレームワークです。 少し使ってみた感じだと、PyTorchに近い感じです。 burnの特徴は、以下のとおりです。 Tensor Tensor（テンソル）は、深層学習フレームワークを使う際の 基本的なデータ構造であり、 多次元の数値データを表現するために使用します。 burnでも例によってTensor構造体を使います。 このあたりも既存のフレームワークを使い慣れている人なら 馴染みやすいかと思います。 バックエンド bu
![[Rust] PyTorchで作成したONNXモデルをBurnで変換して使う [Deep Learning] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a6176445108ea5368b6aed884836e19c4693316c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F10%2Fa0bdc5b52bd85d81e329902ab0da5b3d.png)
こんにちは。株式会社メルペイのSolutionsチームのデータエンジニアの@orfeonです。 この記事は、Merpay Advent Calendar 2023 の22日目の記事です。 Solutionsチームは、社内向けの技術コンサルや技術研修、部門を跨いだ共通の問題を発見して解決するソリューションの提供などを行っています。 私は主に社内のデータ周りの課題を解決するソリューションを提供しており、一部の成果はOSSとして公開しています。 過去の記事では全文検索OSSであるApache SolrをCloud Run上で利用して手軽に検索APIを構築する構成を紹介しました。 社内向けのソリューションの一つとして社内向けの検索APIを使ったサービスなど小規模な検索システムの構成に役立てています。 前回の記事の時点では、検索対象として搭載できるデータサイズなどにいくつかの制約がありました。 今回
Mastering All YOLO Models from YOLOv1 to YOLO-NAS: Papers Explained (2024)
What is YOLO? You Only Look Once (YOLO): Unified, Real-Time Object Detection is a single-stage object detection model published at CVPR 2016, by Joseph Redmon, famous for having low latency and high accuracy. The entire YOLO series of models is a collection of pioneering concepts that have shaped today’s object detection methods. YOLO Models have emerged as an industry de facto, achieving high det
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google、AIでファイルの種類を高速正確に判別できる「Magika」をオープンソースで公開
AIの急速な導入がWindowsの予定を変えた!? Windows 12がすぐには出ない可能性 (1/2)
検索エンジンをVespaへ移行しています - Stanby Tech Blog
Onnx RuntimeをUnityで動かす - Asus4 onD
Unity Sentis入門 - PyTorchからONNXを自作して使うまで
The best place on Region: Earth for inference
AMD ROCmを使うことで何ができるのか - シンギュラリティ実験ノート
MicrosoftがAMDのAIチップ「MI300X」を用いた高コスパのAI開発用クラウドサービスを提供開始
NVIDIA Triton Inference Server の性能検証 - LayerX エンジニアブログ
AIモデルの実行を通してウイルスに感染する可能性をセキュリティ企業が警告
WebGLからWebGPUにステップアップしよう！ - Qiita
検索システムと自然言語処理AIを合わせ、編集作業を効率化する（Yahoo!ニュースのAI事例）
Google Colab で Phi-3 を試す｜npaka
Pythonの機械学習ライブラリ「PyTorch」に脆弱性 研究者が発見
ONNXモデルの変換エラーを解決: PyTorchのTransformerモデルの再実装方法
「ONNX Runtime Web」でWebGPUによるブラウザ内機械学習の高速化が可能に
Zen 5 CCDとX870とRyzen AI、AMDのCOMPUTEX講演にいくつかの補足情報
ASRock、Radeon向けに「生成AI」環境を一括インストールするツール公開 - 動作要件は？
【感想】『Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門』を読みました
お手軽な検索API構築 その2 ~マルチコア・ベクトル・分散検索 | メルカリエンジニアリング