はてなブックマーク

Reading Time: 7 minutes ChatGPT が登場して以降、多くの企業/組織にて生成 AI の活用が進んでいます。その中でも LLM (Large Language Model、大規模言語モデル) は大量の知識を学習することで幅広い分野の問題を解決することができます。LLM は学習した知識には適切な回答ができるも一方で、社内ナレッジなど学習には含まれていない事がらに関する回答は得意ではありません。LLM が特定の領域の質問にも正確に回答できるようにした手法に RAG (Retrieval Augmented Generations) があります。 RAG は、大きく「レトリーバー (Retriever)」と「ジェネレーター (Generator)」の 2 つのパーツで構成されています。レトリーバーは、ユーザーによって入力されたクエリ (例: 質問文) を受け取り、そのク

Automating GPU Kernel Generation with DeepSeek-R1 and Inference Time Scaling As AI models extend their capabilities to solve more sophisticated challenges, a new scaling law known as test-time scaling or inference-time scaling is emerging. Also known as AI reasoning or long-thinking, this technique improves model performance by allocating additional computational resources during inference to eval

Reading Time: 4 minutes Mixture of Experts (MoE) 大規模言語モデル (LLM) アーキテクチャは、GPT-4 などの商用の LLM と Mistral Mixtral 8x7B のオープン ソース リリースによりコミュニティ モデルの両方で最近登場しました。Mixtral モデルの強力な相対的性能は、MoE を LLM アーキテクチャでどのように使用できるのか、多くの関心と疑問を引き起こしました。では、MoE とは何であり、なぜそれが重要なのでしょうか? Mixture of Experts は、レイヤーまたは演算 (線形レイヤー、MLP、注意投影など) の計算を複数の「エキスパート」サブネットワークに分割するニューラル ネットワークのアーキテクチャ パターンです。こうしたサブネットワークはそれぞれの計算を独立して実行し、その結果を組み合わせ

NVIDIA Transitions Fully Towards Open-Source GPU Kernel Modules With the R515 driver, NVIDIA released a set of Linux GPU kernel modules in May 2022 as open source with dual GPL and MIT licensing. The initial release targeted datacenter compute GPUs, with GeForce and Workstation GPUs in an alpha state. At the time, we announced that more robust and fully-featured GeForce and Workstation Linux suppo

Cortex cobots のような複雑なロボットのプログラミング動作は、常に課題でした。Cortex は、このプログラミングタスクを大幅に簡素化する Isaac Simの意思決定フレームワークです。シミュレーションで世界の表現を構築することにより、ロボットはその環境を認識し、完了するように設計されたタスクについて決定を下すことができます。 Isaac Cortex の詳細 > Gym 強化学習（RL） は、複雑なタスクを実行するためのロボット工学における強力な機械学習方法です。ロボットは、タスクを完了してスキルを習得するために”Gym”でトレーニングすることができます。Isaac Gymは、ロボットのトレーニング時間を大幅に短縮するGPU アクセラレーション RL ツールです。 Omniverse Isaac Gym の詳細 >

Reading Time: 3 minutes 検索拡張生成 (RAG) アプリケーションで、テキストだけでなく、表、グラフ、チャート、図など、さまざまな種類のデータを処理できれば、その有用性が飛躍的に高まります。そのためには、テキストや画像などの形式の情報を一貫して理解し、応答を生成することができるフレームワークが必要です。 この記事では、マルチモダリティ (複数の種類のデータ) を扱う上での課題と、マルチモーダル RAG パイプラインを構築するためのアプローチについて説明します。説明を簡潔にするために、画像とテキストの 2 つのモダリティのみに焦点を当てます。 マルチモダリティはなぜ難しいのでしょうか? 企業が扱う非構造化データは、フォルダーをいっぱいにしている高解像度の画像や、テキストが含まれる表、グラフ、図などが混在した PDF のように、複数のモダリティにまたがって散らばっている

Reading Time: 3 minutes ご注意: この記事は NeMo Framework のアップデートのため、2024 年 6 月 10 日に大幅に変更を加えました。 本記事では、NeMo Framework を使用して、日本語の大規模言語モデル (LLM) の PEFT (ファインチューニングの手法の一種)を実行する方法を説明します。 NeMo Framework とは NeMo Framework は、LLM をはじめ、生成 AI モデルを構築、カスタマイズするためのクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NeMo Framework は、NVIDIA AI Enterprise の対象ソフトウェアになっているため、エンタープライズ サポートを希望される場合は、NVIDIA AI Enterpri

Debugging is difficult. Debugging across multiple languages is especially challenging, and debugging across devices often requires a team with varying skill sets and expertise to reveal the underlying problem. Yet projects often require using multiple languages, to ensure high performance where necessary, a user-friendly experience, and compatibility where possible. Unfortunately, there is no sing

NVIDIA Brev NVIDIA Brev provides streamlined access to NVIDIA GPU instances on popular cloud platforms, automatic environment setup, and flexible deployment options, enabling developers to start experimenting instantly. Launchables are a feature of NVIDIA Brev that deliver preconfigured, fully optimized compute and software environments. Fast and easy to deploy, launchables allow you to start proj

Reading Time: 3 minutes GPU アプリケーションを高速化する方法には、主にコンパイラ指示行、プログラミング言語、ライブラリの 3 つがあります。OpenACC などは指示行ベースのプログラミング モデルで、コードをスムーズに GPU に移植し、高速化することができます。使い方は簡単ですが、特定のシナリオでは最適なパフォーマンスが得られない場合があります。 CUDA C や C++ などのプログラミング言語は、アプリケーションを高速化する際に、より大きな柔軟性を与えてくれます。しかし、最新のハードウェアで最適なパフォーマンスを実現するために、新しいハードウェア機能を活用したコードを書くことも、ユーザーの責任です。そこで、そのギャップを埋めるのが、ライブラリです。 コードの再利用性を高めるだけでなく、NVIDIA 数学ライブラリは、最大の性能向上のために GPU ハード

NVIDIA が、NVIDIA DGX SuperPOD でかつてない速さで AI ファクトリーの構築を支援

NVIDIA has released its Linux GPU kernel modules as open source with a dual GPL/MIT license, starting with the R515 driver release, to improve the experience of using NVIDIA GPUs in Linux.The open-source kernel modules are production-ready for data center GPUs in the NVIDIA Turing and NVIDIA Ampere architecture families, while support for GeForce and Workstation GPUs is alpha-quality.The release i

PyTorch と NVIDIA TensorRT を新たに統合し、1 行のコードで推論を高速化する Torch-TensorRT に期待しています。PyTorch は、今では代表的なディープラーニング フレームワークであり、世界中に数百万人のユーザーを抱えています。TensorRT はデータ センター、組み込み、および車載機器で稼働する GPU アクセラレーションプラットフォーム全体で、高性能なディープラーニングの推論を行うための SDK です。この統合により、PyTorch ユーザーは TensorRT を使用する際、簡素化されたワークフローを通じて非常に高い推論性能を得ることができます。 Torch-TensorRT とは Torch-TensorRT は、TensorRT の推論最適化を NVIDIA GPU で利用するための PyTorch の統合ソフトウェアです。たった 1 行

NVIDIA has made significant optimizations to the CUDA driver on WSL2, achieving performance comparable to native Linux in many benchmarks, such as the Blender benchmark, where WSL2 performance is within 1% of native Linux.The launch latency on WSL2 has been reduced through the use of hardware-accelerated GPU scheduling and asynchronous submissions, making it comparable to native Windows, although

The book Ray Tracing Gems II is now available for free download via Apress, providing valuable information on real-time rendering and ray tracing.The book contains a collection of algorithms and techniques developed by researchers and developers to take advantage of advancements in real-time ray tracing, which arrived in consumer GPU hardware in 2018.Supplementary code and materials related to the

NVIDIA Riva for DevelopersNVIDIA® Riva is a collection of GPU-accelerated multilingual speech and translation microservices for building fully customizable, real-time conversational AI pipelines. Riva includes industry-leading automatic speech recognition (ASR), text-to-speech (TTS), and neural machine translation (NMT) and is deployable in all clouds, in data centers, at the edge, or in embedded

NVIDIA Nsight™ Systems is a system-wide performance analysis tool designed to visualize an application’s algorithms, identify the largest opportunities to optimize, and tune to scale efficiently across any quantity or size of CPUs and GPUs, from large servers to our smallest systems-on-a-chip (SoCs).

NVC++ is the first compiler to support GPU-accelerated Standard C++ with no language extensions, pragmas, directives, or non-standard libraries, allowing for portable code that can be accelerated on NVIDIA GPUs.C++17 introduced higher-level parallelism features, including execution policies like std::execution::par and std::execution::par_unseq, which enable parallelization of Standard Library alg

The Windows Subsystem for Linux 2 (WSL 2) now supports NVIDIA CUDA acceleration, allowing users to run CUDA workloads on Windows PCs with NVIDIA GPUs.To use CUDA in WSL 2, users need to install the NVIDIA display driver that supports the Microsoft WDDM model on their Windows host.The NVIDIA Container Toolkit is supported within WSL 2, enabling containerized GPU workloads to run as-is on Windows PC

WSL2 is available on Windows 11 outside of Windows Insider Preview. Please read the CUDA on WSL user guide for details on what is supported Microsoft Windows is a ubiquitous platform for enterprise, business, and personal computing systems. However, industry AI tools, models, frameworks, and libraries are predominantly available on Linux OS. Now all users of AI - whether they are experienced profe

The NVIDIA A100 Tensor Core GPU is based on the NVIDIA Ampere GPU architecture and delivers significantly faster performance for HPC, AI, and data analytics workloads.The A100 GPU includes a new multi-instance GPU (MIG) virtualization and GPU partitioning capability, allowing it to be securely partitioned into up to 7 separate GPU Instances for CUDA applications.The third-generation Tensor Core in

CUDA 11 supports the NVIDIA A100 GPU, which is based on the NVIDIA Ampere GPU architecture and delivers a significant generational leap in accelerated computing for HPC, genomics, 5G, rendering, deep learning, data analytics, data science, robotics, and other workloads.The A100 GPU features third-generation Tensor Cores that accelerate mixed-precision matrix operations on various data types, inclu

NVIDIA released Kaolin, a PyTorch library that simplifies preparing 3D models for deep learning, reducing the required code from 300 lines to just five.Kaolin provides an efficient suite of geometric functions to manipulate 3D content and wrap 3D datasets into PyTorch tensors, supporting various representations such as polygon meshes and point clouds.The library offers a curated collection of neur

GPUDirect Storage enables a direct data path between local or remote storage and GPU memory, avoiding extra copies through a bounce buffer in the CPU's memory and enabling a DMA engine near the storage to move data directly into or out of GPU memory.The technology provides 2x-8x higher bandwidth with data transfers directly between storage and GPU, and explicit data transfers that are lower latenc

NVIDIA GPUs, starting with the Fermi generation for decoding and Kepler for encoding, support fully-accelerated hardware video encoding and decoding, with various generations including Maxwell, Pascal, Volta, and Turing also supporting these features.To optimize video transcoding using FFmpeg with NVIDIA hardware acceleration, options like -hwaccel cuda and -hwaccel_output_format cuda are used to