Sakana AI「AI CUDA Engineer」炎上??｜ハヤシ シュンスケ
東京を拠点とするAIスタートアップSakana AIが発表した「AI CUDA Engineer」。GPUコードの自動最適化を謳うこの技術は、当初大きな期待を集めたが、その性能主張を巡り、研究者コミュニティから厳しい批判が相次いだ。誇張されたデータ、不正確な計算結果…何が問題だったのか。事実と反響を詳細にレポートする。 Introducing The AI CUDA Engineer: An agentic AI system that automates the production of highly optimized CUDA kernels.https://t.co/28vPHBOAX6 The AI CUDA Engineer can produce highly optimized CUDA kernels, reaching 10-100x speedup over com
AIを“AIで”改善 Sakana AIが新技術「AI CUDA Engineer」発表 目指すは100万倍の効率化
AIモデルの開発や利用を“AIによって”効率化する──Sakana AIは2月20日、新たな技術「AI CUDA Engineer」を発表した。AIモデルの開発や利用時にかかる計算処理を10～100倍高速化できるエージェントシステム。同社は「AI技術は必ず100万倍は効率化される」と展望を示しており、この技術はそのための重要なステップだという。 米NVIDIA製のGPUハードウェアには、その並立計算を制御するためのプラットフォーム「CUDA」が用意されている。そこで肝となっているのは、ハードウェアに直接指示を行う「CUDAカーネル」という関数だ。この関数のレベルで、直接命令を記述できれば、AIアルゴリズムのパフォーマンスを向上させることが可能という。 そこで同社は、CUDAカーネルの生成を自動化する技術として、AI CUDA Engineerを開発。最新の大規模言語モデル（LLM）を活用し
AI分野でのNVIDIA一強状態を崩すためにIntel・Google・富士通・Armなどが参加する業界団体がCUDA対抗のAI開発環境を構築中
NVIDIAはAI開発に使われるGPUで大きなシェアを獲得しているほか、ソフトウェア開発および実行環境「CUDA」もAIの開発現場で広く採用されています。そんなNVIDIAの一人勝ち状態に対抗するべく、Intelや富士通、Google、Armなどのテクノロジー企業が参加する業界団体「Unified Acceleration Foundation(UXL Foundation)」がオープンなソフトウェア開発環境の構築を進めています。 UXL Foundation: Unified Acceleration https://uxlfoundation.org/ Unified Acceleration (UXL) Foundation https://www.intel.com/content/www/us/en/developer/articles/news/unified-accelera
"RWKV_CUDA_ON"を1に設定してRWKVを高速化する - Qiita
ローカル環境でも高速で動作するLLMとして話題のRWKVですが、ドキュメントを見ていると環境変数の"RWKV_CUDA_ON"を1に設定することでより高速で動くということなので試してみました。 設定を変更するときに１箇所エラーで躓いたところがあったのでそちらも記録しておきます。 RWKVとは RWKVとはTransformerレベルの性能を持つRNNです。他のLLMと同様に高性能でありつつ推論が高速でVRAMを節約しているのが特徴です。 RWKVをチャットで使えるようにしたものとしてChatRWKVがあります。 また、RWKVをAlpacaデータセットなどを使用してファインチューニングしたものとしてRavenがあります。 ChatRWKVの使い方は次の記事で分かりやすく解説されています。 またRWKVのファインチューニングの方法については以下の記事で解説されています。 RWKV_CUDA_
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
