最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
かつてNVIDIAを救った日本人「入交昭一郎」とは？
2024年2月に発表された決算情報ではNVIDIAの年間売上高は600億ドル(約9兆3500億円)で、時価総額2兆ドル(約312兆円)を超える巨大企業となっていますが、そんなNVIDIAでも創業直後は貧弱な企業であり、かつて入交昭一郎という日本人に救われた歴史があるとWall Street Journalが報じました。 The 84-Year-Old Man Who Saved Nvidia - WSJ https://www.wsj.com/business/nvidia-stock-jensen-huang-sega-irimajiri-chips-ai-906247db 入交昭一郎 - Wikipedia https://ja.wikipedia.org/wiki/%E5%85%A5%E4%BA%A4%E6%98%AD%E4%B8%80%E9%83%8E 入交氏は大学卒業後に本田技研
「ビデオカードがある時にマザーボード側の映像出力に繋ぐ」のは 今でもNGなのか？ PC初心者がデスクトップPCを設置する時にやりがちなミスの1つとして、「ビデオカードがあるのにマザーボード側（オンボード側）にディスプレーを接続する」というものがある。 これをやってしまうとディスプレーに映像が出ない、あるいは映像が出たとしてもゲームのレンダリングがCPU内蔵GPUで行われてしまい、ビデオカードは休んだままになってしまう、というものだ。こういったトラブルを防ぐため、ビデオカードを装着したBTOメーカー製PCではオンボード側の映像出力がシールで封印されていることもある。 ビデオカードを搭載したBTOメーカー製PCでは、マザーボード側のHDMIやDisplayPort出力に使用不可であることを知らせるシールが貼られていることも多い しかし、このような古の教えはハードやソフトの発展で乗り越えられるよ
【シリコンバレー=山田遼太郎】米半導体大手エヌビディアが22日発表した2024年2〜4月期決算は純利益が前年同期と比べ7.3倍の148億8100万ドル（約2兆3300億円）、売上高が同3.6倍の260億4400万ドルだった。市場予想を上回り、人工知能（AI）向け半導体の需要の強さを示した。日米などの株式市場で半導体関連銘柄の押し上げ要因になりそうだ。市場予想は24年2〜4月期の売上高が246億
米半導体大手のNVIDIAは2月21日（現地時間）、2024年第1四半期（2024年2月～4月）の決算を発表した。AIの旺盛な需要を追い風に、売上高は前年同期比262％増（約3.6倍）の260億4400万ドルと過去最高だった。純利益は628％増（約7.3倍）の148億8100万ドル（1株当たり5.98ドル、非GAAPでは6.12ドル）だった。 売上高、純利益ともに、アナリスト予測（売上高は246億5000万ドル、非GAAPの純利益は5.59ドル）を大きく上回った。 ジェンセン・ファンCEOは発表文で「次の産業革命が始まった。企業や国がNVIDIAと提携し、1兆ドル規模の従来のデータセンターをアクセラレーテッドコンピューティングに移行し、新種のデータセンター（AIファクトリー）を構築して、AI製品を生産している」と語った。 主力のデータセンター向け半導体の売上高は、AI関連製品が引き続き好調
Whisperでのリアルタイム文字起こしの手法は「Whisperを使ったリアルタイム音声認識と字幕描画方法の紹介」を参考にした。 mlxのwhisperセットアップは前回の記事を参考ください。 本題 ストリーミング処理を行うには音声の無音検知が必要となるので調べたところ、faster-whisperでもVAD(Voice Activity Detector)にSilero VADを使っている。 それのJS版であるricky0123/vadで書かれているコードがあったのでmlx用に一部書き直して試してみた。 ファイル構成 import os import time from flask import Flask, request, render_template import whisper import threading UPLOAD_FOLDER = 'uploads' ALLOWED
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
いまどきのゲーミングPCでマザー側の映像出力に繋ぐのはあり/なし？古の禁忌に踏み込む (1/6)
【西川和久の不定期コラム】 USB4接続のGeForce RTX 3090が突然認識されなくなったので、OCuLinkで復活させた話
NVIDIA､2〜4月売上高3.6倍 AI半導体「1強」予想上回る - 日本経済新聞
NVIDIA、AI需要で過去最高の売上高 「次の産業革命が始まった」とファンCEO
GeForce RTX 4070搭載ゲーミングNUCなどASUS NUCが国内展開
mlxのwhisperでリアルタイム文字起こしを試してみる - Qiita