みなさまお元気ですか 暑さも少し落ち着いてきて、ようやく外に出てもいいかなという気になってきました。季節の変わり目体調には気をつけていきたいですね。 実は、一ヶ月くらい前に Linux PC を自作して Mac から移行しました。そのときの考え、その後の感想を残しておきます。 また、学んだことや作業のログを細かく残しておきたいと思います。（どこかの誰かが不安に思ったときに同じ失敗や疑問を経験した人がいて安心してもらえたら嬉しい） Ubuntu のインストール画面 (ベストオープンソースと開発しよう！) 目次 Mac をやめるきっかけ、経緯 Ubuntu に移行して一ヶ月の感想 おまけ1: どのような PC になったか おまけ2: 事前に学んだこと おまけ3: PC の組み立て おまけ4: Ubuntu のセットアップ 加筆/修正 指摘のあった誤字を修正 NVEnc について誤った内容があっ
2023年5月に発表された新しいプログラミング言語「Mojo」が世間で注目を浴びています。 PythonをベースにしたAI向きの言語であるということで、どんな言語なのか気になっている方も多いのではないでしょうか？ この記事では、Mojoの特徴や機能、今後の将来性について解説します。Mojoを学んでみたい方向けの学習方法もまとめているので、これからMojoを勉強すべきか検討している方は、ぜひご一読ください。 レバテックフリーランスはITエンジニア専門の フリーランスエージェントです案件を探してみる 注目のプログラミング言語「Mojo」とは？ プログラミング言語「Mojo」とは、どのような目的で作られ、他の言語と比べて何が新しいのでしょうか。まずはMojoの概要と特徴についてチェックしていきます。 Mojoプログラミング言語の概要 「Mojo（モジョ）」とは、Modular社が2023年5月に
上に出した報告書が何者かに改竄されてた。PDFで出したんだけど、ご丁寧に問題点が白塗りにされてた→監査ログを見てみたら闇が深かった話
がんぽん @ganpon714 アイコンは本人。職業はなんちゃってSE、自称研究者、アマチュア軍人。電子工作/電波(ELF,VLF)/C++/組み込み/ホイスラ/オーロラ/SDR/バイオインフォマティクス/GPGPU/カメラ/シンセ/ロシア/登山/ロリ/日本酒/居酒屋 エサ→https://t.co/l3Q3CkG4iA https://t.co/CPdkJm4N53 がんぽん @ganpon714 先週、俺が上に出した報告書が何者かに改竄されてた。 PDFで出したんだけど、ご丁寧に問題点が白塗りにされてた。 サーバー管理者なので監査ログを見てみたら誰が差し替えたか、誰が差し替えた後に開いて確認したかまで秒単位でわかって、数人関わってて思ったよりも会社の闇が深かった。驚いた。 がんぽん @ganpon714 Windows server のシャドーコピーから元に戻しておいてやろうかと思った
コードなしでWeb3コンテンツなどを開発することができるプラットフォーム・thirdwebの創設者であるadammaj氏が、「経験なしで2週間でゼロからGPUを構築した」と報告しています。 I've spent the past ~2 weeks building a GPU from scratch with no prior experience. It was way harder than I expected. Progress tracker in thread (coolest stuff at the end)👇 pic.twitter.com/VDJHnaIheb— adammaj (@MajmudarAdam) April 25, 2024 ◆ステップ1：GPUアーキテクチャの基礎を学ぶ adammaj氏はまず、最新のGPUがアーキテクチャレベルでどのように機能してい
西川善司の3DGE：PS5 Proの実像をテクニカルプレゼンテーションから考察してみる ライター：西川善司 Sony Interactive Entertainment（以下，SIE）は，2024年9月11日に，「PlayStation 5」の上位機にあたる「PlayStation 5 Pro」を2024年11月7日に発売すると発表した（関連記事）。 テクニカルプレゼンテーションの動画内で明かされた情報はそれほど多くはなかった。それでも重要なキーワードはいくつかあったので，そのあたりをヒントにして，筆者独自の考察も加えつつ，詳しく見ていくことにしたい。 Proモデルは「体験の進化」ではなく「映像のグレードアップ」 PlayStation 4を開発していた頃から，PSハードウェア仕様を監督する「リードアーキテクト」に就任したSIEのMark Cerny（マーク・サーニー）氏には，筆者も直接取
新連載「西川善司のバビンチョなテクノコラム」第1回。Appleの新プロセッサ「M3」はいかなるものぞ？ | テクノエッジ TechnoEdge
テクニカルジャーナリスト。東京工芸大学特別講師。monoAI Technology顧問。IT技術、半導体技術、映像技術、ゲーム開発技術などを専門に取材を続ける。スポーツカー愛好家。 こんにちは。西川善司です。 昔、Oh! MZとかOh! Xというソフトバンクが出していたパソコン雑誌で、技術的な記事プログラムとか音楽作ったりしていた、プログラマー崩れの著述家です。 現在は、2台の大きさのだいぶ違うスポーツカーを乗り回したり、渓流ルアー釣りを楽しんだり、色んなゲームをプレイしたり、国内外の電機メーカー、半導体企業を取材したりしています。 自分は他媒体では、頂いた「1テーマ」に沿った技術コラムを書かせてもらっていますが、テクノエッジさんでは、そのメディア名を曲解して「技術の端っこ」をテーマにしたコラムを書かせていただきたいと思います。 「技術」には普段、自分が請け負うことの多い「電気的な先端技術
イギリスのスタートアップ「Spectral Compute」社がCUDAのプログラムを全く変更することなくAMD製GPUで実行できるようにコンパイルするツールキット「SCALE」を開発したと発表しました。 SCALE GPGPU Programming Language https://scale-lang.com/ Announcing the SCALE BETA https://scale-lang.com/posts/2024-07-12-release-announcement Spectral ComputeのCEOであるマイケル・ソンダーガード氏は「一度コードを記述すればあらゆるハードウェアプラットフォームでビルド・実行できるべき」「CPUでは長年実現されてきたのに、なぜGPUでは実現できないのか？」とSCALEの開発に至った経緯を説明。 SCALEはNVIDIAのCUDAツ
言語モデルを高位合成でFPGAに実装してみた Turing株式会社のリサーチチームでインターンしているM1の内山です。 Turing株式会社では大規模基盤モデルによる完全自動運転を目指しており、その実現に欠かせない技術として大規模言語モデルの研究開発を行っています。 Generative AI LLMの広範な知識と思考能力に加え、視覚情報やセンサーデータなどの多様な入力を受け入れることで、車の周囲の状況を正確に認識します。さらに、世界モデルを適用することで、高度な空間認知と身体性を獲得し、実世界に対応した生成AIを実現します。 https://tur.ing/ より引用 しかしながら、従来の大規模モデルはデータセンターという大量のGPU・潤沢な電源・安定した地盤を備えた豊かな環境で処理されるものであり、対して自動車というものは余りにも狭く、電源が乏しく、振動が大きいという劣悪極まりない環境
田中邦裕氏の自己紹介 司会者：みなさま、お待たせしました。これより再び特別企画をお送りします。2つ目の特別企画は、「生成AI／LLM未踏的ビジネス活用最前線」と題してお届けします。なお、本セッションでは視聴者からの質問を受けます。質問は「Slido」というコミュニケーションツールを使用します。 それでは、登壇者のみなさま、ステージへお願いします。みなさま、拍手でお迎えください。 （会場拍手） ここからの進行は未踏IT人材発掘・育成事業プロジェクトマネージャーの田中さんにお願いします。よろしくお願いします。 田中邦裕氏（以下、田中）：はい、みなさま、セッションにお越しいただきありがとうございます。タイトルが「生成AI／LLM未踏的ビジネス活用最前線」ということで、お届けしたいと思います。では、さっそくですが、パネラーの方の紹介をしたいと思います。 まず中山さんから……。あっ、自己紹介か。忘れ
Mac生誕40周年。人々を徐々に変えていった稀有なマシンのこと（CloseBox） | テクノエッジ TechnoEdge
Macが40年になったからなんか語れというお題をIttousai編集長からもらったので、Macとの関わりについてちょっと考えてみました。1990年代にMac雑誌を2つ創刊した経験があるので、まあ資格としてはあるかな、と。 ジェネラルなお話や、開発した人々のストーリーは語られ尽くしているし、オリジナル開発チームによる秘話（Commandキーを追加したのはダグラス・エンゲルバートからパワーユーザーにとっても使いやすくするようにというアドバイスでキーボードショートカットを思いついたビル・アトキンソンのアイデアであるとか、1984のCMを取締役会で上映したときにその中の一人が怒りのあまりデスクを叩き続けていたりとか、面白すぎエピソード満載）はComputer History Museumの40周年記念イベント動画を見てもらえばいいと思うので、今回はMacintoshとの関わりについて個人的な話をし
最近、プロセッサに「NPU」と呼ばれる人工知能（AI）処理に特化したユニットが搭載されるのがちょっとしたブーム（？）になっている。このNPUって、GPUなどと何が違うのか、なぜプロセッサに搭載されるようになってきたのか解説しよう。 プロセッサに搭載されている「NPU」って何？ Intelの最新プロセッサ「Core Ultra」には、人工知能（AI）処理に特化した「NPU」が搭載されている。NPUは、スマートフォン向けのプロセッサにも搭載が進んでいる。ところで、このNPUはCPUやGPUと何が違うのだろうか？ 写真は、Intelのプレスリリース「AI PCの新時代の到来を告げるインテル Core Ultra プロセッサー」のCore Ultraプロセッサーの写真を使って、「CPU」「GPU」「NPU」の文字を載せたもの。 今回のお題は「NPU」である。出だしから注釈になってしまうが、NPUと
「Ryzen AI 300」とはどんなプロセッサなのか。高効率Zen 5cコアに新世代NPUとPS5を超えるGPUを組み合わせる［西川善司の3DGE］
「Ryzen AI 300」とはどんなプロセッサなのか。高効率Zen 5cコアに新世代NPUとPS5を超えるGPUを組み合わせる［西川善司の3DGE］ ライター：西川善司 COMPUTEX TAIPEI 2024で基調講演を行うAMD CEOのLisa Su氏。Ryzen 9000よりも，Ryzen AI 300の紹介に時間を割いていた 2024年6月3日にAMDは，Zen 5アーキテクチャを採用した新Ryzenである「Ryzen 9000」シリーズを発表したわけだが，Zen 5アーキテクチャを採用したCPUは，Ryzen 9000シリーズだけではない。ノートPC向けAPUの「Ryzen AI 300」シリーズも，同時に発表しているのだ。APUであるので，「高性能なCPU」と「高性能なGPU」を統合したSoC（System-on-a-Chip）である。 そのうえ，名称に「AI」と付いている
負荷を抑えて高品質？ スマホゲームのグラフィックスを進化させるためにゲームエンジン「Frostbite」が取り組む「FP16化」とは
負荷を抑えて高品質？ スマホゲームのグラフィックスを進化させるためにゲームエンジン「Frostbite」が取り組む「FP16化」とは ライター：西川善司 2024年3月に行われたGDC 2024で，「FP16 Shaders in Frostbite」という一風変わったテーマを掲げていたセッションがあった。 簡単に言えば，Electronic Arts（以下，EA）の独自開発ゲームエンジン「Frostbite」で，16bit浮動小数点数（FP16）を徹底活用して性能を改善できるか検討したというものだ。 セッションを担当したAlexis Griffin-Lira氏（Software Engineer，Frostbite. EA）。Frostbiteエンジン開発チームの一員だ 近代ゲームグラフィックスでは，頂点シェーダが扱うジオメトリ（幾何学）的な演算において，単精度と呼ばれる32bit浮動小
【WebGL2】GPU Instancing x Transform Feedback で大量のインスタンスの計算と描画をGPUで行う - KAYAC engineers' blog
~ このエントリは 【カヤック】面白法人グループ Advent Calendar 2023 の22日目の記事です。~ こんにちは！ハイパーカジュアルゲームチームの深澤です。 WebGL2において GPU Instancing でメッシュを大量に表示しつつ、Transform Feedback を使ってインスタンスごとの情報計算もGPUに任せてみたいと思います。 ↓ デモはこちらになります。画像かURLから飛ぶことができます デモ: https://takumifukasawa.github.io/webgl-transform-feedback-gpu-instancing/ ↓ リポジトリのURL github.com メッシュ1つあたりの頂点数は24です。描画色は、インスタンスごとの色をふまえて平行光源の拡散光だけ計算しています。 GPU Instancing を使っていて、ドローコー
あけましておめでとうございます。今回は2024年のUbuntuと題して「今後のUbuntuはどのように変化していくか」を中心にした、Ubuntuに関わるある種の未来予測（与太話ともいう）をお届けします。 Ubuntu 24.04 LTS まず2024年のUbuntuに訪れる変化としては、“Noble Numbat”、Ubuntu 24.04 LTSです。現時点ではまだ「どのような姿になるのか」という部分は見えきっていないものの、デスクトップ周りの更新が行われ、そして新インストーラーやツール、新しいソフトウェアセンターを搭載した最初のLTSリリースとなります。既存のリリースの延長線上にある「この2年間の集大成」という位置づけとなるでしょう。 新インストーラーや各種ツールはFlutterをベースとしたものでの「作り直し」が進められています。またカーネル側でもRustの活躍の空間が広がると
AIがゲーム攻略情報でプレイをお助け？ PCのチューニングまで面倒を見てくれる「Project G-Assist」は何ができるのか
AIがゲーム攻略情報でプレイをお助け？ PCのチューニングまで面倒を見てくれる「Project G-Assist」は何ができるのか ライター：西川善司 COMPUTEX 2024の開幕直前である6月1日，NVIDIAは，CEOであるJensen Huang（ジェンスン・フアン）氏による基調講演を行った。その内容は，エンタープライズ向けGPUサーバーやGPGPU関連製品が中心で，民生向け製品に関連する発表や言及は非常に少なかった。 では，COMPUTEX 2024において，NVIDIAのブース展示がエンタープライズ関連，GPGPU関連ばかりだったかというとそうでもない。本稿では，ゲームファン向けの新技術「Project G-Assist」（以下，G-Assist）を実際に体験してみた様子をレポートしたい。 G-Assistのデモコーナー。右の人物は，今回のデモを担当したGuillermo S
はじめに この記事はHIKKYアドベントカレンダー2023の10日目の記事です。 こんにちは、 @emadurandal と申します。HIKKYのエンジン開発部でメタバースエンジンの開発に従事しています。 今回は、WebGLからWebGPUへのステップアップについての記事を書いてみようと思います。 なぜWebGPUが登場したのか WebGLはOpenGL ESのAPI体系をブラウザに移植したものです。 そのOpenGLですが、歴史的経緯により、GPUやCPUの性能を完全に引き出しきれないレガシーな部分を引きずっていました。 詳しくはこちらの記事をご覧ください。 そのため、WebGL2の次はWebGL3というわけにはいかなかったようです。 よりGPUの性能を引き出せる、よりモダンなAPI体系が必要でした。ネイティブにはVulkan APIがありますが、それをそのままブラウザに持ってくるには、
ChatGPTをはじめとした生成AIにおけるここ数年の勃興は語るまでもありません。特にユーザーからの自然言語による対話をもとに文章を生成する仕組みは、すでに趣味や研究の範囲を超えて各分野の業務でも広く使われるようになりつつあります。その自然言語の理解と文章の生成に貢献している概念のひとつが、「LLM（Large Language Model：大規模言語モデル）」です。現在ではChatGPTで使われているGPTシリーズだけでなく、GoogleのGeminiやAnthropicのClaudeなど、規模の大小、目的問わずさまざまなLLMが登場しています。 今回はそんなLLMのうち個人でも利用可能で軽量なモデルの入門として、まずはUbuntu上で動かす方法について紹介しましょう。 図1 ollamaとOpen WebUIを使えばChatGPTっぽいUIからローカルLLMを使える ローカルLLMの
スーパーコンピューターの第一人者「齊藤元章氏」が生成AIで日本のゲームチェンジャーになる日 古賀茂明 | AERA dot. (アエラドット)
古賀茂明氏 この記事の写真をすべて見る 7月19日、驚くべき記者発表が行われた。 【写真】調印式で挨拶をする齊藤氏はこちら ZYRQというほとんど知られていない日本の新興企業と、半導体技術では世界最高峰と言われる台湾の公的機関ITRI（工業技術研究院）による共催である。 発表された内容は、全く新しい「水浸」冷却方式による次世代生成AIデータセンター冷却技術を両者が共同開発する契約に調印するというものだ。 と言ってもなんのことかさっぱりわからないだろう。 19日に行われた調印式とその後の記者への説明を聞いても普通の人にはなかなか難しい内容だ。 筆者はこの分野の専門家ではないが、実は、この技術を開発した齊藤元章氏とは2年以上前から交流を続けてきており、その過程でこの話を詳しく取材し続けてきた。今回の記者発表で、ようやく広く一般の人に伝えることが許される。 そこで、なんとか少しでもわかりやすく、
半導体開発で、久しぶりにXの投稿で盛り上がったので、記録に残します。 - Vengineerの妄想
はじめに 昨日、お昼に、大宮公園の梅園にて、梅を見ながら、南インド料理を堪能しているときに、Xの投稿した下記の内容が久しぶりに盛り上がったので記録として残します。 1989年からお仕事で 半導体開発やってきて 35年経ちますが 今が一番盛り上がっている気がする が、 日本国内で半導体開発をやろうとすると論理設計者が居ない マジ居ない— Vengineer＠ (@Vengineer) 2024年2月17日 このブログを書いている時に、9.4万ぐらいでした。 補助金戦争 これを知ったのは、とあるYoutube(ReHacQ)で竹中平蔵氏がダボス会議にて、サマーズ氏からこれからは補助金戦争だ！と聞いた、というものです。 米国のCHIPS法に始まった大規模な半導体製造に対する補助金。金額は数千億円から数兆円レベル。。 その中で日本でも半導体関連に対して国が補助金を出しています。 AIバブルから生成
はじめに シュレディンガー先生、予防線を張る NTTICCでの展示について Chaotic Satisfying Things ライフゲーム・(スキ|キライ) お前は神から愛されなかった/イコンを捨てたSCP財団 Reminiscence Syndrome（連想症候群） 時空間の離散化・格子法の限界 人工生命とAI 共進化する二つの分野 LLMとオープンエンドな進化 「非人間中心主義」 野良猫的人工生命 「何の役に立つの？」 媒介者としての人工生命 環世界の拡張としての人工生命 単純なセンサではないことの意味 おわりに はじめに ICC キッズ・プログラム 2024 キミ( ).コード( ).セカイ( )の展示が無事終わりました。避雷は「うまれる，かかわる，またうまれる，」という作品を展示していました。デカいプロジェクションマッピングに、センサを取り付けたような作品です。大きな展示を実寸で
京都大学が新しいスーパーコンピューターのシステムを構築――求められる性能向上に対し、インテル®Xeon® CPU Maxシリーズが果たす役割とは
PR提供：インテル 京都大学が新しいスーパーコンピューターのシステムを構築――求められる性能向上に対し、インテル®Xeon® CPU Maxシリーズが果たす役割とは 京都大学のACCMS(学術情報メディアセンター)では、スーパーコンピュータシステムを刷新、インテル® Xeon® CPU Maxシリーズ（以下 Xeon® CPU Max）を搭載した新システムを2023年から運用している。既に全システムが稼働を開始しており、メインとなるSystem A(Camphor 3)は今年11月に発表されたTOP500リストにおいても114位にランキングされている。 この新システムを決定した経緯、特にXeon® CPU Max の導入を決めた理由や実際の運用における状況、今後の展開などについて、京都大学 学術情報メディアセンター コンピューティング研究部門 准教授の深沢圭一郎氏と、同 情報部 情報基盤課
NVIDIAとAIの小史
未だに「謎の半導体メーカー」程度の認識の方になぜNVIDIAが時価総額世界4位なのかをあれこれ説明する必要があるので短めにメモ。半導体業界のすみっこの人間なので機械学習まわりの説明は適当です ・～1993年 AI冬の時代。エージェントシステムがさほど成果を挙げられなかったり。まだ半導体やメモリの性能は現代とくらべてはるかに劣り、現代のような大規模データを用いた統計的処理など考えられなかった。2006年のディープラーニングの発明まで実質的な停滞は続く。 ・1993年 NVIDIA設立。 ・1995年 NVIDIAが最初のグラフィックアクセラレータ製品NV1を発売。 ・1999年 NVIDIAがGeForce 256発売。GPUという名が初めて使われる。以降、NVIDIAはGPU業界1位の座を守り続ける。 ・2006年 GPGPU向け開発基盤CUDAを発表。以降、その並列計算に特化した性能を大
スーパーコンピューターの第一人者「齊藤元章氏」が生成AIで日本のゲームチェンジャーになる日 古賀茂明（AERA dot.） - Yahoo!ニュース
7月19日、驚くべき記者発表が行われた。 ZYRQというほとんど知られていない日本の新興企業と、半導体技術では世界最高峰と言われる台湾の公的機関ITRI（工業技術研究院）による共催である。 【写真】調印式で挨拶をする齊藤氏はこちら 発表された内容は、全く新しい「水浸」冷却方式による次世代生成AIデータセンター冷却技術を両者が共同開発する契約に調印するというものだ。 と言ってもなんのことかさっぱりわからないだろう。 19日に行われた調印式とその後の記者への説明を聞いても普通の人にはなかなか難しい内容だ。 筆者はこの分野の専門家ではないが、実は、この技術を開発した齊藤元章氏とは2年以上前から交流を続けてきており、その過程でこの話を詳しく取材し続けてきた。今回の記者発表で、ようやく広く一般の人に伝えることが許される。 そこで、なんとか少しでもわかりやすく、何がすごいのかを解説したいのだが、技術の
NVIDIA GPU向けCUDAのコードをそのままAMD GPU向けにコンパイル出来る「SCALE」が登場 | XenoSpectrum
人々をNVIDIA製GPUに縛り付けていた枷の一つが取り払われるかも知れない。英国の企業Spectral Computeが7年の開発期間を経て、CUDAプログラムをAMD GPUでネイティブに実行できるGPGPUツールチェーン「SCALE」を公開した。これにより、開発者はコードの変更なしにCUDAアプリケーションをAMD GPUで動作させることが可能になるのだ。 SCALEがもたらすGPGPU開発の新たな道 SCALEは、CUDAソースコードをAMD GPU向けにネイティブコンパイルする「クリーンルーム実装」として設計された。これまでのHIPIFYやZLUDAなどの既存のソリューションとは異なり、SCALEはコードの変換や移植作業を必要とせず、CUDAプログラムをそのままAMD GPU向けにコンパイルできる。 特筆すべき点として、SCALEはNVIDIAのnvccコンパイラの代替として機能
Shadama: A Particle Simulation Programming Environment for Everyone
Shadama: A Particle Simulation Programming Environment for Everyone Yoshiki Ohshima, Dan Amelang and Bert Freudenberg HARC/Y Combinator Research We present a prototype of a programming system called Shadama. Shadama is designed for writing programs that create, control and visualize large numbers of objects. The basic execution model follows the tradition of StarLogo and its "turtles and patches"
SCALE documentation
SCALE by Spectral Compute# What is SCALE?# SCALE is a GPGPU programming toolkit that allows CUDA applications to be natively compiled for AMD GPUs. SCALE does not require the CUDA program or its build system to be modified. Support for more GPU vendors and CUDA APIs is in development. To get started: See the tutorial. Review the examples. Contact us for help. How does it work?# SCALE has several k
米Dell Technoligiesはこのほど、Intel製AIアクセラレーターを搭載したGPUサーバ「PowerEdge XE9680」の発表を行った。 プロセッサとして最大56コアの第4世代Xeonスケーラブル・プロセッサを2基搭載する高性能GPUサーバで、Tensorコア64基と128GB HBMe2メモリを搭載するIntel Gaudi 3 AIアクセラレーターを搭載しているのが特徴。Gaudi 3専用メディアデコーダーはAIビジョンアプリ向けに設計されており、エンタープライズAIアプリケーションのパフォーマンス向上を行えるとしている。 関連記事 企業は生成AIのビジネス活用をどう考えるべきか 生成AI開発基盤を提供するデルの取り組み デル・テクノロジーズが、報道関係者向けに生成AI関連の勉強会を実施した。そこで出た生成AIの取り組みをまとめた。 デル、従来比2.9倍のAI推論を実
【急展開】NVIDIAの天下が終わる？ MSFTが発表したAIモデル「BitNet」がやばすぎる‥‥GPUが不要になるだと！？😨🥺😳 : ライフハックちゃんねる弐式
2024年03月01日 【急展開】NVIDIAの天下が終わる？ MSFTが発表したAIモデル「BitNet」がやばすぎる‥‥GPUが不要になるだと！？😨🥺😳 Tweet 11コメント ｜2024年03月01日 12:00｜Web・テクノロジー｜Editタグ ：AIGPU機械学習NVIDIABitNet マイクロソフトが発表したBitNet、やばすぎて半信半疑ながらも真実ながら凄すぎて期待してしまう。 行列の中身を1ビット(0 or 1のみ)にして、行列演算に乗算が必要なくなって高速化させてるらしい。 高速化する理屈はわかるけど、論文によるとなぜか精度も向上してるらしい。 やばすぎて一旦様子見。 pic.twitter.com/jugSP5RpLX— goto (@goto_yuta_) February 28, 2024 「1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加
自作PCにGPUを2枚挿して13BのLLMを動かす話 | cloud.config Tech Blog
この記事は FIXER Advent Calendar 2023 - Adventar 23日目の記事です。 はじめにこんにちは、毛利です。この記事では趣味用の自作PCにGPUを2枚挿してサイズが13BのLLMを動かす話をします。 LLMのパラメータ数と推論に必要なメモリ量についてまず初めに、LLMのパラメータ数に対して、推論に使う場合にどれぐらいのメモリが必要なのかを話します。ここで言うパラメータ数は7B(70億)、13B(130億)、70B(700億)といったものです。 精度によっても変わってくるのですが、配布されるモデルの精度としてはbfloat16であることが多いです。この場合は、1パラメータあたり2byteになるので、～Bの部分を2倍したGBが要求されると考えればよいです。例えば、7BのLLMであれば14GB、13BのLLMであれば26GBなどとなります。逆に4bit量子化等が行
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mac やめて Linux PC を自作した - IT戦記
Mojoプログラミング言語の特徴とは？将来性は？よく分かる入門資料まとめ
「ゼロからGPU開発」に経験なし＆わずか2週間で成功した猛者が登場
西川善司の3DGE：PS5 Proの実像をテクニカルプレゼンテーションから考察してみる
CUDAのコードを全く変更せずにAMD製GPU向けにコンパイルできるツールキット「SCALE」が登場
言語モデルを高位合成でFPGAに実装してみた
「ホワイトカラーの領域が急速にリプレイスされている」 中山心太氏が考える、生成AIとLLMで起きている革命
第288回 人工知能時代には必須か？ 最近、プロセッサに搭載されている「NPU」って何
新春特別企画・2024年のUbuntu | gihyo.jp
WebGLからWebGPUにステップアップしよう！ - Qiita
第825回 ローカルLLMの実行ツールであるOllamaをUbuntuで動かす | gihyo.jp
シュレディンガーの「生命とは何か」を読んで、人工生命の事を考え、NTTICCの展示を振り返る - 補遺
米Dell、GPUサーバ「PowerEdge XE9680」にGaudi 3 AIアクセラレーター搭載モデル