最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
みなさまお元気ですか 暑さも少し落ち着いてきて、ようやく外に出てもいいかなという気になってきました。季節の変わり目体調には気をつけていきたいですね。 実は、一ヶ月くらい前に Linux PC を自作して Mac から移行しました。そのときの考え、その後の感想を残しておきます。 また、学んだことや作業のログを細かく残しておきたいと思います。（どこかの誰かが不安に思ったときに同じ失敗や疑問を経験した人がいて安心してもらえたら嬉しい） Ubuntu のインストール画面 (ベストオープンソースと開発しよう！) 目次 Mac をやめるきっかけ、経緯 Ubuntu に移行して一ヶ月の感想 おまけ1: どのような PC になったか おまけ2: 事前に学んだこと おまけ3: PC の組み立て おまけ4: Ubuntu のセットアップ 加筆/修正 指摘のあった誤字を修正 NVEnc について誤った内容があっ
ITはもう面白くなくなってますね。 技術が面白いときには、いろいろ新しいものが出て性能あがったりできることが増えたりします。調べたらどんどん新しいものが出てくるし、新しいものもたくさん作るし、面白い。ですが、IT技術は一通り出そろって、成熟期に入っています。そうすると新しい技術に出会うことも新しいものを作ることも減っていきます。その結果、いままでの変化のあった状況を知っていれば、つまらんってなりますね。 ※2024/8/24 追記 言いたいことをまとめると、IT素振りのネタ探しに苦労するようになったよねってことです。 結局のところITというのは新しいハードをどう動かして社会に実装していくかというものなので、新しいハードが出ないとどうしようもないのです。けれどもだいたい飽和してしまった。 雑にいえば、これまで1980年くらいにBASIC搭載8bitパソコンが普及するとBASICプログラミング
結論から言うと、こんなことができます。 カラーイラストを線画にすることも可能です。 先日、AI-AssistantV3なるお絵描き補助AIフリーソフトを公開したのですが、多くの方から『私のPCじゃ動かん！』というご意見をいただきました。 わかる～！ちょっとAIに興味あるだけの人が20万↑のPCに手を出せるわけないよね。それが本当に使えるモノかどうかもまだわからないのに。 私もできる範囲で動作サポートするものの（抜けていたらすみません！） 元々のPCのスペック問題自体はどうしようもないジレンマに葛藤していました。 ならばスマホからでも動くシンプルなwebアプリ作ったろうじゃん！！！ と思ったので作りました。 機能限定版AI-AssistantV3みたいな立ち位置だと思って下さい。まぁ微妙にアルゴリズム違うんで厳密には別物ですが。 【追記】勘違いする方もいるっぽいので明記しておきます！ こちら
物理学者の逆襲!?Entropixはわずか3億6000万パラメータで1000億パラメータ級の回答を引き出す!Claude-3でも間違う問題を360Mが正しく解く｜shi3z
物理学者の逆襲!?Entropixはわずか3億6000万パラメータで1000億パラメータ級の回答を引き出す!Claude-3でも間違う問題を360Mが正しく解く 物理学者たちがノーベル物理学賞をホップフィールドとヒントンが受賞すると知った時、まあまあ微妙な気持ちになったことは想像に難くない。 我々コンピュータ科学者にとっては、ノーベル賞は全く無縁なものだった。むしろ「ノーベル賞をコンピュータ科学者が取ることは永久にない」と言い訳することさえできた。コンピュータ科学の世界にはチューリング賞という立派な賞があるし、ノーベル賞よりも賞金が高かった京都賞は、アラン・ケイやアイヴァン・サザーランド、ドナルド・クヌースなど、コンピュータ科学者たちが堂々と受賞している。その割には本来マイクロチップの最初の設計者である嶋正利などが京都賞にノミネートされていなかったり、サザーランドの弟子であるアラン・ケイの
ここで知った。 試しに、神戸市が公開している観光に関する統計・調査資料のうち、「令和5年度 神戸市観光動向調査結果について」のPDFで一度試していたのだけども: （出典） 神戸市Webサイトの「観光に関する統計・調査」のページ 上記にある「令和5年度 神戸市観光動向調査結果について」のPDF 日本語でも、概ね問題なく、表などもきれいにパースされる ただし、表が画像 になってる場合に、うまく解釈されない（表は解釈されるが、中の文字が化ける） OCRが正しくできていない可能性 というのがあって、ドキュメント読んだけどわからなくて、それ以上深追いしてなかった。 ただ、X界隈を見る限りは評判は良さそうで、いろいろ記事も出てきたみたいなので、改めて試してみる。 GitHubレポジトリ ドキュメント Docling Doclingは、ドキュメントを解析し、簡単かつ迅速に希望の形式にエクスポートします。
Dockerで構築する機械学習環境【2024年版】
Dockerを使った機械学習環境の構築方法 株式会社松尾研究所で働いているからあげ（@karaage0703）です。松尾研究所では、機械学習（ここでは、予測モデル、画像認識からLLMまで幅広く扱います）を使う多数のプロジェクトが走っています。プロジェクトの特性は多種多様なので、環境構築方法は様々なのですが、松尾研究所では、環境構築方法の1つとしてDockerを推奨していています。今回はDockerを使った機械学習環境の構築方法を紹介します。 松尾研究所の特にインターン生を想定した記事にはなりますが、他の組織、個人の方にも参考になる部分があるかと思いWebに広く公開させていただきます。 なぜDockerで機械学習環境を構築するのか？ 具体的な手法に入る前に、まずはDockerで機械学習環境を構築する理由から説明したいと思います。説明が不要な方はここはスキップしてもOKです。 そのために、Do
もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし
はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール
自律型AIソフトウェアエンジニア「Devin」発表。課題から情報収集して環境構築・ビルド・デプロイまで | テクノエッジ TechnoEdge
ITジャーナリスト／Publickeyブロガー。IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。 AIスタートアップのCognitionは、自律型のAIソフトウェアエンジニア「Devin」を発表しました。 Devinは人間が課題を与えると、自律的に情報を参照し、コーディングやデバッグ、デプロイを行い、システム構築を実現するAIソフトウェアエンジニアだと説明されています。 Cognition AI CEOのScott Wu氏以下はデモ動画からのキャプチャです。 Devinは人間のソフトウェアエンジニアと同様に、自身のコンソール画面（右上）、コードエディタ（右下）、Webブラウザ（左下）を持っています（左上は人間とチャットでやり取りする領域）。 人間がプロンプトで何らかの課題を与えると、まず課題解決のためのプランを生成します。 今回、Dev
画像・PDF・TXT・メールなどの中身を読み取って検索できるようにするオープンソースのドキュメント整理ツール「Teedy」レビュー
Teedyはさまざまな種類のファイルの中身を読み取って検索できる状態にしてくれるドキュメント整理ツールです。受信したメールを自動で取り込む設定もできるとのことなので、実際にセルフホストして使い勝手を確かめてみました。 sismics/docs: Lightweight document management system packed with all the features you can expect from big expensive solutions https://github.com/sismics/docs TeedyのインストールにDockerを利用するので、下記のリンクから自分の環境に合った方法でDockerをインストールします。 Install Docker Engine | Docker Documentation https://docs.docker.com
なぜタヌキなのか? その謎は謎のままだが、とにかく日本語性能がGemini1.5Proに次ぎ、少し前のGPT-4よりも高い上に商用利用可能という太っ腹仕様なので使わない手はない。むしろこれさえあればもう誰もGPTに課金しなくて済む、そんな未来が来るのかもしれない。 しかし、Tanukiは特殊な何かをしてるらしくMLXに簡単にコンバートできずvllmで動かすときもちょっと魔改造したvllmが必要になるという。 最近ローカルづいてる吾輩としてはできればMLXで動かしたいのだがMLXがまだTanukiに対応してない(し、そもそも何をすればTanuki対応にできるのかよくわからない)ので、とりあえず「非推奨」とされてはいるものの、Macでもギリギリ動きそうなGGUF版を動かしてみた。 from llama_cpp import Llama filename = "Tanuki-8B-dpo-v1.
M1MacでOllamaを試したら爆速で驚いた
はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック： Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけるようになりました。 ずっと気になっていたのでついに私のM1 Macでも動くかどうかやってみました！ 結論、爆速で推論できていたのでとても驚きました。OSS開発に感謝です！ Ollamaとは OllamaとはローカルでLLMを動かすことができるアプリケーションです。 以下からダウンロードできます。 MacOSとLinuxで使うことができます。Windowsもプレビュー版があるみたいです。 #いざ推論 ダウロードができたらシ
俺が考える最強の「麻雀点数申告練習アプリケーション」を作ってみる ~ Pythonによる麻雀点数計算問題の自動生成と音声による点数申告 ~ - エムスリーテックブログ
こちらはエムスリー Advent Calendar 2023 1日目の記事です。 Overview エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。趣味は麻雀でフリー雀荘で毎年200半荘以上打ちます。好きな麻雀プロは園田賢さんです。 麻雀を始めるときに一番の障壁になるのは点数計算ではないでしょうか？ 特に符計算が初心者の関門のようです。一方私のような初中級者でも突然のレアな点数申告にまごつくことがあります。 そこで、今回はその人に合った麻雀の点数計算問題(主に符計算が焦点となる問題)を生成して、自分で点数計算&点数申告の練習をする方法を探求したのでその紹介をします。麻雀用語が少しだけ登場するので、対象読者は麻雀を少しでもかじったことのあるエンジニアの方です。 Overview 麻雀の点数計算の難しさ 現状の点数計算の練習
はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に役立てたいと思うが、筆者の場合、なかなか上手くいかない。自分の外部記憶を紐解いてみると、記録したことすら忘れてしまっている項目が大半である。本稿では、ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介する。決してベストプラクティス的な内容ではない。 自宅PC編 まずは、普段自宅で使用しているLinux PCを実験台として使えそうか試してみてから会社のサーバに適用してみることにする。 第一の要件は、ローカル環境で動作することである。情報の性質によ
わずか4GBの実行ファイル1つで大規模言語モデルによるAIを超お手軽に配布・実行できる仕組み「llamafile」をWindowsとLinuxで簡単に実行してみる方法
「llamafile」は大規模言語モデルのモデルやウェイトの情報が1つの実行ファイルにまとまった形式のファイルです。Linux・macOS・Windows・FreeBSD・NetBSD・OpenBSDという6つのOS上でインストール不要で大規模言語モデルを動作させることが可能とのことなので、実際にWindowsおよびLinuxディストリビューションの1つであるDebian上で動かしてみました。 Mozilla-Ocho/llamafile: Distribute and run LLMs with a single file. https://github.com/Mozilla-Ocho/llamafile#readme Introducing llamafile - Mozilla Hacks - the Web developer blog https://hacks.mozilla
大規模言語モデルをフルスクラッチする練習 (環境構築ー前処理ー事前学習ーファインチューニングー評価まで)｜Kan Hatakeyama
はじめに以下のオープンなプロジェクトの一環で､大規模言語モデルをフルスクラッチで作る練習をします｡24年3月現在､協力者も募集中です｡ リポジトリ当該プロジェクトの標準コードが公開※されたので､それを走らせてみます｡ ※24/3/5時点で､まだレポジトリ内に､工事中の箇所が多々､あります｡ このリポ上では､事前学習ー事後学習ー評価まで､一気通貫(?)したパイプラインが提供されています※｡ 0. 環境構築プロジェクトの本番環境はクラウドですが､今回は手持ちのubuntuを使います｡ Dockerはお手軽な一方で､スパコン上で使うと､どうやら速度が落ちるらしいとの噂を聞いたので､condaで作ります(とはいえ､pipしか使わないので､pyenvでもいけると思います)｡ 必要なマシン適当なlinux: 例えばUbuntu 22.04.3 LTS GPU: 20 GBくらいは欲しいかも? ディスク
Apple A4チップやAMD Ryzenの生みの親であるジム・ケラー氏がNVIDIAのCUDAとx86アーキテクチャを「沼」と呼んで批判
AMDのAthlonやZenマイクロアーキテクチャ、Apple A4などさまざまなチップの開発に携わったアーキテクトでエンジニアのジム・ケラー氏が、X(旧Twitter)で「NVIDIAのCUDAは沼です」と批判したことが報じられています。 Jim Keller criticizes Nvidia's CUDA, x86 — 'Cuda’s a swamp, not a moat. x86 was a swamp too' | Tom's Hardware https://www.tomshardware.com/tech-industry/artificial-intelligence/jim-keller-criticizes-nvidias-cuda-and-x86-cudas-a-swamp-not-a-moat-x86-was-a-swamp-too ケラー氏の経歴は以下の記事を
AI分野でのNVIDIA一強状態を崩すためにIntel・Google・富士通・Armなどが参加する業界団体がCUDA対抗のAI開発環境を構築中
NVIDIAはAI開発に使われるGPUで大きなシェアを獲得しているほか、ソフトウェア開発および実行環境「CUDA」もAIの開発現場で広く採用されています。そんなNVIDIAの一人勝ち状態に対抗するべく、Intelや富士通、Google、Armなどのテクノロジー企業が参加する業界団体「Unified Acceleration Foundation(UXL Foundation)」がオープンなソフトウェア開発環境の構築を進めています。 UXL Foundation: Unified Acceleration https://uxlfoundation.org/ Unified Acceleration (UXL) Foundation https://www.intel.com/content/www/us/en/developer/articles/news/unified-accelera
Continueというコーディング支援AIツールの紹介です。 コーディング支援AIツール・サービスとしてはGitHub Copilotが有名で、次いでCursorやCodeiumあたりが話題性のあるところかと思います。Publickeyに2024年3月時点での情報がまとまっています。 Continueはそれらと比べて知名度は劣りますが以下のような特徴があり、うまく使いこなせば有力な選択肢になると考えています。 ツール本体がオープンソースである Visual Studio CodeとJetBrains IntelliJ IDEAの拡張機能がApache License, Version 2.0で提供されています 言語モデルは自分で選ぶ Continueではコード補完用とチャット用で二つの言語モデルを利用しますが、そこでどの言語モデルを選ぶかは利用者側に任されています Continueを開発し
1BitLLMの実力を見る｜shi3z
1BitLLMは本当に実現可能なのか?そして、実現されると予告されていることに意味はあるのか? ようやく再現実装に成功した人が現れたので僕も試してみた。 ちなみに1Bit(1.58bit) LLMについての考察はこのページが面白いので一読をお勧めする。 ただし、普通のHuggingFaceのお作法とはかなり違うので注意が必要。 まず、このHuggingFaceリポジトリを丸ごとgit cloneする $ git lfs install $ git clone https://huggingface.co/1bitLLM/bitnet_b1_58-3B $ cd bitnet_b1_58-3Bこれをやらずにいつもの凡例みたいにいきなりpipelineに読み込もうとすると謎のエラーが出て悩まされることになる。海外でも悩んでる人が何人もいるみたいだ。まあ個人的には「こんな説明で誰がわかる?」と思
Llama 3.2 の使い方｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Llama can now see and run on your device - welcome Llama 3.2 1. Llama 3.2 Vision 11B・90B1-1. Llama 3.2 Vision 11B・90B「Llama 3.2 Vision 11B・90B」は、Metaがリリースした最も強力なオープンマルチモーダルモデルです。画像+テキストのプロンプトでは英語のみ、テキストのみのプロンプトでは英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語をサポートしています。 コンテキスト長は128kトークンで、画像を含む可能性のある複数ターンの会話が可能です。ただし、モデルは単一の画像に注目する場合に最適に機能するため、transformers実装では入力で提供された最後の画像のみに注
NVIDIAが、GPU向けのコンピューティングプラットフォームとして提供している「CUDA」のソフトウェア利用許諾契約(EULA)の中で、翻訳レイヤーを通じてNVIDIA以外のハードウェアプラットフォームで実行することを禁止していることがわかりました。もともとこの条項はNVIDIAのサイト上で公開されているオンライン版のEULAには含まれていましたが、インストールしたCUDAのドキュメントにも含まれるようになったとのことです。 License Agreement for NVIDIA Software Development Kits — EULA https://docs.nvidia.com/cuda/eula/index.html Nvidia bans using translation layers for CUDA software — previously the prohi
RAGの処理で、リランクとベクトル検索でできることの違いを検証／解説してみる - Taste of Tech Topics
こんにちは。テニスしすぎて日焼けがすごいSsk1029Takashiです。 私は普段、生成AIを活用したRAGソリューションの開発をしているのですが、RAGでは特に検索部分の調整が重要になります。 今回はその検索の中で出てくるリランクに焦点を当てて、ベクトル検索と比較してどのような特徴があるのかというところを、検証を交えて解説していきます。 概要 RAGの検索部分では、よくベクトル検索が利用されます。 理由としては、入力が基本的に質問形式になりキーワードで入力されることが多い通常の検索よりも適している、などいくつか考えられます。 ただし、実際にRAGを試してみるとわかりますが、RAGシステムではベクトル検索だけでは検索精度の面で苦労することも多いです。 そこで解決方法の一つとして考えられているのが、ベクトル検索とリランクとの併用になります。 今回は、なぜRAGはベクトル検索だけだと苦労が多
Neural Audio Codec を用いた大規模配信文字起こしシステムの構築 - Mirrativ Tech Blog
こんにちは ハタ です。 最近Mirrativ上に構築した配信の文字起こしシステムを紹介したいなと思います 音声からの文字起こしは、各社SaaSでAPI提供されているものがあると思いますが、今回紹介するものはセルフホスト型(自前のGPUマシンを使う)になります 構築していく上で色々試行錯誤したのでそれが紹介できればなと思っています どんなものを作ったか 前提知識: 配信基盤 前提知識: Unix Domain Socket Live Recorder Archiver DS Filter VAD Filter NAC / Compress Transcriber NAC / Decompress Speach To Text コンテナイメージ まとめ We are hiring! どんなものを作ったか 今回作ったものは Mirrativで配信されるすべての音声を対象に文字起こしを行う シス
ついに来るのか!?拡散言語モデル｜shi3z
我々が単に「言語モデル」といった場合、それはTransformerモデルを指す。Transformerモデルは、ChatGPTやGemini、Claude-3、Command-R+などで使われている。 最近はMambaのような状態ステートマシンの言語モデルも出てきた。そしてもしかしたら今後はここに、拡散ディフュージョンモデルが加わるのかもしれない。 拡散モデルで有名なのは、StableDiffusionで、主に画像生成に使う。 実は画像生成は最初はTransformerだった。OpenAIのDALL-Eは、Transformerとして画像生成を行なった。しかしTransformerには明らかな欠点があり、それはあまりにも膨大な計算量が必要なことだ。 Transformerの事前学習プリトレーニングには、今でも天文学的な計算資源が必要だし、微調整ファインチューニングにも今なお膨大な計算機が必
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由という記事を書きました。 mutaguchiさんのツイートを見て、LLMプロダクトの開発とはどういうものなのかを知らない人も多いのかなと気づいたので、そこらへんを記事として書いてみます。 https://t.co/4WvjuuoGnC 「LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由」の記事のはてブコメント見てたんだけど、ほとんど理解されてなかったのが興味深い。 ・プロプライエタリなLLMでは、ランニングコストが嵩み、これを利用したサービスは成立しづらい… — mutaguchi (@mutaguchi) April 24, 2024 商用LLM APIとローカルLLMって使い方が全然違う気がしてる。 商用LLM APIって、機微情報を送らないこと、規約違反テキストを送らないこ
独断と偏見でまとめる2024年10月現在ゼロから学んで今から生成モデルをコーディングできるために必要な知識集 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 所属大学にて9月に1日で機械学習なんもわからん状態から生成モデルを組めるようになろうというワークショップをした。普通に考えて参加者側の視点に立ったら無理なんだが, まあとにかくそういうイベントをやった。やってみたところ, 「何話してるのかわからん」という感想が多く大絶賛だった(反省しています)。 ただワークショップ中にきた質問が結構自分も最初のころは躓いたところだな〜〜というものも多く, ワークショップ中にきた質問点をまとめていけば案外生成AIをフルスクラッチで作れる技術者になるためのTips集が作れるのではないかと思い, この記事を書
コードなしでWeb3コンテンツなどを開発することができるプラットフォーム・thirdwebの創設者であるadammaj氏が、「経験なしで2週間でゼロからGPUを構築した」と報告しています。 I've spent the past ~2 weeks building a GPU from scratch with no prior experience. It was way harder than I expected. Progress tracker in thread (coolest stuff at the end)👇 pic.twitter.com/VDJHnaIheb— adammaj (@MajmudarAdam) April 25, 2024 ◆ステップ1：GPUアーキテクチャの基礎を学ぶ adammaj氏はまず、最新のGPUがアーキテクチャレベルでどのように機能してい
Supercomputing Contest 2013/GPUプログラミング資料 - Supercomputing Programing Contest Official Site
2024-08-19 MenuBar 2024-08-05 Supercomputing Contest News News/sc240731 2024-07-31 SupercomputingContest2024 2024-07-03 News/sc240703 SupercomputingContest2024/予選結果 2024-06-26 News/sc240626 2024-06-20 SupercomputingContest2024/予選・認定問題Ｑ＆Ａ 2024-06-05 News/sc240605 News/sc240605-2 2023-09-13 SupercomputingContest2023 2023-09-06 News/sc230906 2023-09-01 News/sc230830 2023-08-28 News/sc230828 Supercomp
PCユーザーの84％はAIを強化するPCの購入に否定的
AIの進歩によってお絵かきソフトやカメラ、メモアプリなどさまざまなソフトウェアにAIが統合されるようになり、さらにAI処理に特化したプロセッサ「NPU」が登場し、MicrosoftなどいくつかのPCメーカーはNPUを搭載してAIを効率的に使えるとうたうPCを発表するなどPCとAIの連携が強化されつつあります。こうしたAI機能を備えたPCについて問うた調査に、84％の人が「お金を費やすつもりはない」と答えたことがわかりました。 Would you pay more for hardware with AI capabilities? | TechPowerUp Forums https://www.techpowerup.com/forums/threads/would-you-pay-more-for-hardware-with-ai-capabilities.322454/ Poll s
イギリスのスタートアップ「Spectral Compute」社がCUDAのプログラムを全く変更することなくAMD製GPUで実行できるようにコンパイルするツールキット「SCALE」を開発したと発表しました。 SCALE GPGPU Programming Language https://scale-lang.com/ Announcing the SCALE BETA https://scale-lang.com/posts/2024-07-12-release-announcement Spectral ComputeのCEOであるマイケル・ソンダーガード氏は「一度コードを記述すればあらゆるハードウェアプラットフォームでビルド・実行できるべき」「CPUでは長年実現されてきたのに、なぜGPUでは実現できないのか？」とSCALEの開発に至った経緯を説明。 SCALEはNVIDIAのCUDAツ
AI時代に一人勝ち。NVIDIAの「CUDA」がIntelやAppleを蹴散らし業界の“実質的なスタンダード”になった背景を中島聡が徹底解説 - まぐまぐニュース！
空前のAIブームの中にあって、その開発の現場で「一人勝ち」とも言うべき圧倒的なシェアを誇っているNvidia（エヌビディア）のGPU向け開発環境「CUDA」。IntelやAppleといったライバルたちを尻目に、いかにしてCUDAはトップに登り詰めたのでしょうか。今回のメルマガ『週刊 Life is beautiful』では世界的エンジニアとして知られる中島聡さんが、CUDA誕生の経緯から業界の「事実上の標準」となるまでを詳しく解説。さらにMicrosoftが5月20日に発表した「Copilot+PC」に関して、中島さんが注目したポイントを記しています。 ※本記事のタイトル・見出しはMAG2NEWS編集部によるものです／原題：NvidiaのCUDAが今の地位を築いた経緯 プロフィール：中島聡（なかじま・さとし） ブロガー／起業家／ソフトウェア・エンジニア、工学修士（早稲田大学）／MBA（ワシ
生成AIグラビアをグラビアカメラマンが作るとどうなる？第17回：新技術をすぐ試せるComfyUIのインストール・使いかた (西川和久) | テクノエッジ TechnoEdge
ComfyUIが流行ってる？Stable Diffusionで生成AI画像を作る時、もっとも一般的なインターフェースはAUTOMATIC1111だろう。デファクトスタンダードと言ってもいいほどで、検索すると、インストール方法や使い方など、それこそ山盛り出てくる。 ところが最近、ComfyUIがちょっとした人気だ。以前軽くご紹介したが、カスタムNodeを組み合わせ自由にWorkflowを構築できる結構マニアックなアプリなのに何故？ ComfyUI。カスタムNodeを接続してWorkflowを作る…と結構マニアックなアプリ。これは筆者が日頃使っているWorkflowの1つこれには理由があり、12月頃から以降、Stable Video Diffusion、Kohya's HiresFix、SDXL Turbo、LCM、FaceID、PhotoMaker、InstantID、様々なControlN
1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい！ しかしながら、コンシュマー向けのGPUにおいては、7B
こんにちは。電通総研コーポレート本部システム推進部の山下です。 最近はChatGPTなどのLarge Language Model(LLM)を利用したAIが話題ですね。 そのLLMを応用したRetrieval-Augmented Generation(RAG)という技術があります。 これは、LLMに文書検索などを用いて関連する情報を与えて回答させることで、 LLMが知識として持っていない内容を回答させたり誤った情報を答えてしまうハルシネーションを抑止する技術です。 今回はこのRAGをLlamaIndexというライブラリを使ってローカル環境で実装する方法について紹介します。 なぜローカル環境でLLMを利用したいのか 大変便利なツールのLLMですが、利用が難しいこともあります。 例えば、機密情報を取扱いたい、外部インターネットへの接続に制限が掛かっているといった場合です。 最終的にOpenAI
次期最強GPU｢RTX 5090｣が、いろいろとヤバそうな件について2024.07.23 08:00130,056 武者良太 グラフィックの処理能力がヤバそう。そして価格も。 2024年末から2025年の3月までに、Nvidia（エヌビディア）の新しいGPU｢GeForce RTX 50｣シリーズが発売されるだろうというリーク情報が増えてきました。Dexertoの記事によれば、最初にリリースされるのはRTX 5090だ、いやRTX 5080だと、リーカーによって予想が異なっていますが、2022年のRTX 40シリーズ同様、まずはハイエンド寄りのモデルから発売するという流れは変わらないみたい。 ともあれ生成AIトレンドとともに重視されているNPUではなく、純粋なGPUの最新型となるRTX 50シリーズのなかでも頂点となるRTX 5090に期待している方も多いでしょう。いったいどんな性能を持っ
線画から疑似3D画像を出力するアプリ『Line2Normalmap』&それをライティングするアプリ『NormalmapLighting』公開！｜とりにく
2024/04/06フリー公開しました！！！ 新しいアプリを作ったので機能の紹介です。こちらのアプリは現在（2024/4/3時点）でfanboxのみで公開（ソースコード自体はgithubで公開）しています。 3日後の2024/04/06にはフリー公開しますので、それまでお待ちください。 【DL先】https://drive.google.com/file/d/1_LPHAFgs4lzDYGdZmv23aVDiTMnV9Y3t/view?usp=sharing ファンボックスで支援者様にのみ先行公開しています！ 【モデル開発協力者様】月須和・那々 (2vXpSwA7)様 【必要スペック】理論上、CUDAに対応したGPU搭載PCなら動きます。 むしろどのスペックなら動くのか教えてください。 自分の環境だと、ゲーミングノートPC AMD Ryzen 7 5800HS 16GB 512GB RTX
驚くほどキレイな三次元シーン復元、「3D Gaussian Splatting」を徹底的に解説する - Qiita
はじめに 最近、3D業界で大きな衝撃を与えた「3D Gaussian Splatting」1について、ご存知でしょうか？数少ない写真から、目を奪われるほど美しい三次元シーンを再構成できるデモを見て私も大感動しました。なぜこんなに美しいのか、どんな技術で実現したのか、興味が湧いています！ "普通の3D物体ではなく、カメラの移動に合わせて、水面に映る景色も正確に表現しています。これはなかなか凄い..." 私も時間をかけて論文や公開されたコード2を勉強しました。本家の実装はCUDA化されており、難解な部分が多く、論文に書かれていないこともあります。そのため、「3D Gaussian Splatting」を勉強したい人にむけ、わかりやすい解説記事を書こうと思いました。単に概念や考え方だけでなく、ゼロから再実装できるように、すべてのロジックを数式として整理し、徹底的に解説しようと思います。 「3D
WindowsでGPUを使った機械学習をするためにCUDA、Pytorch、TensorFlow環境を整える - Qiita
この記事はなにか せっかく強いPCがあるならGPU使ってこうぜ！ってことでWindowsでPythonのCUDA機械学習環境を整えたので、私自身の備忘録がてら、まとめておきます。 いろいろ試したけど、つまづいた方、これならうまくいってほしい！！ (私自身もめちゃめちゃつまづいたので...) 構築するもの scoop: Windows向けのパッケージマネージャーで、コマンドラインを通じてソフトウェアを簡単にインストール・管理できるツール Python: 俺たちのPython CUDA: NVIDIA製GPU向けの並列計算プラットフォームおよびAPI cuDNN: NVIDIAが提供するディープラーニング向けのGPUアクセラレーションライブラリで、CUDAと連携して動作 Pytorch: 機械学習と深層学習のフレームワーク TensorFlow: Googleが開発したオープンソースの機械学習
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mac やめて Linux PC を自作した - IT戦記
ITが面白い時代はすでに終わっているし変化も遅くなった - きしだのHatena
AIでラフを線画に整えるだけの無料webアプリ『sketch2lineart』公開｜とりにく
ドキュメントをMarkdownやJSONに変換してくれる「Docling」を試す
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti
【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
【これがゲームチェンジャーか!】松尾研のTanuki-8BとTanuki-8x8Bを試す｜shi3z
ローカルLLMとRAGで自分の外部記憶を強化しよう - VA Linux エンジニアブログ
コーディング支援AIツールContinueの紹介と構成例 - Qiita
NVIDIAがCUDAを他のハードウェア上で実行することを禁止
LLMプロダクト開発とはどういうものなのか？｜erukiti
「ゼロからGPU開発」に経験なし＆わずか2週間で成功した猛者が登場
CUDAのコードを全く変更せずにAMD製GPU向けにコンパイルできるツールキット「SCALE」が登場
LlamaIndexを使ってローカル環境でRAGを実行する方法 - 電通総研 テックブログ
次期最強GPU｢RTX 5090｣が、いろいろとヤバそうな件について