ローカルLLMとRAGで自分の外部記憶を強化しよう - VA Linux エンジニアブログ
はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に役立てたいと思うが、筆者の場合、なかなか上手くいかない。自分の外部記憶を紐解いてみると、記録したことすら忘れてしまっている項目が大半である。本稿では、ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介する。決してベストプラクティス的な内容ではない。 自宅PC編 まずは、普段自宅で使用しているLinux PCを実験台として使えそうか試してみてから会社のサーバに適用してみることにする。 第一の要件は、ローカル環境で動作することである。情報の性質によ
NVIDIAがオープンソースのGPUカーネルモジュールに完全移行予定であることを発表
GPU関連のカーネルモジュールをすべてオープンソースに移行するとNVIDIAが発表しました。NVIDIA Grace HopperやNVIDIA Blackwellなど最先端のモジュールは今後オープンソースのカーネルモジュールのみがサポートされます。 NVIDIA Transitions Fully Towards Open-Source GPU Kernel Modules | NVIDIA Technical Blog https://developer.nvidia.com/blog/nvidia-transitions-fully-towards-open-source-gpu-kernel-modules/ NVIDIA Promotes Their Open-Source GPU Kernel Driver Support - Phoronix https://www.phor
「NVIDIA最新GPUの20倍速い」史上最速を謳うAIチップ「Sohu」
米AIスタートアップ「Etched」は6月25日（現地時間）、ChatGPTなど最新のAI技術の基盤となっている「Transformer」アーキテクチャーに特化したチップ「Sohu」を発表した。この発表は、現在NVIDIAが支配的な地位を占めるAIチップ市場に、新たな競争をもたらす可能性がある。 Transformer処理に特化 AIチップ市場は現在NVIDIAが圧倒的なシェアを持つ。同社の汎用GPUは様々なAIモデルを効率的に処理できる柔軟性から市場の約80%を占めている。 多くの大手テクノロジー企業がAI開発のためにNVIDIAのチップに数十億ドルを投資しているのが現状だ。 Etchedの「Sohu」は、ASIC（Application-Specific Integrated Circuit：特定用途向け集積回路）と呼ばれる、特定の用途に最適化された集積回路だ。汎用性は低いものの、特定
中島聡さん、NVIDIAのGPUが用済みになるって本当ですか？AI開発の行列乗算をなくす｢MatMul-free LM｣で気がかりなこと - まぐまぐニュース！
エヌビディアの強みであるGPUの優位性を揺るがすかもしれないAI関連の注目論文とは？人気急上昇中のメルマガ『週刊 Life is beautiful』より読者Q&Aをご紹介。著者の中島さんは「Windows95の父」として知られる日本人エンジニア。メルマガでは毎号、読者からの質問に丁寧に回答しています。 ※本記事のタイトル・見出しはMAG2NEWS編集部によるものです プロフィール：中島聡（なかじま・さとし） ブロガー／起業家／ソフトウェア・エンジニア、工学修士（早稲田大学）／MBA（ワシントン大学）。NTT通信研究所／マイクロソフト日本法人／マイクロソフト本社勤務後、ソフトウェアベンチャーUIEvolution Inc.を米国シアトルで起業。現在は neu.Pen LLCでiPhone/iPadアプリの開発。 1ビットの高速推論AIチップ 米国より先に中国が開発する可能性も 読者からの質
Intel Core Ultra搭載のMSI初のポータブルゲーミングPC「Claw A1M」のベンチマーク結果をまとめてみた
7インチのフルHDディスプレイ搭載ボディに、CPUとしてIntelのCore Ultraプロセッサを採用した、MSIとして初のポータブルゲーミングPC「Claw A1M」が登場したので、フォトレビューに続いて、いろいろなベンチマークを行ってみました。 MSI初のポータブルゲーミングPC「Claw A1M」誕生！ https://jpstore.msi.com/html/page74.html 端末の外観情報などは以下のフォトレビュー記事を参考にしてください。 7インチ画面にUltra 7プロセッサ搭載のポータブルゲーミングPC「Claw A1M」フォトレビュー - GIGAZINE ◆スペック確認 まずは「CPU-Z」でCPU情報を確認。搭載CPUは「Intel Core Ultra 7 155H」で、16コア・22スレッドです。 続いてGPU-ZでGPU情報を確認。CPU内蔵GPUの「I
Zenbook 14 OLEDでみるCore Ultra内蔵GPUのゲーミング性能。内蔵GPUのレイトレ性能はどのくらい？（西川善司のバビンチョなテクノコラム） | テクノエッジ TechnoEdge
テクニカルジャーナリスト。東京工芸大学特別講師。monoAI Technology顧問。IT技術、半導体技術、映像技術、ゲーム開発技術などを専門に取材を続ける。スポーツカー愛好家。 Core Ultra搭載のノートPCのサンプル評価機が我が家にやってきた。 モデル名はASUS「Zenbook 14 OLED UX3405」。 西川Zen司という名前でありながら、ASUSのZenbookを実際に自宅で触るのは初めてのことである（Ry"Zen"の方は初代から愛用してはいたが）。 本機の搭載CPUは、Core Ultra 7 155Hで、ラインアップ上の中間グレードに位置するモデルとなる。 搭載CPUはCore iシリーズではなく、Intelが昨年末から投入を開始した新シリーズ「Core Ultra」を採用。本機は、いわゆるIntelが2024年以降に強力に推進する「AI PC」だ。 わざわざ「
NVIDIA製ワークステーションGPU搭載＆メモリを簡単に交換できるノートPC「ThinkPad P1 Gen 7」をLenovoが発表
Lenovoが2024年4月23日にモバイルワークステーション「ThinkPad P1 Gen 7」を発表しました。ThinkPad P1 Gen 7はLPCAMM2規格のメモリを搭載しており、簡単にメモリを交換できるのが特徴です。 Lenovo Unveils Its New AI-Ready ThinkPad P1 Gen 7 Mobile Workstation - Lenovo StoryHub https://news.lenovo.com/pressroom/press-releases/lenovo-unveils-its-new-ai-ready-thinkpad-p1-gen-7-mobile-workstation/ ThinkPad P1 Gen 7はCPUにIntel Core Ultraを採用し、GPUはゲーミング向けのNVIDIA GeForce RTX 40シ
神様。ちょい古なノートPCでゲーミング＆生成AIの夢を見たいのですが
神様。ちょい古なノートPCでゲーミング＆生成AIの夢を見たいのですが2024.03.30 18:0023,795 武者良太 そのお願い。叶えてくれるのですか神様。 写真だけ見ると、ちょっと？いやかなり大きな多機能USBハブ。しかしこのハコのなかには、Radeon RX 7600M XTが入ってる。 AMD入ってる！ つまるところこの｢GPD G1 2024｣はeGPUこと外付けGPUボックスです。モバイル用GPUを使うことで、レンガみたいなデカさの外付けGPUボックスからSwitchサイズにまでダイエットできたんですね。 Image: リンクスインターナショナル計測の仕方によっても変わるけど、Radeon RX 7600M XTはRTX 3060 Mobile～RTX 4060 Mobileくらいのパワーを持ってるGPU。そいつをこーしてこーやって小さめのハコに入れちゃった。使い勝手、よさ
NVIDIAが数兆パラメータ規模のAIモデルを実現するGPUアーキテクチャ「Blackwell」と新GPU「B200」を発表
NVIDIAが技術カンファレンス「GTC 2024」の中で、2年ぶりの新たなGPUアーキテクチャ「Blackwell」と、BlackwellアーキテクチャベースのGPU「B200」を発表しました。Blackwellにより、あらゆる組織がコストとエネルギー消費を25分の1に抑え、数兆パラメータの大規模言語モデル(LLM)によるリアルタイム生成AIを構築・実行可能になるとNVIDIAは述べています。 生成 AI のための Blackwell アーキテクチャ | NVIDIA https://www.nvidia.com/ja-jp/data-center/technologies/blackwell-architecture/ Blackwellアーキテクチャは、2022年に発表されたHopperアーキテクチャの後継です。名前は、アメリカ科学アカデミーにアフリカ系アメリカ人として初めて殿堂入り
エヌビディア、ＡＩ向け次世代チップ「ブラックウェル」発表
米半導体メーカー、エヌビディアのジェンスン・フアン最高経営責任者（ＣＥＯ）は18日、人工知能（ＡＩ）コンピューティングにおける同社の支配的地位をさらに強固にすることを目指した次世代チップを披露した。同社はこうした地位により時価総額が２兆ドル（約300兆円）を突破し、マイクロソフトとアップルに次ぐ世界３位となっている。 「ブラックウェル」と名付けられた新たなプロセッサーデザインはＡＩを支えるモデルの処理が数倍速くなると、同社はカリフォルニア州サンノゼで開幕した画像処理半導体（ＧＰＵ）テクノロジーのイベント「エヌビディアＧＴＣ」で発表した。これには「トレーニング（学習）」として知られるテクノロジー開発と、「インファレンス（推論）」と呼ばれる活用のプロセスが含まれる。
「NVIDIA H100 GPU」を2万4576基搭載して「Llama 3」などのトレーニングに活用されているGPUクラスターの情報をMetaが公開
「AI開発をリードするということは、ハードウェアインフラへの投資でリードするということ」として、MetaがAIのための投資として行っている、2万4000基以上のGPUを搭載したデータセンタースケールのクラスターの情報を明らかにしました。 Building Meta’s GenAI Infrastructure - Engineering at Meta https://engineering.fb.com/2024/03/12/data-center-engineering/building-metas-genai-infrastructure/ Meta reveals details of two new 24k GPU AI clusters - DCD https://www.datacenterdynamics.com/en/news/meta-reveals-details-o
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
3万円以下のビデオカードでゲームを遊ぶことができるか？GPU 11種類×ゲーム10本で実力を検証する 【新装第3回】端境期の今だからこそ見きわめたい格安カードとの付き合い方 text by “KTU”加藤 勝明
低価格ゲーミングPC自作の最適解が見えた！Ryzen 7 5700X3D/5700Xの10～13万円プランで徹底ベンチ 【第7戦】エントリー～ミドルGPUに3D V-Cacheは効くのか!? text by 芹澤 正芳
NVIDIA、時価総額Apple抜き世界2位 3兆ドル超え - 日本経済新聞
【特集】 CPUやGPUの発熱や電力をカットする方法
【西川和久の不定期コラム】 USB4接続のGeForce RTX 3090が突然認識されなくなったので、OCuLinkで復活させた話
GeForce RTX 4070搭載ゲーミングNUCなどASUS NUCが国内展開
初のIntel Core Ultra搭載ポータブルゲーミングPC「MSI Claw A1M」の実力をライブレポート！GPUボックスもつないでみます【4月2日(火)21時開始】
NVIDIA、1パッケージに2ダイの新型GPU「Blackwell」。AI性能は学習4倍、推論30倍に
【西川和久の不定期コラム】 5万円台で生成AIに理想的なVRAM 16GBの「Intel Arc A770」でStable Diffusionが使えるか試してみた
