ローカルLLMとRAGで自分の外部記憶を強化しよう - VA Linux エンジニアブログ
はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に役立てたいと思うが、筆者の場合、なかなか上手くいかない。自分の外部記憶を紐解いてみると、記録したことすら忘れてしまっている項目が大半である。本稿では、ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介する。決してベストプラクティス的な内容ではない。 自宅PC編 まずは、普段自宅で使用しているLinux PCを実験台として使えそうか試してみてから会社のサーバに適用してみることにする。 第一の要件は、ローカル環境で動作することである。情報の性質によ
「NVIDIA最新GPUの20倍速い」史上最速を謳うAIチップ「Sohu」
米AIスタートアップ「Etched」は6月25日（現地時間）、ChatGPTなど最新のAI技術の基盤となっている「Transformer」アーキテクチャーに特化したチップ「Sohu」を発表した。この発表は、現在NVIDIAが支配的な地位を占めるAIチップ市場に、新たな競争をもたらす可能性がある。 Transformer処理に特化 AIチップ市場は現在NVIDIAが圧倒的なシェアを持つ。同社の汎用GPUは様々なAIモデルを効率的に処理できる柔軟性から市場の約80%を占めている。 多くの大手テクノロジー企業がAI開発のためにNVIDIAのチップに数十億ドルを投資しているのが現状だ。 Etchedの「Sohu」は、ASIC（Application-Specific Integrated Circuit：特定用途向け集積回路）と呼ばれる、特定の用途に最適化された集積回路だ。汎用性は低いものの、特定
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
NTT版大規模言語モデル「tsuzumi」 | NTT R&D Website
近年、ChatGPTを始めとする大規模言語モデル*1に大きな注目が集まっておりますが、これらは膨大な知識をモデル内に有することで高い言語処理性能を示す一方、学習に要するエネルギーは、原発１基１時間分の電力量が必要*2とも言われており、また、運用には大規模なGPUクラスタを必要とし様々な業界に特化するためのチューニングや推論にかかるコストが膨大であることから、サステナビリティおよび企業が学習環境を準備するための経済的負担面で課題があります。 NTTでは、これらの課題を解決する研究開発を進め、今回、軽量でありながら世界トップレベルの日本語処理性能を持つ大規模言語モデル「tsuzumi*2」を開発しました。「tsuzumi」のパラメタサイズは6～70億と軽量であるため、市中のクラウド提供型LLMの課題である学習やチューニングに必要となるコストを低減します。「tsuzumi」は英語と日本語に対応し
自作PC2023: Ryzenをやめた - k0kubun's blog
Ryzenはゲーム用CPUとしては特に問題ないのだが、 ソフトウェア開発においてはIntelのCPUに比べて不便なポイントがいくつかある。 日々業務で使っていてあまりにもストレスが溜まるので、CPUをIntel Core i7に変更した。 このマシンは8年前に組んだ自作PC なのだが、使っていて不便を感じたパーツを差し替え続けた結果、 今回のアップデートで全てのパーツが当時とは違うものに変わったため、 それぞれ古い方のパーツで不便だったポイントなどを紹介したい。 仕事で使う自作PC 社内のサービスをいじる時は会社から貸与されているM1 MacBook Proを使うのだが、このマシンは不便である。 Rubyのビルドは自分のLinuxのマシンに比べ2倍以上遅いし、Reverse Debuggingができるデバッガが存在しないし、 慣れたツールであるLinux perfも使えないし、Podman
米国速報：Windows11が9月26日に「Copilot」を正式搭載で150を超える新機能＆新Surfaceも!
米マイクロソフトは、現地時間9月21日に発表会を開催し、26日にWindows11の最新アップデートをおこない、AIツール「Copilot」を正式に実装すると発表。同時にSurfaceの新モデルも公開した。 Copilotは、9月26日からWindows11への無料アップデートの一部として提供され、今秋には Bing、Edge、Microsoft 365 Copilot にも展開される。公開されるWindows11は150を超える新機能を備え、Copilotのパワーと、ペイント、フォト、ClipchampなどのアプリにAIを活用した新機能が加わる。 ○Copilotのプレビュー版は常にタスクバー上に表示されるか、Win+Cショートカットを使用して起動可能となる。 ○ペイントアプリでは、生成AIによるCocreatorのプレビューに加え、背景の削除とレイヤーが追加され、画像作成にAIが活用で
しっかり学ぶシェーダプログラミング【シェーダをさわる前に編】 - Qiita
はじめに こんにちは、@yoship1639と申します。最近ゲーム開発に勤しんでいます。 皆様、突然ですがシェーダをご存知でしょうか。 この記事を開くということは少なくともシェーダという言葉の意味を知っているはずです。 簡単に言うと「3Dプログラム上でのオブジェクトに対する色付け（陰影処理）」ですね。 最近はゲームエンジンのUnityとかUE4とかが普及して耳にする機会が多くなったのではないでしょうか。 次の質問です。 0からシェーダ書けますか？ 正しく理解できていますか？ 多分ほとんどの方が0からは書けないのではないかと踏んでいます。 なぜなら最新のシェーダに関する日本記事がほとんど見受けられないからです。 Physical Based Renderingが登場以降、ほとんど見かけなくなりました。 （ちなみに最新のシェーダはほぼ英語記事しかありません） ゲームエンジンが普及し手軽に高品質
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである
深層学習を勉強してリアルタイム映像表現に使ってみた話
深層学習を勉強してみたいと思った 動機は２つあって、単純に深層学習流行ってるからやってみたかった、というのと、今後グラフィックス技術を扱っていく際に深層学習は欠かせないものになりそうだと考えた、というのがありました。 例えば、最近 NVIDIA は深層学習を応用したノイズ軽減技術によってモンテカルロ系レンダラーのレンダリング時間を大幅に削減できるとしています。また、Turing 世代の GPU では深層学習を応用した超解像技術によって高解像度動作時のパフォーマンスを大幅に改善できるとしています。ただ僕には、これらの技術がどれほど効果的なものなのか、また本当に実用的なものなのか、判断することができませんでした。 このような深層学習技術の応用は今後様々な場面で進められていくことと思われますが、そういった技術を評価していくにあたって深層学習の基礎知識を備えておくことが必要になると感じています。
「CPU」「GPU」「NPU」「TPU」の違いを分かりやすく説明するとこうなる
AIの開発に欠かせない機械学習には、GPUやNPU、TPUなどの処理チップが用いられていますが、それぞれの違いは分かりにくいものです。そんなCPUやGPU、NPU、TPUの違いをGoogleやクラウドストレージサービスを展開するBackblazeがまとめています。 AI 101: GPU vs. TPU vs. NPU https://www.backblaze.com/blog/ai-101-gpu-vs-tpu-vs-npu/ Cloud TPU の概要 | Google Cloud https://cloud.google.com/tpu/docs/intro-to-tpu?hl=ja ◆CPUとは？ CPUは「Central Processing Unit」の略称で、PCでの文書作成やロケットの進路計算、銀行の取引処理など多様な用途に用いられています。CPUでも機械学習を行うこ
累計3.3億DL突破「ibisPaint」GPUベース、C++ワンソースを選んだ理由は？成功を支えた技術選定の裏側
株式会社アイビス 代表取締役社長 神谷 栄治 ソフトウェア技術者・経営者。2000年に「株式会社アイビス」を創業。フィーチャーフォン向けアプリの開発を経て、2011年にスマホ向けペイントアプリ「ibisPaint」をリリース。2023年現在も開発組織をリードしている 株式会社アイビスが提供する「ibisPaint（アイビスペイント）」は、高度な機能と使いやすさ、優れた安定性を兼ね備えたペイントアプリとして世界中のユーザーに愛されています。 リリースは2011年。当時からGPUベースで、開発言語にはC++を採用し、UIパーツやライブラリもすべて自社で制作しているという。ibisPaintの企画・設計・開発を一手に担った創業者の神谷栄治氏は「この技術選定が、現在のibisPaintの発展につながった」と語ります。 2011年当時のスマホアプリ開発において異例の技術選定の意図は？ 全世界での累計
ChatGPTで騒いでる場合じゃない。 AI研究者が｢FlexGen｣をゲームチェンジャーと呼ぶ理由
ChatGPTに世間が沸いている。 長年この分野を見てきた者としては｢ちょっと沸きすぎ｣のようにも見える。深層学習を使った会話ロボットは、何もChatGPTが初めてというわけではない。 ところが、世界中が驚かざるを得ないゲームチェンジャーが現れた。 その名も｢FlexGen｣と言う。2月15日に公開された。 特筆すべきは、FlexGenが、ChatGPTなどの大規模言語モデルを｢従来の100倍高速に動かせる｣上に、NVIDIA Tesla T4という、わずか16GBのメモリーしかないGPUでその性能を使えるということだ。 つまり、大規模言語モデルを秋葉原で売っているパソコン程度で動かせる新しいフレームワークが登場したことになる。 このインパクトがどれほどすごいのかを解説してみよう。 目次： ｢Google翻訳｣と｢大規模言語モデル｣は技術的にかなり近い 会話AIの正体とは何か ChatGP
大幅に進化するらしいTensorFlow2.0について - HELLO CYBERNETICS
はじめに TensorFlow2.0がもうすぐ来るよ！ APIs High level APIs Eager Exexution Reference Models Contribの扱い プラットフォーム TensorFlow Lite TensorFlow.js TensorFlow with Swift パフォーマンス Distributed TensorFlow CPU、GPU、TPUの最適化関連 その他のパッケージ TensorFlow Probability Tensor2Tensor End to End ML systems TensorFlow Hub TensorFlow Extended はじめに TensorFlow2.0ではこれまでのTensorFlowから大幅に変化するので、その変更点について記しておきます。 基本的には公式のRoadmapの和訳と思って差し支えあり
端末性能を測るWebGLアプリ作ってみた - KAYAC engineers' blog
こんにちは。技術部平山です。 この記事では、雑にベンチマークプログラムを作ってみたことと、それに付随して、 ベンチマークプログラムを作りたくなるような事情 テストの設計と、その背後にあるハードウェア といった点について書きます。 なお、実行はこちらからWeb上で可能です(上のスクショを押しても飛べます)。 UnityのWebGLにすることで、余計な手間なく多くの機械で測れるようにしています。 ただし、WebAssemblyを使っている関係上、iOS9以前では動きません。ご容赦ください。 測ってくださった方は、 twitterで結果(スクショ)を頂けると大変うれしいです。 ゲーム機、ハイエンドPC、古いスマホ、などは特に歓迎です! なお、ソースコードもgithubにあります。 測定方法 「ALL」を押し、元の画面に戻ってくるまで(キャラクターの絵が出てくるまで)放っておきます。 途中でスリー
Cramming: Training a Language Model on a Single GPU in One Day
Recent trends in language modeling have focused on increasing performance through scaling, and have resulted in an environment where training language models is out of reach for most researchers and practitioners. While most in the community are asking how to push the limits of extreme computation, we ask the opposite question: How far can we get with a single GPU in just one day? We investigate t
rinnaの日本語GPT-2モデルのファインチューニングを試す｜npaka
「rinnaの日本語GPT-2モデル」のファインチューニングを「Huggingface Transformers 4.23.1」で試したのでまとめました。 ・Huggingface Transformers 4.23.1 1. rinnaの日本語GPT-2モデル「rinnaの日本語GPT-2モデル」は、70GBの日本語テキストをV100で約1カ月学習させた日本語テキスト生成のモデルです。 2. ファインチューニングの実行ファインチューニングの実行手順は、次のとおりです。 (1) Colabで新規ノートブックを作成し、メニュー「編集 → ノートブックの設定で「GPU」を選択。 (2) GPUの確認。 # GPUの確認 !nvidia-smi+----------------------------------------------------------------------------
PCのディスプレイ画面の向きを回転する方法【自動回転/ロックも】
方法1: ディスプレイ設定で画面を回転する Windowsのディスプレイ設定から、ディスプレイの画面の向きを回転することができます。ディスプレイ設定で画面を回転するには、以下の手順で操作してください。 デスクトップの何もない場所を右クリックして「ディスプレイ設定」を選択します。または、「Windowsマーク」→「設定」→「システム」→「ディスプレイ」の順にクリックすることでも同様の操作ができます。「ディスプレイ」の設定画面が表示されたら、右ペインで「画面の向き」のセレクトボックスをクリックして画面の向きを選択します。画面の向きは、「横/縦/横(反対向き)/縦(反対向き)」から選択できます。確認メッセージが表示されたら、「変更の維持」をクリックして設定を保存します。変更した画面の向きに問題がある場合は、「元に戻す」をクリックして正しい向きを選択してください。 方法2: ショートカットキー(C
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NVIDIA認定パートナー【ジーデップ・アドバンス】
【特集】 ミニPCはなぜ人気なのか？搭載CPUやメモリなど、ミニPC選びで知っておくべきこと
