最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール
M1MacでOllamaを試したら爆速で驚いた
はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック： Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけるようになりました。 ずっと気になっていたのでついに私のM1 Macでも動くかどうかやってみました！ 結論、爆速で推論できていたのでとても驚きました。OSS開発に感謝です！ Ollamaとは OllamaとはローカルでLLMを動かすことができるアプリケーションです。 以下からダウンロードできます。 MacOSとLinuxで使うことができます。Windowsもプレビュー版があるみたいです。 #いざ推論 ダウロードができたらシ
Windows 11、デフォルトでTarファイルの作成が可能に。これでWindowsはTarファイルの解凍と作成の両方に対応へ
Windows 11、デフォルトでTarファイルの作成が可能に。これでWindowsはTarファイルの解凍と作成の両方に対応へ 次のWindows 11の大型アップデートで、Tarファイルの作成にデフォルトで対応予定であることが明らかになりました。 現在開発中のWindows 11β版で、ファイルエクスプローラーのコンテキストメニューにTarファイルに圧縮するメニューが追加されると、同社のブログ「Announcing Windows 11 Insider Preview Build 22635.3640 (Beta Channel)」で発表されました。 Tarファイルは複数のファイルを1つにまとめることができるファイル形式です。Tarという名称は磁気テープにデータを保存する「テープアーカイブ」（Tape Archive）から由来することからも分かるとおり、古くからUNIXでよく使われてきま
マイクロソフト、ARM版の新型Surfaceと『Copilot+ PC』発表。全部覚えるRecallなどWindows 11のローカルAI強化 | テクノエッジ TechnoEdge
マイクロソフトがWindows 11『Copilot+ PC』イベントを開催し、Snapdragon X Elite / Plusプロセッサを搭載した新型 Surface Pro (第11世代)および Surface Laptop (第7世代)を発表しました。 新型 Surface Pro はシリーズ初の有機ELディスプレイを選択でき、性能は(二世代前の) Surface Pro 9比で90％高速。統合NPUのAI処理性能(TOPS)は、AppleのM4 iPad Proより約20%高速をうたいます。 新たな純正アクセサリとして、合体しても外しても使える新型キーボード Surface Pro Flex Keyboard を用意します。 ■ Windows PCの新たなカテゴリ『Copilot+ PC』新型 Surface シリーズを披露した一方で、イベントの主題はマイクロソフトが提唱する新
C言語に代わってOS開発に採用されているRust。本連載では、Rustで有名アルゴリズムを実装して、Rustについての理解を深めています。今回扱うのは、生物の栄枯盛衰をシミュレーションするライフゲームです。 コンウェイのライフゲームで生物のシミュレーションをしよう コンウェイのライフゲームとは？ 「ライフゲーム(Life Game)」は、イギリスの数学者コンウェイによって考案されたもので、簡単な配列操作によって実装できる簡単な生物のシミュレーションです。次のように動きます。 コンウェイのライフゲームを動かしているところ 見た目が面白いのに加えて、プログラミング言語の性質や特徴を知るのにもってこいの題材であるため、次の姉妹連載でも何度か紹介しています。ぜひ、今回のRust版と見比べてみてください。 - Python連載9回目(https://news.mynavi.jp/techplus/a
2001年にリリースされたWindows XPは、2014年4月に延長サポートが打ち切られてから記事作成時点で10年が経過していますが、要求スペックの低さや安定性などから根強く支持されており、2022年に公開されたレポートではWindows 11に匹敵するシェア率だったと報告されています。そんなWindows XPをファイアウォールを切った状態でインターネットに接続した動画をYouTuberのエリック・パーカー氏が公開したところ、投稿から約10日で45万回も再生されました。 What happens if you connect Windows XP to the Internet in 2024? - YouTube Idle Windows XP and 2000 machines get infected with viruses within minutes of being ex
仮想マシンの作成＆実行アプリ「VMware Workstation Pro」と「VMware Fusion Pro」が無償化されたので実際にインストールしてみた
2024年5月13日(月)に、Windows向け仮想マシンアプリ「VMware Workstation Pro」とmacOS向け仮想マシンアプリ「VMware Fusion Pro」が個人利用に限り無償化されました。既にダウンロードとインストールが可能になっていたので、両アプリのダウンロードおよびインストール手順をまとめてみました。 VMware Desktop Hypervisor Pro Apps Now Available for Personal Use - VMware Cloud Foundation (VCF) Blog https://blogs.vmware.com/cloud-foundation/2024/05/14/vmware-desktop-hypervisor-pro-apps-now-available-for-personal-use/ ・目次 ◆1：Br
Windows XPや2000をノーガードでネット接続するとどうなるの？ | ニッチなPCゲーマーの環境構築Z
Windows XPやWindows 2000をノーガードでインターネットに接続するという実験が行われました。これらの古いOSをノーガードでネット接続するといったいどうなるのでしょうか。 この実験を行ったのはYouTuberのEric Parker氏。Windows XPのファイアウォールを無効化して、アンチウイルスソフトを使用せずにノーガードでインターネットに接続したところ、わずか数分で『conhoz.exe』というマルウェアが勝手にインストールおよび実行されました。 数分でマルウェアがインストールされた その後も、トロイの木馬やバックドアなど複数のマルウェア・ウイルスがインストールされ、『admina』という名前のアカウントが勝手に作成されたり、FTPサーバーを立てられたりしました。 アンチウイルスソフトのMalwarebytesを使用してPCをチェックしたところ、少なくとも8つのマル
米Microsoftが5月20日（米国時間）に発表した新Windows PCカテゴリ「Copilot+PCs」には、閲覧中の画面を数秒ごとに保存しておき、後から横断検索できる「回顧」（Recall）機能が、プレビュー版として搭載される。 AIを使った機能。数秒ごとにアクティブな画面のスナップショットを取得し、暗号化した状態でローカルHDDに保存。テキスト検索したり時系列で確認したりして閲覧履歴をみつけ出せる。 Copilot+PCsは、AIに最適化されたPCの新カテゴリ。「強力なNPU（ニューラル・プロセッシング・ユニット）」を搭載してAI実行力を強化した。 「回顧」機能は、Windows 10に搭載されていた「タイムライン」の強化版といったイメージだ。 保存済みのスナップショットからテキストで横断検索でき、検索結果がテキストなら要約・翻訳したり、テキストエディタで開いて編集するなどの操作
GIMPで画像生成AIを使えるようにしてNPUでの処理も可能にするOpenVINOプラグイン「OpenVINO AI Plugins for GIMP」レビュー
Intel製CPU搭載を搭載したPCでGPUなしでもStable Diffusionを用いた画像生成を可能にするGIMP用プラグイン「OpenVINO AI Plugins for GIMP」がGitHubに公開されています。特徴的なのは、AIの演算処理に特化したプロセッサ「NPU」に対応しており、NPUを使った画像生成が可能だという点。ちょうどNPUを搭載したXPS 13とXPS 14をDellから借りていたので、導入から実際に使うところまでをまとめてみました。 GitHub - intel/openvino-ai-plugins-gimp: GIMP AI plugins with OpenVINO Backend https://github.com/intel/openvino-ai-plugins-gimp/tree/main ◆目次 1：導入方法 2：使い方 ◆1：導入方法 使
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
「Winamp」のソースコードが9月24日に公開へ／かつて一世を風靡したWindows向けのメディアプレイヤーアプリ
ローカルAIを選び、試し、アプリに組み込める「AI Toolkit for VS Code」をMicrosoftが発表／既存の「Windows AI Studio」をクロスプラットフォーム拡充、発展させる
「Copilot+ PC」とはなにか マイクロソフトが狙うUX変化とWindowsの再設計
Rustで有名アルゴリズムに挑戦(18) Rustでライフゲームを作ってみよう
「エクスプローラー」に「Git」を統合 ～アプリ開発者のためのWindowsシェル改善／ファイル右クリックメニューからのTAR/7z圧縮、「Sudo for Windows」なども
20年前のOS「Windows XP」を丸腰でインターネットに放り込むとこうなる
サイトやメール「どこで見たっけ」すぐ分かる AIで履歴検索「回顧」 「Copilot+PCs」に搭載