Microsoft、新しい小規模言語モデル「Mu」を発表 ～「設定」検索AIの頭脳／NPUを用いたローカル動作に最適化、「Phi-3.5-mini」の1/10でありながら性能は同等
僅か2.3GBで日本語可能な超高性能ローカルLLMのPhi-3 MINIをllama.cppとCPUで動かしてみた。スマホでも可。従来のコンパクトLLMと比較して超越した性能で未来を感じさせるMicroSoft寄付ありがとう
Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 昨日MicroSoftからリリースしたローカルLLMモデルのPhi-3 mini 4k Q4をllama.cppのサーバ版を動かしてみた。こいつ2.32GBしかないくせに日本語しゃべれるぞ。今までとは桁違いの性能なんですけど・・・ ./build/bin/server -m ../Phi-3-mini-4k-instruct-q4.gguf -n 128 huggingface.co/microsoft/Phi-… pic.twitter.com/DTmUmeh7JE 2024-04-24 22:46:51 Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 MicroSoftのPhi-3 mini Q4が良かったのでもう少しサイズの大きいFP
マイクロソフトは4月23日、生成AI向けの小規模言語モデル（SLM）「Phi-3-mini」を発表した。 Phi-3-miniは、パラメーター数が38億の比較的小型軽量な言語モデル。単純なタスクに適しており、特定のニーズに合わせて容易に微調整できる点を特徴とする。スマートフォンや自動車のコンピューター、リモートカメラといったリソースの少ないデバイスでも利用できるほか、オフライン動作にも対応し、ネット接続が困難な地域でも生成AIの恩恵を受けられるという。 同社が実施したベンチマークテストでは、パラメーター数で勝るメタの「Llama 3-8B-in」（80億）や、グーグルの「Gemma 7B」（70億）に対して、より優れた性能を発揮。特にLlama 3に関しては、4月18日のリリースからわずか5日でPhi-3-miniに追い越される形となった。 ただしPhi-3-miniも万能ではなく、広範な
はじめに GMO NIKKOの吉岡です。 みなさん、生成AIは活用してますか？ ChatGPTに始まり、Claude3やGeminiなど、実用的なAIがどんどん出てきてますね。 自分も使ってはきましたが、課金が気になってしまいます。 これではサービスに組み込むことは難しいですよね。 そのためローカルで動くLLMを追ってきましたが、今年に入って実用的な日本語を返すことができるモデルがいくつか出てきているので、サーバー構成からインストール方法、LLMの起動まで紹介しようと思います。 ローカルLLMを動かす上で一番重要なのはGPUのVRAMです。 LLMは7B、13B、70Bモデルが多いですが、量子化しない場合、必要なVRAM容量は動かすモデルの大体2倍なので、13Bモデルでは26GのVRAMが必要です。 NVIDIAのGPUを使ったCUDAが前提になっているのですが、一般向けでは24Gモデルが
Microsoftが小さい規模で大きな性能を発揮する言語モデルとして「Phi-3」ファミリーをリリースしました。ファミリーの中でも一番小さなサイズのモデルであるPhi-3-miniはオープンモデルとなっており、無料で商用利用が可能です。 Introducing Phi-3: Redefining what's possible with SLMs | Microsoft Azure Blog https://azure.microsoft.com/en-us/blog/introducing-phi-3-redefining-whats-possible-with-slms/ Tiny but mighty: The Phi-3 small language models with big potential - Source https://news.microsoft.com/sour
Llama3，Phi-3などの対話型人工知能（大規模言語モデル）をパソコンで動かす - Qiita
かつては大規模言語モデルは，メモリを大量に消費し，大量のGPUが必要なため個人レベルで動かすものではありませんでした．しかし，2024年にLlama3 7BやMixtral 8x7b, Phi-3 smallなどChatGPT-3.5レベルの能力を持ち軽量で無料の大規模言語モデルが登場してきました．それだけではなく，これらの大規模言語モデルをコマンド一つでインストールするが出来るようにもなりました．2024年から，大規模言語モデル（対話型人工知能）を自宅で気軽に動かせる時代になったと言えます． この記事に対話型人工知能をパソコンにインストールする方法とその結果を書きます． 環境 前提としている環境 私は人工知能の研究をしているため，すでにLinux(Debian 12)上でPython3とCUDAが動く環境を整えています．以下の記事はLinuxの使用を前提にしています． パソコンのスペック
【シリコンバレー=渡辺直樹】米マイクロソフトは新型の生成AI（人工知能）を開発した。通信がつながらなくてもスマートフォン単体で使える。提携する米新興企業オープンAIの「Chat（チャット）GPT」と併せて提供し、品ぞろえを強化する。利用者にとって、用途に応じて生成AIの選択肢が増えてきた。今回の「Phi（ファイ）-3」は自社開発した。マイクロソフトは提携先のオープンAIに約2兆円を投じ、チャッ
生成AI領域における言語モデルは今、いくつかの方向で開発が進められている。 その1つは「大規模言語モデル（LLM）」の開発。大規模言語モデルは、生成AIの代名詞的な存在で、文字どおりサイズ（パラメータ数）が大きなモデルを指す。最近の例でいえば、GPT-4oやClaude 3 Opusなどが代表格といえるだろう。パラメータ数は公開されていないが、非常に大規模なモデルといわれており、パフォーマンスもかなり高いものとなっている。 もう1つが、大規模言語モデルに比べ規模が小さな言語モデル（Small Language Model＝SLM）の開発だ。SLMとは、LLMよりもパラメータ数が少なく、よりコンパクトで効率的なAIモデルのことを指す。一般的にLLMが数百億から数千億のパラメータを有するのに対し、SLMは数億から数十億程度のパラメータで構成される。 LLMは、テキストや画像、音声、動画など幅広
米Microsoftは4月23日（現地時間）、小規模言語モデル（SLM）の「Phi-3」を発表した。3サイズ（mini、small、medium）あり、最小モデルのminiは同日からAzure AI Studio、Hugging Face、Ollamaで利用可能になった。 miniのトレーニングデータは38億パラメータ。smallは70億、mediamは140億と、大規模言語モデル（LLM）より少ないが、高品質なデータでトレーニングしているため、「主要なベンチマークにおいて、同じサイズまたはより大きなサイズの言語モデルよりも大幅に優れたパフォーマンスを示す」という。 例えばPhi-3-smallは、米OpenAIのGPT-3.5 Turbo（パラメータ数は公表されていないが、約175億とみられている）などの「はるかに大きなモデルよりも優れたパフォーマンスを発揮する」としている。 Micro
この記事では、ローカルLLMの実行ツール「ollama」を活用して、Microsoftが開発した軽量言語モデル「Phi-3」をMac上で実行する手順を紹介します。 実行例 はじめに 2024年4月、スマートフォン単体でも実行できる軽量な言語モデルの「Phi-3」がMicrosoft社より発表されました。 このほかにも、Meta社の「Llama3」など、ローカル環境でも実行可能なLLMの選択肢が増えてきています。 そこで今回は、これらのLLMがどのような性能を発揮するのか、手元のMacBook Airで試してみることにしました。 この記事では、ローカルLLMの基礎知識や、実行までの手順を簡潔にまとめます。 （あくまで体感での性能確認にとどめており、定量的なベンチマークなどは行なっていません。） 環境 今回、ローカルLLMを実行した環境は以下のとおりです。おそらく、現在MacBookをお使いの
「Phi-3」「Llama-3」「GPT-4o mini」などの小規模言語モデルを使用して生成AIの回答精度を向上させる「SLMファインチューニング」カスタムサービスを開始
「Phi-3」「Llama-3」「GPT-4o mini」などの小規模言語モデルを使用して生成AIの回答精度を向上させる「SLMファインチューニング」カスタムサービスを開始 AIソリューション事業を手掛ける株式会社ヘッドウォータース（本社：東京都新宿区、代表取締役：篠田 庸介、以下「ヘッドウォータース」)は、生成AIの業務活用を推進する企業向けに「SLMファインチューニング」カスタムサービスの提供を開始しました。 同サービスは、マイクロソフト株式会社が提供する「Azure AI モデルカタログ」から選べるオープンソースAI基盤モデル「Phi-3」、「Llama-3」、並びに「GPT-4o mini」を中心とした小規模言語モデルを使用して、生成AIの回答精度を向上させるサービスとなり、生成AIが作成する文章の精度では業務利用が厳しいと考えられている企業に有用なサービスとなっております。 ヘッ
はじめに おれの名前は樋口恭介。Phi-3というMicrosoftから2024年4月23日にリリースされた小規模LLMが、ギリCPUでも動くうえにGPT-3.5よりも精度が高いということで、触ってみることにした。 まずはGoogle Colab上でCPUを選択し、動きを確認したところ、通常モデルでも20分～30分程度で、かなり精度が高い回答が得られ、4bit量子化モデルだと、2分～3分程度で、それなりの出力が得られることがわかった。 そこで、気分がもりあがってきたので、自身のローカルPC（Windows11、GPUなし、メモリ16GB）でも動かしてみることにした。以下はそのときの試行錯誤のメモである（ほぼ趣味の領域の活動だが、業務時間中に行ったので、こうしてちゃんと会社のブログで手順をまとめているというわけだ）。 何も考えずにやるとけっこうハマりポイントが多かった気がするので、ぜひ参考にし
We introduce phi-3-mini, a 3.8 billion parameter language model trained on 3.3 trillion tokens, whose overall performance, as measured by both academic benchmarks and internal testing, rivals that of models such as Mixtral 8x7B and GPT-3.5 (e.g., phi-3-mini achieves 69% on MMLU and 8.38 on MT-bench), despite being small enough to be deployed on a phone. Our training dataset is a scaled-up version
Tiny but mighty: The Phi-3 small language models with big potential
All Microsoft Global Microsoft 365 Teams Copilot Windows Surface Xbox Deals Small Business Support Software Windows Apps AI Outlook OneDrive Microsoft Teams OneNote Microsoft Edge Skype PCs & Devices Computers Shop Xbox Accessories VR & mixed reality Certified Refurbished Trade-in for cash Entertainment Xbox Game Pass Ultimate PC Game Pass Xbox games PC games Business Microsoft Cloud Microsoft Sec
テクノロジー企業各社は、より大規模でより高性能な人工知能（AI）モデルの構築でしのぎを削っている。だが、小型モデルも依然として大きな価値を持っており、Microsoftはそのコンセプトに大きく賭けようとしている。 Microsoftは米国時間4月23日、今後数カ月以内に3つの小型AIモデルをリリースすることを明らかにし、最初のモデルとして「Phi-3-mini」をリリースした。Phi-3-miniは、トレーニングに使用されたパラメーター（AIモデルがより優れた結果を生成するために使用する変数）数が38億と、計画されている3つのモデルの中で最も規模が小さい。同社は、トレーニング用パラメーター数が70億の「Phi-3-small」と140億の「Phi-3-medium」も発表したが、そのリリース時期は明言しなかった。 パラメーター数について見てみると、OpenAIの「GPT-4 Turbo」に
米Microsoftは5月21日（現地時間）、開発者向け年次開発者会議「Microsoft Build 2024」の基調講演で、SLM（小規模言語モデル）「Phi-3」ファミリーの新メンバー「Phi-3-vision」（以下「vision」）を発表した。画像を解析するマルチモーダルなSLMだ。プレビュー版を利用可能。 SLMは単純なタスクで適切に実行できるように設計されており、リソースが限られる組織や端末上でローカルに実行する必要があるアプリに適した言語モデルだ。 visionは、描画はできないが、モバイル端末で利用可能なコンパクトさだ。42億パラメータモデルで、グラフや画像に関して質問すると、それについて説明してくれる。 Microsoftは「visionは画像とテキストを一緒に検討する必要があるタスクに最適だ」としている。多様なハードウェアで実行できるように最適化されており、開発者はモ
はじめに GMO NIKKOの吉岡です。 前回の記事ではPhi-3-MediumをGPUで動かしてみましたが、今回はもう一つの気になるモデル、Phi-3-visionを紹介します。 新しいバージョン3.5が公開されているので、こちらを試してみます。 Phi-3.5-visionは画像を読み取り、質問から結果を返すLLMとなっています。 サーバー構成・準備 前回の記事でサーバー構成や準備を紹介したので、こちらを参照ください。
すべての Microsoft 製品 Global Microsoft 365 Teams Copilot Windows Surface Xbox セール 法人向け サポート ソフトウェア Windows アプリ AI OneDrive Outlook Skype OneNote Microsoft Teams PC とデバイス Xbox を購入する アクセサリ VR & 複合現実 エンタメ Xbox Game Pass Ultimate Xbox とゲーム PC ゲーム 法人向け Microsoft Cloud Microsoft Security Azure Dynamics 365 一般法人向け Microsoft 365 Microsoft Industry Microsoft Power Platform Windows 365 開発者 & IT Microsoft 開発者 Mi
主要なサイトへのリンク Ollama 公式サイト Ollama 公式リポジトリ Open WebUI 公式ドキュメント Meta Llama3紹介記事 (公式ブログ) 2024-4-19 Llama3 公式サイト 一般公開されているLLMリンク集 Open LLMs ※日本語LLM情報は載っていない llm-jp/awesome-japanese-llm ※日本語LLM情報はこちら このスクラップへのリンク Llama3をOllamaで動かす#1 WindowsにOllamaをインストール Llama3をインストール Llama3をOllamaで動かす #2 Docker環境にOpen WebUIをインストール Llama3をOllamaで動かす #3 APIでOllamaのLlama3とチャット Llama3をOllamaで動かす #4 ollama-pythonライブラリ、reques
マイクロソフトが発表したAIモデルである「Phi-3.5」シリーズが話題を呼んでいる。3つのモデルから構成される同シリーズだが、わずか66億の有効パラメータでGPT-4o miniに匹敵する性能を示し、多くのベンチマークでトップクラスの結果を達成するモデルもある。これらはオープンソースで無料提供されており、オープンソースプラットフォームOllamaを通じて個人のPCでも簡単に利用可能だ。Phi-3.5の特徴を解説とともに、Ollama経由でインストール・利用する方法も紹介する。 バークリー音大提携校で2年間ジャズ／音楽理論を学ぶ。その後、通訳・翻訳者を経て24歳で大学入学。学部では国際関係、修士では英大学院で経済・政治・哲学を専攻。国内コンサルティング会社、シンガポールの日系通信社を経てLivit参画。興味分野は、メディアテクノロジーの進化と社会変化。2014〜15年頃テックメディアの立ち
MMLUをアップデートしたベンチマーク『MMLU-Pro』Phi-3やLlama 3、Claude 3、GPT-4oなどの評価結果 | AIDB
LLMの性能が、様々な分野でどれほど進歩したかを測るための基準が大事になっています。今まではMMLU（Massive Multitask Language Understanding）が重要な基準でした。しかし、モデルが賢くなるにつれて、MMLUだけではモデルの性能の違いを見分けるのが難しくなってきました。 そこで、研究者らはMMLU-Proという新しいデータセットを開発しました。MMLUよりもさらに難しく、論理的な思考力を試す質問を多く含んでいます。また、簡単すぎる質問や間違った質問を取り除きました。研究者らは早速、本ベンチマークにおけるGPT-4oなどのLLMの成績をテストしました。 参照論文情報 タイトル：MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark 著者：Yub
「Google Colab」で「Phi-3」を試したので、まとめました。 1. Phi-3「Phi-3」は、Microsoftが開発したSLM (Small Language Model)です。さまざまな言語、推論、コーディング、数学のベンチマークにわたって、同じサイズのモデルや次のサイズのモデルよりも優れたパフォーマンスを発揮します。 パラメータ数と学習トークン数は、次のとおりです。 ・Phi-3-mini (3.8B、3兆3000億) ・Phi-3-small (7B、4兆8000億) ・Phi-3-medium (14B、4兆8000億) 2. Phi-3 のモデル「Phi-3」では現在、次の4種類のモデルが提供されています。 ・microsoft/Phi-3-mini-4k-instruct ・microsoft/Phi-3-mini-4k-instruct-onnx ・micro
Intended Uses Primary use cases The model is intended for broad commercial and research use in English. The model provides uses for general purpose AI systems and applications with visual and text input capabilities which require memory/compute constrained environments; latency bound scenarios; general image understanding; OCR; chart and table understanding. Our model is designed to accelerate res
C# と ONNX Runtime Generative AI (DirectML) を使って Phi-3 をローカルで動かす - しばやん雑記
Build 2024 では Windows などローカルのリソースを使って Generative AI を動かすという話が非常に多かったように、Keynote でも度々取り上げられた Phi-3 についても AWQ で 4-bit 量子化された DirectML で利用可能な ONNX モデルが公開されています。 セッションでも話がありましたが、Microsoft としては DirectML を使っておけば GPU / NPU の両方に対応できるようにするようなので、今後はローカルでの AI 利用は DirectML が主導権を握る可能性がありそうです。 現状 Hugging Face で公開されている DirectML に対応した Phi-3 の ONNX モデルは以下の 4 種類です。Phi-3 mini と Phi-3 medium の両方が利用可能になっていますが、残念ながら現時点
Intended Uses Primary use cases The model is intended for commercial and research use in English. The model provides uses for applications which require memory/compute constrained environments latency bound scenarios strong reasoning (especially math and logic) long context Our model is designed to accelerate research on language and multimodal models, for use as a building block for generative AI
マイクロソフトは4月23日、生成AI向けの小規模言語モデル（SLM）「Phi-3-mini」を発表した。「Azure AIモデルカタログ」や「Hugging Face」から利用可能だ。 【もっと写真を見る】 マイクロソフトは4月23日、生成AI向けの小規模言語モデル（SLM）「Phi-3-mini」を発表した。 Phi-3-miniは、パラメーター数が38億の比較的小型軽量な言語モデル。単純なタスクに適しており、特定のニーズに合わせて容易に微調整できる点を特徴とする。スマートフォンや自動車のコンピューター、リモートカメラといったリソースの少ないデバイスでも利用できるほか、オフライン動作にも対応し、ネット接続が困難な地域でも生成AIの恩恵を受けられるという。 同社が実施したベンチマークテストでは、パラメーター数で勝るメタの「Llama 3-8B-in」（80億）や、グーグルの「Gemma 7
はじめに Microsoft社が2024年4月23日に商用利用可な小型言語モデル（SLM)のPhi-3（mini(3.8B)、small(7B)、medium(14B)）を発表し、同日miniについて公開しました。 ＊3.8B〜14Bのため大規模言語モデル（LLM）とは言わず小規模言語モデル（SLM)と言っているのは共感が持てます。他の言語モデルも名称を共通化して欲しいですね😁 どのくらいの精度のものなのか早速検証してみました。 検証環境 今回は、Phi-3-mini-4k-Instructモデルを使用しました。 Googleコラボ Pro+ で A100 環境を使用しました。GPU RAMが8.4GB程度で動いているのでV100等でも動くと思います（なお、CPUでも動くとありましたがCPUリソースでは筆者の環境では残念ながらレスポンスが返ってきませんでした）。 パラメータは、max_n
Llama 3と徹底比較！Microsoftの最新小型軽量LLM「Phi-3-Mini」をローカルで使う方法 Llama 3モデルのリリースでオープンソースの大規模言語モデル（LLM）界隈が盛り上がりを見せる中、立て続けに、今度はMicrosoftが新しいモデルを公開した。 2024年4月23日に公開された「Phi-3 Mini」は、わずか38億パラメーターと、Llama 3 8Bモデルの半分以下のパラメーター数で、非常に小型で軽量ながら、同サイズ帯のモデルよりずっと優れたパフォーマンスを発揮するという。 Microsoftの公開したベンチマーク結果をみると、遥かにサイズの大きいLlama 3 8Bモデルよりも優れたスコアを達成している項目もある。 この記事では、小型軽量で、Mac Book Airなどでも高速に動作するPhi-3-Miniモデルを、リリース直後ながら、ローカル環境で動かす
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マイクロソフト最新SLM「Phi-3」 メタ「Llama 3」あっさり抜く
【Phi-3-Medium】GPU2台構成でローカルLLMを動かす【Ubuntu24】
GPT-4oとPhi-3でLLMとSLMの双方を取り込むMicrosoftのAI戦略
Microsoftがコスト効率の高い小さめの言語モデル「Phi-3」をリリース、オープンモデルで商用利用可能
Microsoft、生成AI「Phi-3」自社開発 通信なくてもスマホで動作 - 日本経済新聞
小規模言語モデル（SLM）とは？ マイクロソフトPhi-3やグーグルGammaは何を競うのか？
Microsoft、商用利用可のSLM「Phi-3」リリース スマホで動くモデルも
【ollama / Phi-3】ニュースで話題のLLMをローカルPC上で動かしてみる
ローカルLLM"Phi-3"をWindows CPUで動かす
Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone
MS、小型AIモデル「Phi-3-mini」を発表--性能は「GPT-3.5」に匹敵
Microsoft、マルチモーダルなSLM「Phi-3-vision」をプレビュー
【Phi-3.5-vision】ローカルLLMで画像の内容について答える
小さくても強力: 小規模言語モデル Phi-3 の大きな可能性 - News Center Japan
WindowsでOllamaを使って、ローカルで動くLLMのLlama3やPhi3を使いこなす！
Phi-3.5とは何かを解説、マイクロソフトの「GPT-4o miniとほぼ互角」AIの真価
Google Colab で Phi-3 を試す｜npaka
New models added to the Phi-3 family, available on Microsoft Azure | Microsoft Azure Blog
「AnythingLLM」にNPU対応の「Phi 3.5 Mini Instruct」が追加 ～日本語で会話できるのか？／【使ってわかるCopilot+ PC】
microsoft/Phi-3-vision-128k-instruct · Hugging Face
Microsoft、用途限定ならより高性能な“小”規模言語モデル「Phi-3」
microsoft/Phi-3-mini-4k-instruct-gguf · Hugging Face
マイクロソフト最新SLM「Phi-3」 メタ「Llama 3」あっさり抜く（アスキー） - Yahoo!ニュース
Introducing Phi-3: Redefining what's possible with SLMs | Microsoft Azure Blog
Microsoftの最新SLM Phi-3-miniをGoogleコラボで動かしてみた - Qiita
Llama 3と徹底比較！Microsoftの最新小型軽量LLM「Phi-3-Mini」をローカルで使う方法