この記事では、ローカルLLMの実行ツール「ollama」を活用して、Microsoftが開発した軽量言語モデル「Phi-3」をMac上で実行する手順を紹介します。 実行例 はじめに 2024年4月、スマートフォン単体でも実行できる軽量な言語モデルの「Phi-3」がMicrosoft社より発表されました。 このほかにも、Meta社の「Llama3」など、ローカル環境でも実行可能なLLMの選択肢が増えてきています。 そこで今回は、これらのLLMがどのような性能を発揮するのか、手元のMacBook Airで試してみることにしました。 この記事では、ローカルLLMの基礎知識や、実行までの手順を簡潔にまとめます。 (あくまで体感での性能確認にとどめており、定量的なベンチマークなどは行なっていません。) 環境 今回、ローカルLLMを実行した環境は以下のとおりです。おそらく、現在MacBookをお使いの
![【ollama / Phi-3】ニュースで話題のLLMをローカルPC上で動かしてみる](https://cdn-ak-scissors.b.st-hatena.com/image/square/2bdb741692ac6cd39976b25f38a225bf881896e2/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--Z35ZRETo--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%2525E3%252580%252590ollama%252520%25252F%252520Phi-3%2525E3%252580%252591%2525E3%252583%25258B%2525E3%252583%2525A5%2525E3%252583%2525BC%2525E3%252582%2525B9%2525E3%252581%2525A7%2525E8%2525A9%2525B1%2525E9%2525A1%25258C%2525E3%252581%2525AELLM%2525E3%252582%252592%2525E3%252583%2525AD%2525E3%252583%2525BC%2525E3%252582%2525AB%2525E3%252583%2525ABPC%2525E4%2525B8%25258A%2525E3%252581%2525A7%2525E5%25258B%252595%2525E3%252581%25258B%2525E3%252581%252597%2525E3%252581%2525A6%2525E3%252581%2525BF%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3ATanny%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzQ1OGU0Njc0YzUuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)