今年の流行語といえばLLMですが、中でもローカルLLMの技術がプログラマ的には気になります。何かに使えそう! そこでローカルLLMの代名詞である(?)llama.cppを眺めていたところ、堂々とPackage.swiftがあるのに気づきました。 ということは、自力で難しいことをしなくても、簡単にSwiftから利用できそうです。 今更感もありますが、この記事ではllama.cppをSwiftから使って色々遊んでみたいと思います。 この記事は私のインターン先であるTuringアドベントカレンダー21日目の記事です。卒が論してきているので、パッと書けそうだった趣味寄りの話で許してください😇 環境 Mac mini macOS 13.5.2 M2 Pro RAM 32GB iPhone 12 mini iOS 17.2 iPad Pro M1 Pro iPadOS 17.2 Llama.cpp
![Swiftでllama.cppを使いたい!](https://cdn-ak-scissors.b.st-hatena.com/image/square/3523bb91721ccf0f5f679556f9513189dd886d00/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--NpNVhGNp--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3ASwift%2525E3%252581%2525A7llama.cpp%2525E3%252582%252592%2525E4%2525BD%2525BF%2525E3%252581%252584%2525E3%252581%25259F%2525E3%252581%252584%2525EF%2525BC%252581%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_34%3AMiwa%252520%25252F%252520Ensan%252Cx_220%252Cy_108%2Fbo_3px_solid_rgb%3Ad6e3ed%252Cg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzBhNjYyMDc4ZDMuanBlZw%3D%3D%252Cr_20%252Cw_90%252Cx_92%252Cy_102%2Fco_rgb%3A6e7b85%252Cg_south_west%252Cl_text%3Anotosansjp-medium.otf_30%3ATech%252520Blog%252520-%252520Turing%252Cx_220%252Cy_160%2Fbo_4px_solid_white%252Cg_south_west%252Ch_50%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzkyNDQ4NzBlMTUuanBlZw%3D%3D%252Cr_max%252Cw_50%252Cx_139%252Cy_84%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)