rasbtさんにならって、MacBook上でLlama 3を動かしてLLMの出力を評価させてみる - nikkie-ftnextの日記
我が機械学習のヨーダ、rasbt氏1が興味深いことをやっていたのでパクってみます Was toying around with LLM model eval that run well on a laptop. Turns out Llama 3 8B Instruct is a pretty good evaluator that runs on a MacBook Air. I got a pretty high 0.8 correlation with GPT-4 scores. Standalone notebook here if you want to give it a try:… pic.twitter.com/F3df053Y9E— Sebastian Raschka (@rasbt) 2024年6月11日 目次 目次 LLMの出力の評価 MacBook上でLlama 3
良い単体テストの作り方 - Qiita
単体テストは実装の詳細を知らないように意識すると良い 最初に一番伝えたいことを記載します。 単体テストは実装の詳細を知らないように作ると良いです。 内部実装と紐づくほどリファクタした時にテストが壊れやすくなるためです。 しかし、これはテスト対象がそれが実現できる設計になってないとできません。 実際の現場では設計の見直しから始めないとできない状況があり得ます。 なので、無理に単体テストは実装の詳細を知ってはいけないとルール化して運用するのではなく、 可能な限り目指しましょうという運用が良いでしょう。 ※この記事は書籍である「単体テストの考え方/使い方」を参考にしています。 単体テストって何ですか？ 以下の3つの条件を満たすものが単体テストになります。満たさないものは結合テスト、E2Eテストに分類されます。 1単位の観察可能な振る舞いを検証すること 実行時間が短い 他のテストケースと隔離されて
Stockmark-100BをMLXでローカルで動かしてみた
はじめに Stockmark-100BをMLXを使ってローカルのMacBook Proで動かして遊んでみました。 なお、Instructモデルについては、AdapterをMLXでうまく動かすことができていません。うまく解決したら追加で記事化したいと思います。 今回は、MLXでの量子化のやり方について少し詳しく解説しています。 環境 Apple M3 MAX (128GB) 推論中のpythonプロセスのUnified Memory消費量はざっくり最大で以下のとおりでした 4bit : 51GB 8bit : 96GB Python 3.10 3.9以前では動作しないと思われますのでご留意ください。 ライブラリ 以下を使っています。特にバージョン指定しないpipインストールで問題なく動作します。 mlx_lm MLXはAppleが提供する機械学習（特にDeep Learning）用のフレーム
MLXと⌘R+ (Command R+)でローカルチャットbotを動かしてみた
はじめに 96GB以上のUnified Memoryを積んだApple Siliconマシーンをお持ちの人向けのニッチな記事です。 MLXを使って、話題の⌘R+ (Command R+)を使ったローカルで動作するチャットbotをクイックに作ってみました。途中で何点かつまづいたので、困っている人に届いたら嬉しいです。 以下の記事を参考にさせてもらいました。 環境 Apple M3 MAX (128GB) 推論中のpythonプロセスのメモリ消費量は62GB程度でした。Unified Memory 64GBでスワップしながらギリ回るくらいですかね Python 3.10 (3.11, 3.12でも動作しました) 最初、Python 3.9環境で動かそうとしてコケました。エラーメッセージは以下の具合です。 ValueError: Received parameters not in model:
Apple Silicon・CPUでphi-3（Phi-3-mini-4k-instruct-gguf）を動かす - nikkie-ftnextの日記
はじめに ユーフォ3期4話、めっちゃよかった。すっごいよかった😭 nikkieです 最近登場したphi-3、気になったので触りました。 目次 はじめに 目次 届いたphi-3の興奮 Phi-3-mini-4k-instruct-ggufを動かす ollamaで動かす llama-cpp-pythonを使って動かす 量子化前のモデルをtransformersで動かす 積ん読：Phi-3-mini-128k-instructもすごそう 終わりに 届いたphi-3の興奮 Llama 3が登場したばかりですが、phi-3への興奮の声を観測1 I can't believe microsoft just dropped phi-3 less than a week after llama 3 https://t.co/1EPzVKzhDi. And it looks good! pic.twitt
MLX SwiftでMeta Llama 3を動かす
macOSやiOSデバイスでLLMの推論を動かすにはllama.cpp[1]やMLX[2]が利用できます MLXはAppleによるプロジェクトでSwift APIも公開されています[3] MLX Swiftを使ってデバイス上でLLMを実行するにはMLX Swift Examplesリポジトリで公開されているソースコードが参考になります この中のLLMEvalというアプリは、Hugging Faceから任意のモデルをダウンロードしてきてテキスト生成を実行します。MacとiOSでも動作します LLMEvalは標準で以下のモデルに切り換えて実行できます Llama 3を動かす リストされているllamaはCodeLlamaなので、ここにLlama 3を追加して動かしてみます LLMEvalが依存しているLLMライブラリ(MXLL)のソースコードを更新します Models.swiftに以下のように
MLX Swift による LLM のオンデバイス推論を試す｜npaka
「MLX Swift」による「LLM」のオンデバイス推論を試したので、まとめました。 1. MLX Swift「MLX Swift」は、Swiftから利用できる「MLX」で、「MLX」は、Appleが開発した新しい機械学習フレームワークで、「Apple Silicon」(M1/M2/M3など) を最大限に活用するように設計されています。 ・サポートするプラットフォーム ・Mac ・iOS ・visionOS 2. iOSのデモアプリの実行iOSのデモアプリの実行手順は、次のとおりです。 (1) 以下のXcodeプロジェクトをダウンロードして実行。 初回は、モデルダウンロードに時間がかかります。 ・LLMEval (2) 必要に応じてでモデルを切り替え。 ControlViewの150行目で切り替えることができます。 let modelConfiguration = ModelConfigu
iPhoneで日本語OCR、文字認識が使える - Qiita
文字認識をかんたんにつかえる iPhoneで文字認識できたら、板書の書き起こしや、標識認識アプリなど便利につかえます。 ２０２２年のアップデートで日本語が利用可能に ２０２２年のiOS16から、日本語の文字認識が可能になりました。 組み込みのフレームワークのみで可能です。 精度もかなり良く、さまざまなアプリで実用に耐えるレベルだと個人的には思います。 つかいかた VisionのVNRecognizeTextRequestをつかいます。 recognitionLanguages に "ja" を指定します。 macOS13、Xcode14、iOS16以降が必要です。 let request = VNRecognizeTextRequest() request.recognitionLanguages = ["ja"] // 日本語を指定 let handler = VNImageReques
blog.katsuma.tv
身の回りのiTunes関連で書きたいコードはtaifu, musical, itunes-clientあたりが落ち着いて一段落しました。 そろそろここらでiOSアプリを書けるようになりたいなぁ、でもObjective-Cをゼロから学ぶのもなかなか時間かかりそうだなぁ、、ともやもやしていたところ巷で噂のRubyMotionの存在を思い出したので、週末軽く手を出してみました。 RubyMotionについて細かな説明は省きますが、要するにRubyでネイティブのiOSアプリを作れるコンパイラ、テストスイートなどのツール群です。 Xcodeを（インストールはされていないとダメですが）起動しなくても、ターミナル＋好きなエディタでサクサクとTDDでiOSアプリを書けるのが非常に良さそうです。ひとまずこの記事がいい感じにまとまってて良さそうです。 MacRubyがiOSに来た！RubyでiOSのネイティブ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
5000兆円の作り方