はてなブックマーク

はじめに 本記事は、WWDC24の "Design App Intents for system experiences" （システムエクスペリエンスのためのApp Intents設計） というセッションを記事形式にしたものです [1]。 App Intents power system experiences in controls, Spotlight, Siri, and more. Find out how to identify the functionality that’s best for App Intents, and how to use parameters to make these intents flexible. Learn how to use App Intents to allow people to take action outside your

2024年5月21日に開催されたイベントで発表した内容です。GPT-4oのマルチモーダル機能を、iOSからAPIをたたいて試してみた、という話。 リアルタイムにGPT-4oに動画を理解してもらうアプリを実装し、デモも行いました： またデモ・各種サンプルコードは以下で公開しています。 スライド・発表動画 スライドはこちら： 発表動画 [1] がこちら： 以下、発表資料を記事として再構成したものになります。登壇後に調査した内容も追記しています。 GPT-4oと「マルチモーダル」 GPT-4oのモダリティ 2024.5.13 GPT-4o発表 Hello GPT-4o | OpenAI の1行目： We’re announcing GPT-4o, our new flagship model that can reason across audio, vision, and text in re

Exporters とは Hugging Faceが公開している Exporters というツールがある。 TransformersのモデルをCore MLにエクスポートするためのツールで、coremltoolsをラップしたものではあるが、変換に伴う色々な問題をツール側で吸収してくれている。要はこのツールを使えばcoremltoolsをそのまま使うよりも簡単にTransformersモデルをCore MLモデルに変換できる。 モチベーション Exporters は以下の公式ブログで紹介されていたもので、 Llama 2などのLLMモデルもこれを用いて変換されたようだ（あるいは、その変換の過程で得られた知見がこのツールに盛り込まれている） 公開されている変換済みモデルは、試してみたもののまだモバイル端末には大きすぎたので、 もっと小さいモデルを自前で変換したらよいかもしれない、と思い本ツール

2024年3月5日に開催されたイベントで発表した内容です。 スライドはこちら： またLTで全然時間が足りなかったので、イベント終了後にひとりで撮ったプレゼン動画がこちら： サンプルコードはこちら： 以下、発表資料を記事として再構成したものになります。登壇後に調査した内容も追記しています。 「ローカルLLM on iOS」のデモ オンデバイスで [1]処理してます APIは叩いていません 倍速再生していません 8.6 tokens/sec iOSローカルでLLMを動かすメリット オフラインでも動く プライバシーが守られる（データがどこにもアップされない） どれだけ使っても無料 モバイル端末スタンドアローンで最先端の機能が動作することには常にロマンがある iOSでローカルLLMを動かす方法 大きく分けて2つ llama.cpp Core ML llama.cpp LLMが高速に動くランタイム

長年フリーランスエンジニアとしてごはんを食べてきた著者が、時給ベースの労働集約型「ではない」マネタイズ方法をいろいろと模索した内容をまとめました。（カバーイラスト by リルオッサ）

iOS 13以降で、待望だった「文字認識」機能が使えるようになりました。カメラなどで撮影した画像内にある文字を読み取る [1] ことができます。 「文字検出」との違い 文字認識は、Visionフレームワークの一機能として追加されました。 一方、Core ImageのCIDetectorというクラスでは、CIDetectorTypeTextというタイプを指定でき、テキストを検出することができます。 このCIDetectorTypeTextやCIFeatureTypeTextはiOS 9からあるものです。 しかしこちらは文字の「領域」を検出する機能です。何が書いてあるか、までは認識できませんでした。 またiOS 11で登場したVisionフレームワークでは VNDetectTextRectanglesRequest という文字領域を検出するクラスを当初から利用できましたが、これも文字の「領域」

概要 Stable Diffusionとは 画像生成AI 入力テキストに応じて画像を自動生成するtext-to-imageモデル プロンプト: sadhu man in Rishikesh, India meditating near the Ganges river 2022.8 オープンソースとして公開 Core ML Stable Diffusion とは Core ML フォーマットに変換された Stable Diffusion のモデル 従来のモデルをAppleハードウェアで動かす => CPUのみ利用 Core MLモデル => CPU, GPU, Neural Engineを利用 → Appleのハードウェアを最大限活かせるのがCore MLモデル 詳細な最適化の解説： Core ML Stable Diffusion のリポジトリ Apple謹製 モデル変換コード、macO

OpenAIの音声認識モデルであるWhisperの高速推論版であるwhisper.cppが、いつのまにか [1] Core ML対応していた。 Core ML対応したということは、macOS/iOSデバイス（Mac, iPhone, etc...）に搭載されているNeural Engine、GPUを利用して推論処理を行うようになった、ということを意味する。[2] さっそくREADMEの手順をなぞりつつ手元のMBPで動かしてみたメモ。 なお、実行環境は以下の通り： MacBook Pro M1 Max 64GB macOS Ventura 13.3.1 Core MLモデルの生成手順 依存パッケージのインストール whisper.cppのCore MLモデルの作成に必要なパッケージをインストールする。