Tauri+Next.jsでモバイルアプリ開発
通称Tauri Mobileのアルファ版がリリースされたのでiOS/Androidアプリが開発できるようになった。(https://laiso.hatenablog.com/entry/tauri-on-mobile から半年) Tauriとは TauriはWeb技術でデスクトップアプリを構成するためのフレームワークで、Electronの代替ツール。アプリのUIをHTML+CSS+JavaScriptで開発し、その裏側のネイティブコードをRustで書いて呼び出すことができる。 TauriのアーキテクチャはシステムにあるWebViewを使ってHTML+CSS+JavaScriptを表示する。アプリ内にブラウザエンジンを含むアーキテクチャを取るElectronではApp StoreレギュレーションによりiOSアプリを開発できないので、Tauri MobileはiOS/Androidのネイティブ
なんでbun installは速いのか？
⚡️ 25x faster — Switch from npm install to bun install in any Node.js project to make your installations up to 25x faster. https://bun.sh/docs/cli/install という記述を見かけて直感的に、そうはならんやろと思ったものの実際にベンチマークをしているのでどういうことなのかを気になって調べた。 A global install cache. bun installを実行すると ~/.bun/install/cache/ 以下にnpmレジストリからダウンロードされたファイルの実体が展開されキャッシュされる(--cache-dirでパスを変更できる)。 キャッシュにはパッケージのバージョンごとのディレクトリとlatestのシンボリックリンクがある。こ
Cloudflare Workersで類似度ベクトル検索APIを構築する
ChatGPT Retrieval PluginをJavaScriptで実装するついでにCloudflare Workersで動作するようにします。 Retrieval PluginはベクトルDBからのドキュメントの出し入れがほぼ行なっていることであり、検索APIさえ作れればあとは何とかなるなと思い先に実装しました。 Cloudflare Workersで——とは言ってもCloudflare Workersの環境はブラウザ+α程度の機能しか持たないため外部のサービスのいろいろなAPIを呼び出すことになります。API繋ぎ込み職人の朝は早い。 先ずベクトルDB側に検索データを入れておく必要があります。この記事ではベクトルDBにPineconeというサービスを使っています。ChatGPT Retriever PluginsをLangChainでデバッグするで実装したプラグインのバックエンドになり
Node.jsの@dqbd/tiktokenとtiktoken-nodeのトークン数の算出を比較した
Node.jsでOpenAIの言語モデルに利用するBPEトークン数を計算するにはサードパーティの@dqbd/tiktokenかtiktoken-nodeのNPMモジュールが使えるのですが2つの実装はことなります。 @dqbd/tiktokenはRustで書いたコア実装をwasm-packでWasmにしてNode.jsから呼び出します。 tiktoken-nodeはNAPI-RSを使いピュアRust実装のtiktoken-rsを呼び出します。 Wasmを通さないぶんtiktoken-nodeのが早いのでは? と思ったので確かめてみることにしました。 @dqbd/tiktoken/lite @dqbd/tiktokenにはブラウザライクな環境から呼び出すことを想定したliteバージョンがあります(TensorFlow Liteのようなものと解釈)。 In constrained environ
PlaywrightでChatGPTの応答を自動化する
{ "cookies": [], "origins": [{ "origin": "https://chat.openai.com", "localStorage": [{ "name": "oai/apps/hasSeenOnboarding/chat", "value": "true" }] }] } import {chromium} from 'playwright' const email = process.env.EMAIL const password = process.env.PASSWORD const headless = process.env.NODE_ENV === 'production' // Debug用にhead有りにしたい const browser = await chromium.launch({headless}) const context
ChatGPT自身をAPIサーバーにする
LangChainという人類のLLMsプロンプトエンジニアリングの英知の結晶みたいなライブラリが存在するのですがChatGPT関連の実装を読んでいたらStructuredOutputParserを実現するために興味深いことをしていた。 StructuredOutputParserは「ChatGPTから構造化書式を持ったデータ」を取得するために冒頭のプロンプトで「特定のJSONコードを埋め込んだmarkdownで出力しろ」と命令する。 The output should be a markdown code snippet formatted in the following schema: ```json { "answer": string // answer to the user's question "source": string // source used to answer
「ChatGPTに敬語で話すと回答が良くなる」という噂をEvalsで自動化して検証する
「ChatGPTに敬語で接すると出力結果が大幅によくなる可能性がある」という噂を聞いて、文章の続きを補完するモデルだから入力する口調で出力で一定の傾向が出るのはありえないわけでもないぁと思ったのですが、ChatGPTで大喜利エンジニアリングで紹介したEvalsはこういう時の検証にも使えそうなので試してみました。 評価方法 「○○のキャッチコピーを書け(お書きいただけますか)」をセットで10パターンほど投げてみる 2つの出力を比べてどちらがより優れているかをChatGPTに選んでもらう まずこういう設定ファイルを書きます honorific-sentences: id: honorific-sentences.dev.v0 metrics: [accuracy] honorific-sentences.dev.v0: class: evals.elsuite.modelgraded.clas
開発時にモック版OpenAI APIサーバーを使用する
開発中にChat completion APIやEmbeddings APIを過渡に呼び出して課金されてしまうことを回避します。 また自動テスト内でOpenAI APIを呼び出す時も有効です。 OpenAI公式リポジトリにOpenAPI仕様書が公開されているのでStoplight Prismでモックサーバーを実行します。 > npm install -g @stoplight/prism-cli > prism mock https://raw.githubusercontent.com/openai/openai-openapi/master/openapi.yaml ❯ curl -X "POST" "http://127.0.0.1:4010/chat/completions" \ -H 'Content-Type: application/json; charset=utf-8'
ChatGPT Retriever PluginsをLangChainでデバッグする
任意のChatGPT Retriever PluginsのAPIサーバーと対話できるプログラムをLangChainのRetrievalQA ChainとChatGPTPluginRetrieverを使って実現します。 これによって ChatGPT Pluginsのインターフェイスの外でRetriever Plugins単体の動作が確認できます Chain間連携やAgentsなどのLangChainの諸機能と統合できます 利用イメージとしては開発者自身がjupyter notebookなどで質問→回答を繰替えしてテストします。 ただしChatGPTPluginRetrieverは/query以外のエンドポイントには対応していません。 実装したRetriever Plugins zenn.devとqiita.comとb.hatena.ne.jpの記事をPineconeにインデックスしておき参照
Semantic Kernel Pythonでユーザーごとの記憶を持たせてみる
MS版LangChainことSemantic KernelのPython版が出たので気になっていたSemantic Memory関連の動作を試した。 セットアップ系 今のところ.envは必須らしい。 KV = {} # DBのかわり def init_kernel(): k = sk.Kernel() api_key, org_id = sk.openai_settings_from_dot_env() k.config.add_chat_backend( "chat-gpt", sk_oai.OpenAIChatCompletion("gpt-3.5-turbo", api_key, org_id) ) k.config.add_embedding_backend( "ada", sk_oai.OpenAITextEmbedding("text-embedding-ada-002", a
LangChainのContextual Compressionがどのようにコンテキストを圧縮しているのか
LangChainにContextual Compressionという抽象化が追加されました。概要は以下にあります。 Contextual Compressionは「インデックスするドキュメントのテキスト」と「プロンプトに含めるコンテキストとしてのテキスト」の性質が異る点に注目して、ドキュメント検索の後処理としてプロンプトに含めるテキストの内容に変換処理をかけて改善します。 前提知識 「LLMに質問の答えを生成してもらうためにコンテキストとして事前に検索したテキストをプロンプトに挿入する」という大枠の仕組みさえ知っていればokです。 最近読んだ以下のスライドが分かりやすかったです。 使うRetriever ドキュメント取得のRetrieverにはChatGPT Retriever PluginsをLangChainでデバッグするで作ったRetriverを利用します。 「最近話題になった英語
ChatGPT Plugins開発
Chat Plugins https://platform.openai.com/docs/plugins/introduction OpenAPI仕様書を公開しておくとGPTがそれを解釈してユーザーの入力からWebリクエストを作って処理してくれるすごいやつ プラグイン開発者は自分の作った各APIのdescriptionをちゃんと書いておけばあとはChatGPT側でよしなにやってくれる LangChainのOpenAPI Agentに仕組みは似ている Retrieval Plugin そのままフォークして使える検索用の知識を与えるプラグイン（APIサーバー）の雛形 こんな感じでAPI作れば動くよというリファレンス実装で、別にPython必須というわけではない 開発者は好きなベクトルDBを選んで自分で構築したインデックスを突っ込んでおけばOK ベクトルDBが必要な理由はテキストを入力してテキ
LiteFS+SQLiteでフルスタックNext.jsアプリケーションを作る
なぜLiteFS+SQLiteか 「個人開発のコストはDB次第」でサーバーレス環境でコンピューティングリソースを節約できたけどマネージドDBはまだ高いよ(要約)ということを言っていたら「本番環境でSQLiteを使うといいよ」と何人かの人に教えてもらってLitestreamのことを知った。 LitestreamはDBを読み書きするプロセスを1つにして利用するので、サーバーレス環境でsqliteファイルをパスで参照できて、複数箇所から掴まないように構築すれば条件は整えることができる(Cloud Runのように並行に呼び出してもインスタンスが共有されるサービス+最大サイズを1にしておく、とか)。 Litestreamのみでも便利に使えていたんだけど、プロジェクトをウォッチしていたらその後サーバーを複数台にしてそれぞれのインスタンスで同じ結果を得られたり、書き込み先を適切にハンドリングするデザイン
Firebase CLIのNext.jsデプロイ対応について調べる
Firebase HostingがNext.jsのデプロイに対応した[1] と聞きつけ、Next.jsビルドツール好き[2] [3] なので様子を見てきました。 のリポジトリを中心に調べてみます。 Firebase CLI framework-awareness とは フレームワークサポートを付与するためのFirebase CLI のアドオン。 Firebaseプロジェクトの構成に応じて、Google Cloudのリソースを構築する。 現在Next, Nuxt2/3, AngularをサポートしていてCloud Functionsにこれからのフレームワーク機能をサポートするエンドポイントを自動でデプロイしてくれる。 内部アーキテクチャ next export で .next/ ディレクトリができる firebase-frameworks.build() がプロジェクト構造を解析してフレーム
Serverless Next.js Component のISR実装を読み解く
AWS Amplify ConsoleでNext.jsのプロジェクトをデプロイすると Serverless Next.js Component のインテグレーションによってAWS Lambda リソースが最大4つ作成される(ソースコードはエクスポートできる) Default Lambda@Edge for Next CloudFront distribution API Lambda@Edge for Next CloudFront distribution Image Lambda@Edge for Next CloudFront distribution Next.js Regeneration Lambda それぞれのAWS Lambdaが行っていることを読み解くとVercelが自社で構成しているシステムの外観が分かるのではないかと思って眺めてみた (CloudFrontのコンソール
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
VercelからMySQL/PostgreSQLに接続したい場合にどういうアーキテクチャにするのが最適か