はじめに 2021年、Pythonで複数の暗号系ライブラリを開発してPyPIで公開してきました。その過程で、setuptools、flit、poetryと、幾つかのパッケージ管理をわたり歩き、GitHub上でのCI/CDも色々試す中で私的なべスプラが定まってきたので、2022年初に備忘録としてまとめておきます。 具体的には、pyenv、poetry、pre-commit、tox、GitHub Actions を活用し、低コストで（＝なるべく自動で）、高品質のプロダクトをPyPIにデプロイする方法・設定を共有します。個別のツールの記事はよく目にするのですが、開発ライフサイクル全体をカバーする記事がなかなか無かったので。 開発環境の整備 - pyenvで複数のPythonバージョンでの開発環境を整備 パッケージ管理 - poetry/pyproject.tomlでの一元的なパッケージ管理 静的
SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベースサーバを用意しなくて済む分コストも圧縮されますし、組み込みなのでアプリからは軽量に動作します。 ホスティングする場合でもFly.ioのようにボリュームイメージを利用できるPaaSを利用すれば、問題なく運用が可能です。 前置きが長くなりましたが、このような夢を叶えてくれる拡張がsqlite-vssです。ベクトル検索はFaissベースで実装されています。 とっても良さげではあるのですが、実際に組み込んでみた場合のコード例が見つからなかったので、手を動かして試
# pip3 install pylint # pylint main.py ************* Module main main.py:10:0: C0301: Line too long (114/100) (line-too-long) main.py:97:0: C0305: Trailing newlines (trailing-newlines) main.py:1:0: C0114: Missing module docstring (missing-module-docstring) main.py:28:0: C0115: Missing class docstring (missing-class-docstring) main.py:32:0: C0116: Missing function or method docstring (missing-funct
We recently added Python support to Wasm Language Runtimes. This article provides an overview of how Python works in WebAssembly environments and provides a step by step guide on how to use it. At VMware OCTO WasmLabs we want to grow the WebAssembly ecosystem by helping developers adopt this new and exciting technology. Our Wasm Language Runtimes project aims to provide up-to-date, ready-to-run We
11th March 2025 Online discussions about using Large Language Models to help write code inevitably produce comments from developers who’s experiences have been disappointing. They often ask what they’re doing wrong—how come some people are reporting such great results when their own experiments have proved lacking? Using LLMs to write code is difficult and unintuitive. It takes significant effort
Faissを使ったFAQ検索システムの構築Facebookが開発した効率的な近似最近傍検索ライブラリFaissを使用することで、FAQ検索システムを構築することができます。 まずは、SQLiteデータベースを準備し、FAQの本文とそのIDを保存します。次に、sentence-transformersを使用して各FAQの本文の埋め込みベクトルを計算し、そのベクトルをFaissインデックスに追加します。新しいクエリが入力されたときは、sentence-transformersを使用してクエリの埋め込みベクトルを計算し、Faissインデックスを使用して、クエリの埋め込みベクトルに最も類似したFAQの埋め込みベクトルを検索します。 検索結果は、FAQのIDのリストとして返され、最後に返されたIDを使用して、SQLiteデータベースから関連するFAQの本文を取得し、検索結果としてユーザーに表示されま
iOS Hacking - A Beginner’s Guide to Hacking iOS Apps [2022 Edition]
My first post will be about iOS Hacking, a topic I’m currently working on, so this will be a kind of gathering of all information I have found in my research. It must be noted that I won’t be using any MacOS tools, since the computer used for this task will be a Linux host, specifically a Debian-based distribution, in this case, Kali Linux. I will also be using ‘checkra1n’ for the device jailbreak
How I run multiple $10K MRR companies on a $20/month tech stack
Last night, I was rejected from yet another pitch night. It was just the pre-interview, and the problem wasn't my product. I already have MRR. I already have users who depend on it every day. The feedback was simply: "What do you even need funding for?" I hear this time and time again when I try to grow my ideas. Running lean is in my DNA. I've built tools you might have used, like websequencediag
GitHub - 9001/copyparty: Portable file server with accelerated resumable uploads, dedup, WebDAV, SFTP, FTP, TFTP, zeroconf, media indexer, thumbnails++ all in one file
turn almost any device into a file server with resumable uploads/downloads using any web browser server only needs Python (2 or 3), all dependencies optional 🔌 protocols: http(s) // webdav // sftp // ftp(s) // tftp // smb/cifs 📱 android app // iPhone shortcuts 👉 Get started! or visit the read-only demo server 👀 running on a nuc in my basement 📷 screenshots: browser // upload // unpost // thum
AWS Lambda Pythonでsqlite-vssによるベクトル検索を利用する - maybe daily dev notes
昨今LLMの台頭により、テキストをベクトル化して類似文書の検索に利用する手法が流行っています。 今回はAWSでこの検索を実現するための一方法として、SQLiteのプラグインであるsqlite-vssをAWS Lambda上で使う方法をまとめます。 github.com 意外とハマりどころや特有の考慮事項が多いので、必見です！ アーキテクチャ LambdaでSQLite？と思った方のため、このアーキテクチャの要点をまとめます。 このアーキテクチャのメリットは、完全なサーバーレスでベクトル検索を実行できる点です。OpenSearchやPostgres (pgvector)、Redisなどのインスタンスを管理する必要はありません。サーバーレスの利点はもはや言うまでもないでしょう。 また、SQLiteを使うため、ベクトルだけでなく他のリレーショナルなデータをあわせて格納できる点も便利でしょう。例え
ハイパーパラメータ自動最適化フレームワークOptunaの新しいバージョンであるv3.4がリリースされました。今回のリリースには、ユーザーの相対的な評価結果をもとに最適化を行う新機能 “Preferential Optimization” や、ファイル管理機構、Jupyter Lab拡張、VS Code拡張が含まれています。 ✨ハイライト機能 選好に基づく最適化 (Preferential Optimization) 今回のリリースでは、選好に基づく最適化 (Preferential Optimization)が導入されました。この機能は、画像生成や音声合成、自然言語生成タスクのように、生成物の定量的な評価が難しく、人間が主観的な評価をつける必要があるタスクにおいて特に有用です。 Optuna 3.2においてサポートされたHuman-in-the-Loop最適化では、絶対評価のみが可能となっ
Ubuntu 24.04 開発・研究環境構築ガイド
【概要】本ガイドでは、Ubuntu 24.04 LTSにおける各種ソフトウェアのインストール手順を説明する。プログラミング環境（C/C++、Python、Java、R）、NVIDIA GPU環境（ドライバ、CUDA、cuDNN）、データベース（PostgreSQL）、人工知能・機械学習ライブラリ、3次元コンピュータグラフィックス・地理情報システム・メディア処理ツール、エディタ・統合開発環境などを扱う。 【この記事の対象読者】Ubuntu 24.04 LTS上で開発・研究を行いたい大学生や技術者。C/C++やPythonによるプログラミング、人工知能・機械学習、3次元コンピュータグラフィックス制作、データベース管理などの環境を構築したい人を対象としている。Windows 環境向けの情報は別ページ »で説明している。 【重要概念】 LTS (Long Term Support): 5年間のセキ
初心者向け Pythonanywhereを使ってみよう（2023/09/09色々追加あり） - Qiita
目的 Pythonで書いたWebプログラムを簡単にインターネット環境で使えるようになる「Pythonanywhere」の使い方、主に自分が書いたコードをデプロイして公開するまでのやり方について自分のためのメモ書きとして残すことであります。そして多少なりとも初心者の「やってみたい！」という気持ちに向けて、未知の世界へトライする時に越えなけりゃならないなにがしかのハードルを少しでも低くすることができれば、同じ初心者としてうれしいです。 環境 Pythonanywhere上の環境は以下の通り Python==3.8 Django==3.2.3 PythonanywhereはPythonのバージョン指定ができます。Djangoなど必要なライブラリはConsoleからバージョンを選択してinstallできます、ってかHerokuみたいなrequirements.txtが使えるかどうかよくわからんから
Python初心者がFastAPIでTodo(API)を作ってみた 前提 Python 3.9 FastAPI 0.88 sqlmodel sqlite3 開発環境 MacBook + VScode FastAPIについて 特徴 公式より引用 高速: NodeJS や Go 並みのとても高いパフォーマンス (Starlette と Pydantic のおかげです)。 最も高速な Python フレームワークの一つです. 高速なコーディング: 開発速度を約 200%~300%向上させます。 少ないバグ: 開発者起因のヒューマンエラーを約 40％削減します。 直感的: 素晴らしいエディタのサポートや オートコンプリート。 デバッグ時間を削減します。 簡単: 簡単に利用、習得できるようにデザインされています。ドキュメントを読む時間を削減します。 短い: コードの重複を最小限にしています。各パラメ
Anacondaで仮想環境を構築する方法
アプリ開発などではプロジェクト毎にPythonのバージョンや必要なライブラリ等の必要な環境が異なります。パッケージ管理システムのAnacondaを使うと、プロジェクト毎に仮想環境を構築して、1つのローカルマシン上で複数の独立した環境を簡単に行き来することができます。今回はAnacondaで仮想環境(以下conda環境)を構築する方法と、構築した環境の確認方法をまとめました。 以下の環境を前提とします。 windows 10 (64bit)anaconda 4.8.2をインストール済み conda環境を作成する Terminal上で以下のコマンドを使ってmyenvという名前のconda環境を作成します。 conda create -n myenv conda環境を作成する時に、バージョンを指定して一緒にpythonをインストールすることができます。pandas等のライブラリも一緒にインストー
RAGを自分の手で作って理解する(1)ベクトル検索の仕組みをvibe-localとSQLiteの300行で体験する #VibeLocal｜白井暁彦 aka しらいはかせ
RAGを自分の手で作って理解する(1)ベクトル検索の仕組みをvibe-localとSQLiteの300行で体験する #VibeLocal 「RAGとは何なのか」これを3万文字ぐらいのブログで解説してみたのだけど、あまりに長すぎるので分割します。 はじめに「RAG」という言葉をよく聞くようになった。Retrieval-Augmented Generation、検索拡張生成。LLM に外部知識を与えて回答精度を上げる技術だ。 しかし、多くの人にとって RAG は 「わかったつもり」 の技術ではないだろうか。「ベクトル検索で関連文書を取得してプロンプトに注入する」── 説明はできる。でも、ベクトルの中身を見たことがあるか？ SQLite を開いて embedding の BLOB を覗いたことは？ コサイン類似度を自分の手で計算したことは？ 商用サービス（Pinecone、Weaviate、Op
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonでの開発・CI/CDの私的ベストプラクティス2022
SQLiteでベクトル検索ができる拡張sqlite-vssを試す｜mah_lab / 西見 公宏
Pythonのセキュリティ関連ライブラリを試してみました。 - Qiita
Adding Python WASI support to Wasm Language Runtimes
Here’s how I use LLMs to help me write code
最近話題のVector Searchを実現するFaissって何？ #1｜masuidrive
Announcing Optuna 3.4 - Preferred Networks Tech Blog
Python初心者がFastAPIでTodo(API)を作ってみた - Qiita