はじめに 2021年、Pythonで複数の暗号系ライブラリを開発してPyPIで公開してきました。その過程で、setuptools、flit、poetryと、幾つかのパッケージ管理をわたり歩き、GitHub上でのCI/CDも色々試す中で私的なべスプラが定まってきたので、2022年初に備忘録としてまとめておきます。 具体的には、pyenv、poetry、pre-commit、tox、GitHub Actions を活用し、低コストで（＝なるべく自動で）、高品質のプロダクトをPyPIにデプロイする方法・設定を共有します。個別のツールの記事はよく目にするのですが、開発ライフサイクル全体をカバーする記事がなかなか無かったので。 開発環境の整備 - pyenvで複数のPythonバージョンでの開発環境を整備 パッケージ管理 - poetry/pyproject.tomlでの一元的なパッケージ管理 静的
はじめに 対象イベント 読み方、使い方 Remote Code Execution(RCE) 親ディレクトリ指定によるopen_basedirのバイパス PHP-FPMのTCPソケット接続によるopen_basedirとdisable_functionsのバイパス JavaのRuntime.execでシェルを実行 Cross-Site Scripting(XSS) nginx環境でHTTPステータスコードが操作できる場合にCSPヘッダーを無効化 GoogleのClosureLibraryサニタイザーのXSS脆弱性 WebのProxy機能を介したService Workerの登録 括弧を使わないXSS /記号を使用せずに遷移先URLを指定 SOME(Same Origin Method Execution)を利用してdocument.writeを順次実行 SQL Injection MySQ
API シナリオテストツール Postman・Tavern・runn 徹底比較 – 私が runn を選んだ理由 - TechDoctor開発者Blog
はじめに はじめまして、テックドクターでバックエンドエンジニアをしている筧と申します。 最近、弊社では API の品質を担保するために「API シナリオテスト」をプロダクトに導入しました。今回は、この API シナリオテストのツールである Postman(+Newman)、Tavern そして runn を比較し、最終的に runn を選んだ理由をご紹介します。 API シナリオテストとは？ API シナリオテストとはなんでしょうか？ 開発におけるテストといえば、ユニットテストや結合テスト、API テストや E2E テストなどをよく耳にします。しかしAPI シナリオテストという言葉はあまり聞き馴染みがないという方も多いかもしれません。 API シナリオテストは API テストの一種で、複数の API を連鎖的に呼び出して実行するテストです。以下の特徴を持っています。 複数の API を順序
We recently added Python support to Wasm Language Runtimes. This article provides an overview of how Python works in WebAssembly environments and provides a step by step guide on how to use it. At VMware OCTO WasmLabs we want to grow the WebAssembly ecosystem by helping developers adopt this new and exciting technology. Our Wasm Language Runtimes project aims to provide up-to-date, ready-to-run We
Ubuntu Weekly Recipe 第861回systemdの開発者が作ったmkosiで、お手軽にルートファイルシステムを構築する ソフトウェアの作成時における悩ましい問題のひとつが「動作確認環境の構築」です。今回はこの動作確認環境をCI等から作成・利用しやすい「mkosi」について紹介しましょう。 mkosiとは 「mkosi」とはさまざまなディストリビューションの起動可能なOSツリーやイメージを作成するツールです。URLからもわかるように、systemdの開発者たちがsystemdの動作確認用に作ったツールでもあります。その名前の由来は「Make Operating System Image」であり、次のような機能を備えています。 UbuntuやFedoraを含むさまざまなディストリビューションのルートファイルシステムに対応 個々のリリースやCPUアーキテクチャーを指定できる
Wallabagとは 現在、Webには様々な情報が次々と流れてきます。ですがこうした情報のひとつひとつを、その場で順番通りに熟読するのは非効率ですし、なにより現実的ではありません。そこで興味のある記事にはマークをつけておき、あとでまとめて読む、というスタイルを取っている方も多いのではないでしょうか。また最近のSNSは、ポストが必ずしも時系列に並ばなくなってきています。「朝見かけたポストで紹介されていた面白そうな記事に、二度と辿りつけない」といった経験のある方も多いでしょう。そのため「面白そうなものは、見かけたらその場でクリップする」重要性は、ますます高まっているのではないでしょうか。 WebブラウザのFirefoxを利用している方であれば、MozillaのPocketというサービスをご存知でしょう。これはWebページを「あとで読む」ために保存するサービスです。PocketはFirefox
11th March 2025 Online discussions about using Large Language Models to help write code inevitably produce comments from developers who’s experiences have been disappointing. They often ask what they’re doing wrong—how come some people are reporting such great results when their own experiments have proved lacking? Using LLMs to write code is difficult and unintuitive. It takes significant effort
iOS Hacking - A Beginner’s Guide to Hacking iOS Apps [2022 Edition]
My first post will be about iOS Hacking, a topic I’m currently working on, so this will be a kind of gathering of all information I have found in my research. It must be noted that I won’t be using any MacOS tools, since the computer used for this task will be a Linux host, specifically a Debian-based distribution, in this case, Kali Linux. I will also be using ‘checkra1n’ for the device jailbreak
GitHub - 9001/copyparty: Portable file server with accelerated resumable uploads, dedup, WebDAV, SFTP, FTP, TFTP, zeroconf, media indexer, thumbnails++ all in one file
turn almost any device into a file server with resumable uploads/downloads using any web browser server only needs Python (2 or 3), all dependencies optional 🔌 protocols: http(s) // webdav // sftp // ftp(s) // tftp // smb/cifs 📱 android app // iPhone shortcuts 👉 Get started! or visit the read-only demo server 👀 running on a nuc in my basement 📷 screenshots: browser // upload // unpost // thum
[Browser Use] 触ってみた結果と感想
# 必要なライブラリをインポート from langchain_openai import ChatOpenAI # OpenAIのチャットモデルを利用するためのライブラリ from browser_use import Agent # エージェント機能を提供するライブラリ import asyncio # 非同期処理を使うためのライブラリ # 非同期関数mainを定義 async def main(): # Agentのインスタンスを作成 agent = Agent( task="Zennで小倉さんというユーザーの最新記事を教えて", # エージェントに対するタスク（質問） llm=ChatOpenAI(model="gpt-4o", api_key="xxxxxxxxxxxxxx"), # GPT-4oモデルを使う（APIキーは仮の値） ) # エージェントにタスクを実行させ、その結果
![[Browser Use] 触ってみた結果と感想](https://cdn-ak-scissors.b.st-hatena.com/image/square/27a6a4206c6ccf3936294efcfba85be9ce922f90/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--41ff8_pi--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BBrowser%252520Use%25255D%252520%2525E8%2525A7%2525A6%2525E3%252581%2525A3%2525E3%252581%2525A6%2525E3%252581%2525BF%2525E3%252581%25259F%2525E7%2525B5%252590%2525E6%25259E%25259C%2525E3%252581%2525A8%2525E6%252584%25259F%2525E6%252583%2525B3%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E5%2525B0%25258F%2525E5%252580%252589%2525E3%252581%252582%2525E3%252582%252593%252520%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2FhZTc3ZDA0MzcuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
AWS Lambda Pythonでsqlite-vssによるベクトル検索を利用する - maybe daily dev notes
昨今LLMの台頭により、テキストをベクトル化して類似文書の検索に利用する手法が流行っています。 今回はAWSでこの検索を実現するための一方法として、SQLiteのプラグインであるsqlite-vssをAWS Lambda上で使う方法をまとめます。 github.com 意外とハマりどころや特有の考慮事項が多いので、必見です！ アーキテクチャ LambdaでSQLite？と思った方のため、このアーキテクチャの要点をまとめます。 このアーキテクチャのメリットは、完全なサーバーレスでベクトル検索を実行できる点です。OpenSearchやPostgres (pgvector)、Redisなどのインスタンスを管理する必要はありません。サーバーレスの利点はもはや言うまでもないでしょう。 また、SQLiteを使うため、ベクトルだけでなく他のリレーショナルなデータをあわせて格納できる点も便利でしょう。例え
本記事では、11月26日に公開された Claude の Model Context Protocol (MCP) を使って、エンジニアでない人でも、 Claudeと外部アプリを連携できる方法をご紹介します。全て無料の部分で実装可能です！ そもそもMCPとはエンジニアの方も、エンジニアでない方もなかなか聞き馴染みのないワードだと思いますので、一度ChatGPTに聞いてみましょう。 ChatGPTの回答にあるように、MCPはAIモデルがどのように情報を保存し、活用するかを定めたガイドライン、いわばルールブックのようなものです。 Claude MCPは、このガイドラインに沿って、Claudeがコンピュータ上にあるファイルやデータベースといった外部の情報にアクセスし、活用することができます。 MCPの仕組みMCPは、クライアント・サーバーモデルという仕組みで動作します。これは、ユーザーのコンピュー
Ubuntu 24.04 開発・研究環境構築ガイド
【概要】本ガイドでは、Ubuntu 24.04 LTSにおける各種ソフトウェアのインストール手順を説明する。プログラミング環境（C/C++、Python、Java、R）、NVIDIA GPU環境（ドライバ、CUDA、cuDNN）、データベース（PostgreSQL）、人工知能・機械学習ライブラリ、3次元コンピュータグラフィックス・地理情報システム・メディア処理ツール、エディタ・統合開発環境などを扱う。 【この記事の対象読者】Ubuntu 24.04 LTS上で開発・研究を行いたい大学生や技術者。C/C++やPythonによるプログラミング、人工知能・機械学習、3次元コンピュータグラフィックス制作、データベース管理などの環境を構築したい人を対象としている。Windows 環境向けの情報は別ページ »で説明している。 【重要概念】 LTS (Long Term Support): 5年間のセキ
初心者向け Pythonanywhereを使ってみよう（2023/09/09色々追加あり） - Qiita
目的 Pythonで書いたWebプログラムを簡単にインターネット環境で使えるようになる「Pythonanywhere」の使い方、主に自分が書いたコードをデプロイして公開するまでのやり方について自分のためのメモ書きとして残すことであります。そして多少なりとも初心者の「やってみたい！」という気持ちに向けて、未知の世界へトライする時に越えなけりゃならないなにがしかのハードルを少しでも低くすることができれば、同じ初心者としてうれしいです。 環境 Pythonanywhere上の環境は以下の通り Python==3.8 Django==3.2.3 PythonanywhereはPythonのバージョン指定ができます。Djangoなど必要なライブラリはConsoleからバージョンを選択してinstallできます、ってかHerokuみたいなrequirements.txtが使えるかどうかよくわからんから
Anacondaで仮想環境を構築する方法
アプリ開発などではプロジェクト毎にPythonのバージョンや必要なライブラリ等の必要な環境が異なります。パッケージ管理システムのAnacondaを使うと、プロジェクト毎に仮想環境を構築して、1つのローカルマシン上で複数の独立した環境を簡単に行き来することができます。今回はAnacondaで仮想環境(以下conda環境)を構築する方法と、構築した環境の確認方法をまとめました。 以下の環境を前提とします。 windows 10 (64bit)anaconda 4.8.2をインストール済み conda環境を作成する Terminal上で以下のコマンドを使ってmyenvという名前のconda環境を作成します。 conda create -n myenv conda環境を作成する時に、バージョンを指定して一緒にpythonをインストールすることができます。pandas等のライブラリも一緒にインストー
Python初心者がFastAPIでTodo(API)を作ってみた 前提 Python 3.9 FastAPI 0.88 sqlmodel sqlite3 開発環境 MacBook + VScode FastAPIについて 特徴 公式より引用 高速: NodeJS や Go 並みのとても高いパフォーマンス (Starlette と Pydantic のおかげです)。 最も高速な Python フレームワークの一つです. 高速なコーディング: 開発速度を約 200%~300%向上させます。 少ないバグ: 開発者起因のヒューマンエラーを約 40％削減します。 直感的: 素晴らしいエディタのサポートや オートコンプリート。 デバッグ時間を削減します。 簡単: 簡単に利用、習得できるようにデザインされています。ドキュメントを読む時間を削減します。 短い: コードの重複を最小限にしています。各パラメ
Swift on FreeBSD Preview
We have been hard at work to bring the Swift toolchain to FreeBSD. A preview Swift bundle for FreeBSD 14.3+ is available at https://download.swift.org/tmp-ci-nightly/development/freebsd-14_ci_latest.tar.gz. The bundle contains a Swift development compiler and Swift runtimes needed for compiling Swift programs on, and for, FreeBSD 14 on x86_64 machines. Dependencies The Swift compiler and runtimes
の類ですね。出現頻度も高く、postfixに負荷がかかるし、第一気持ち悪いので、自動的にblockする方法を考えました。 これは、Linuxサーバーで不正なパケットを検知し、自動的にブロックするPythonスクリプトです。syslogのログファイルを監視し、指定された正規表現パターンにマッチする不正なパケットをブロックするために、iptablesを使用します。また、特定のIPアドレスがブロックされている期間を追跡するために、sqlite3を使用します。 このスクリプトを使用することで、不正なパケットを自動的にブロックし、サーバーの負荷を軽減できます。また、手動でIPアドレスをブロックする必要がなく、セキュリティの向上に役立ちます。 fail2banという類似するシステムがあります。ipblock.pyはfail2banのように複数のlogを監視しません。何回か、その攻撃があったら、処断する
RAGを自分の手で作って理解する(1)ベクトル検索の仕組みをvibe-localとSQLiteの300行で体験する #VibeLocal｜白井暁彦 aka しらいはかせ
RAGを自分の手で作って理解する(1)ベクトル検索の仕組みをvibe-localとSQLiteの300行で体験する #VibeLocal 「RAGとは何なのか」これを3万文字ぐらいのブログで解説してみたのだけど、あまりに長すぎるので分割します。 はじめに「RAG」という言葉をよく聞くようになった。Retrieval-Augmented Generation、検索拡張生成。LLM に外部知識を与えて回答精度を上げる技術だ。 しかし、多くの人にとって RAG は 「わかったつもり」 の技術ではないだろうか。「ベクトル検索で関連文書を取得してプロンプトに注入する」── 説明はできる。でも、ベクトルの中身を見たことがあるか？ SQLite を開いて embedding の BLOB を覗いたことは？ コサイン類似度を自分の手で計算したことは？ 商用サービス（Pinecone、Weaviate、Op
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonでの開発・CI/CDの私的ベストプラクティス2022
【2020年】CTF Web問題の攻撃手法まとめ - こんとろーるしーこんとろーるぶい
Adding Python WASI support to Wasm Language Runtimes
第861回 systemdの開発者が作ったmkosiで、お手軽にルートファイルシステムを構築する | gihyo.jp
第867回 「後で読む」サービスのWallabagをUbuntuでセルフホストする | gihyo.jp
Here’s how I use LLMs to help me write code
【徹底解説】Claude MCPの基本と使い方：データベース連携編｜AGIラボ
Python初心者がFastAPIでTodo(API)を作ってみた - Qiita
ipblock - 超小型fail2ban - Qiita