はじめに 対象イベント 読み方、使い方 Remote Code Execution(RCE) 親ディレクトリ指定によるopen_basedirのバイパス PHP-FPMのTCPソケット接続によるopen_basedirとdisable_functionsのバイパス JavaのRuntime.execでシェルを実行 Cross-Site Scripting(XSS) nginx環境でHTTPステータスコードが操作できる場合にCSPヘッダーを無効化 GoogleのClosureLibraryサニタイザーのXSS脆弱性 WebのProxy機能を介したService Workerの登録 括弧を使わないXSS /記号を使用せずに遷移先URLを指定 SOME(Same Origin Method Execution)を利用してdocument.writeを順次実行 SQL Injection MySQ
SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベースサーバを用意しなくて済む分コストも圧縮されますし、組み込みなのでアプリからは軽量に動作します。 ホスティングする場合でもFly.ioのようにボリュームイメージを利用できるPaaSを利用すれば、問題なく運用が可能です。 前置きが長くなりましたが、このような夢を叶えてくれる拡張がsqlite-vssです。ベクトル検索はFaissベースで実装されています。 とっても良さげではあるのですが、実際に組み込んでみた場合のコード例が見つからなかったので、手を動かして試
Dockerfile `�3 �� � � �� #!/usr/bin/env -S bash -c "docker run -p 8080:8080 -it --rm \$(docker build --progress plain -f \$0 . 2>&1 | tee /dev/stderr | grep -oP 'sha256:[0-9a-f]*')" # syntax = docker/dockerfile:1.4.0 FROM node:20 WORKDIR /root RUN npm install sqlite3 RUN <<EOF cat >/root/schema.sql CREATE TABLE IF NOT EXISTS clicks ( id INTEGER PRIMARY KEY AUTOINCREMENT, time INTEGER NOT NULL ); E
「Anthropic」の「MCP」(Model Context Protocol) の macOS でのクイックスタート手順をまとめました。 ・Quickstart - Model Context Protocol 【最新版の情報は以下で紹介】 1. MCP のアーキテクチャ「MCP」(Model Context Protocol) は、Claudeデスクトップなどのホストアプリケーションとローカルサービス間の安全な接続を可能にするプロトコルです。 1-1. 一般的なアーキテクチャホストアプリケーションが複数のサーバに接続できるクライアントサーバアーキテクチャに従います。 ・MCP Hosts : 「Claude Desktop」「IDE」「MCP」を介してリソースにアクセスするAIツールなどのプログラム ・MCP Clients : サーバとの 1:1 接続を維持するプロトコルクライアン
Faissを使ったFAQ検索システムの構築Facebookが開発した効率的な近似最近傍検索ライブラリFaissを使用することで、FAQ検索システムを構築することができます。 まずは、SQLiteデータベースを準備し、FAQの本文とそのIDを保存します。次に、sentence-transformersを使用して各FAQの本文の埋め込みベクトルを計算し、そのベクトルをFaissインデックスに追加します。新しいクエリが入力されたときは、sentence-transformersを使用してクエリの埋め込みベクトルを計算し、Faissインデックスを使用して、クエリの埋め込みベクトルに最も類似したFAQの埋め込みベクトルを検索します。 検索結果は、FAQのIDのリストとして返され、最後に返されたIDを使用して、SQLiteデータベースから関連するFAQの本文を取得し、検索結果としてユーザーに表示されま
日本語の全文検索ぜんぶんけんさく (full-text search, FTS) を、高速に実行する Python コード例です。 Python の標準モジュール sqlite3 を使用しました。 sqlite3 から、SQLiteエスキューライト の全文検索 (FTSエフティーエス) を使ってみました。 試したのは、FTS4エフティーエスフォー と FTS5エフティーエスファイブ の２種類です。 ところで、SQLite の読み方は色々ありました。YouTube では、エスキューライト、エスキューエライト、スィクライト、スィクエライト、などの発音を聞きました。 全文検索の使い方（FTS の使い方）ですが、テキストを N-Gram にして、FTS4 か FTS5 の仮想テーブルに INSERT するだけでした。 （2022年2月5日 追記）MeCab の使い方も書きました。 MeCab で
LLMにFactorioを遊ばせてみた
皆さんFactorioをご存知でしょうか？ 宇宙飛行の途中に未知の惑星に不時着してしまったエンジニアが、脱出用ロケットを完成させることをゴールとして石炭・鉄・銅といった資源を採掘して様々な設備・素材を生産しながら自動化工場を構築・拡張していくゲームなのですが、ベルトコンベアを使った物流システムを駆使した生産の効率化・自動化要素が奥深く、あまたのエンジニアを廃人にしてきたことで有名なゲームです。 先日、そんなFactorioを題材としたプレプリントが公開されました。 この論文では、FactorioをLLMのベンチマークとして使うことを提案しています。LLM技術の進歩が目覚ましい昨今ではベンチマークの飽和が大きな課題となっており、Factorioのように規模がログスケールで変化するようなゲームを利用することで、LLMの長期的なプランニング能力や扱える情報量を評価できるとしています。 Facto
Pythonで簡単DB - Qiita
pythonでsqlite3データベースを簡単に使う SQLとかわかんないよみたいな方だってデータベースに触れたら世界が変わるかも知れない。わかんないけど。 ほとんどの場合ざっくりと簡単なクエリ発行で事足りる場合が多いので、SQLに詳しい方だって多分楽できるかも。 DBクラスとDBwrapperクラス ほぼ素に近い状態でsqliteを使うDBクラスと、そのDBクラスを継承して簡単に使えるファンクションを追加したのがDBwrapperクラス。 DBwrapperクラスはDBクラスのファンクションを全部使えるのでとりあえずDBwrapperクラスを取り込んで使えば便利。 たとえば dict型でデータを作って set とか読んでやればDBにデータを挿入・更新できたり get をforで回してやれば1行づつデータが取り出せる。 データの件数も count で取り出せるぞ、手軽だね。 詳しくは以下の
SQL マイグレーション作成ツール prrn を公開しました。 利用すれば Go 等のプロジェクトでの SQL マイグレーションが楽に行えるようになるかと思います。 現状は MySQL のみの対応となっています。 通常 Go などの言語で RDB へのマイグレーションを行う際は、Up/Down ファイルを記述することが多いと思います。 しかしながら多くのALTER TABLEが記述された Up/Down ファイルから最終的なスキーマ定義を知ることは難しく、実際に適用するまで分かりにくい事が多いと思います。 また、マイグレーションのファイルを記述する際もそこそこ面倒で、常に Up/Down をセットで記述するべきですがミスも起こりやすいように思います。 今回作成したツールは、宣言的にテーブルを定義する SQL ファイルからマイグレーションファイルを自動生成します。 定義ファイルにはCREAT
ソーシャルメディアやウェブアプリケーションでは、ユーザーがコンテンツに対して「いいね」や「いいね」ボタンを押す機能が一般的です。これはユーザーエンゲージメントを向上させ、コンテンツの評価や共有を促進するための重要な機能です。今回は、Pythonを使用してシンプルないいね機能を実装する方法について説明します。 いいね機能の基本的な仕組み いいね機能の基本的な仕組みは、ユーザーがコンテンツに対していいねを押すと、その情報がサーバーに送信され、データベースに反映されるというものです。具体的には、各コンテンツに一意なIDがあり、ユーザーがボタンを押すとそのIDとユーザーIDがデータベースに保存されます。 データベースの設計 まず、いいね情報を格納するためのデータベースを設計します。以下は、SQLiteを使用した簡単な例です。 import sqlite3 conn = sqlite3.connec
An interesting twist in my recent usage of SQLite was the fact that I noticed my research scripts and the database intertwine more. SQLite is unique in that it really lives in-process, unlike standalone database servers. There is a feature to that which does not get used very frequently, but can be indispensable in some situations. By the way, the talk about the system that made me me to explore S
LLMs and SQL
Francisco Ingham and Jon Luo are two of the community members leading the change on the SQL integrations. We’re really excited to write this blog post with them going over all the tips and tricks they’ve learned doing so. We’re even more excited to announce that we’ll be doing an hour long webinar with them to discuss these learnings and field other related questions. This webinar will be on March
参考文献 ※1 EDINET API機能追加に係る利用者向け説明会資料 ※2 EDINET API仕様書 Version2 ①会社名の選択 まず会社一覧及び、会社のEDINETコードが必要になってきます。 これについてはAPIで取得する方法はなく公式サイトからZIPを落としてくるか ここからプログラム的に自動でダウンロードする必要があります。 今回は手動であらかじめダウンロードしたものを使います。 公式サイトからダウンロードすると毎回リンクが変わる、上記の直接リンクだと固定という謎仕様のようです（ドキュメントにもそうかいてある） ZIPを展開するとShift-JISのCSVが手に入ります。文字コードに注意しましょう。EDINETからダウンロードするCSVはUTF16なのにこっちはShiftJISなのです。 中身は上記のようなもになっています。 末尾に0がついているものの証券コードも入ってい
本記事では、11月26日に公開された Claude の Model Context Protocol (MCP) を使って、エンジニアでない人でも、 Claudeと外部アプリを連携できる方法をご紹介します。全て無料の部分で実装可能です！ そもそもMCPとはエンジニアの方も、エンジニアでない方もなかなか聞き馴染みのないワードだと思いますので、一度ChatGPTに聞いてみましょう。 ChatGPTの回答にあるように、MCPはAIモデルがどのように情報を保存し、活用するかを定めたガイドライン、いわばルールブックのようなものです。 Claude MCPは、このガイドラインに沿って、Claudeがコンピュータ上にあるファイルやデータベースといった外部の情報にアクセスし、活用することができます。 MCPの仕組みMCPは、クライアント・サーバーモデルという仕組みで動作します。これは、ユーザーのコンピュー
Published on 2022-01-04, 1640 words, 6 minutes to read It is clear that most of the world has decided that they want to use JSON for their public-facing API endpoints. However, most of the time you will need to deal with storage engines that don't deal with JSON very well. This can be confusing to deal with because you need to fit a square peg into a round hole. However, SQLite added JSON function
Python初心者がFastAPIでTodo(API)を作ってみた 前提 Python 3.9 FastAPI 0.88 sqlmodel sqlite3 開発環境 MacBook + VScode FastAPIについて 特徴 公式より引用 高速: NodeJS や Go 並みのとても高いパフォーマンス (Starlette と Pydantic のおかげです)。 最も高速な Python フレームワークの一つです. 高速なコーディング: 開発速度を約 200%~300%向上させます。 少ないバグ: 開発者起因のヒューマンエラーを約 40％削減します。 直感的: 素晴らしいエディタのサポートや オートコンプリート。 デバッグ時間を削減します。 簡単: 簡単に利用、習得できるようにデザインされています。ドキュメントを読む時間を削減します。 短い: コードの重複を最小限にしています。各パラメ
PythonとSQLの連携: データベース操作の新しい次元 - Python転職初心者向けエンジニアリングブログ
**** SQL（Structured Query Language）はデータベース管理システムで広く使用される言語であり、Pythonとの連携により柔軟で効率的なデータベース操作が可能です。今回は、PythonからSQLを利用してデータベースに接続し、クエリを実行する手法について具体的なコードとともに解説します。 1. PythonからSQLiteデータベースに接続する 最初に、PythonからSQLiteデータベースに接続する例を見てみましょう。SQLiteは軽量でシンプルなデータベースエンジンであり、Python標準ライブラリにも含まれています。 Pythonのコード import sqlite3 # SQLiteデータベースに接続 conn = sqlite3.connect('sample.db') # カーソルを取得 cursor = conn.cursor() # データベー
の類ですね。出現頻度も高く、postfixに負荷がかかるし、第一気持ち悪いので、自動的にblockする方法を考えました。 これは、Linuxサーバーで不正なパケットを検知し、自動的にブロックするPythonスクリプトです。syslogのログファイルを監視し、指定された正規表現パターンにマッチする不正なパケットをブロックするために、iptablesを使用します。また、特定のIPアドレスがブロックされている期間を追跡するために、sqlite3を使用します。 このスクリプトを使用することで、不正なパケットを自動的にブロックし、サーバーの負荷を軽減できます。また、手動でIPアドレスをブロックする必要がなく、セキュリティの向上に役立ちます。 fail2banという類似するシステムがあります。ipblock.pyはfail2banのように複数のlogを監視しません。何回か、その攻撃があったら、処断する
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2020年】CTF Web問題の攻撃手法まとめ - こんとろーるしーこんとろーるぶい
SQLiteでベクトル検索ができる拡張sqlite-vssを試す｜mah_lab / 西見 公宏
#!/usr/bin/env docker run
Anthropic の MCP のクイックスタート｜npaka
最近話題のVector Searchを実現するFaissって何？ #1｜masuidrive
【Python】SQLite で日本語を全文検索するコード例【N-Gram, FTS4/FTS5】
マイグレーション作成ツールprrnを作った
Pythonでいいね機能を実装する方法 - Python転職初心者向けエンジニアリングブログ
Supercharge SQLite with Ruby Functions
StreamlitでEDINETから有価証券報告書をダウンロードして分析するWEBアプリをサクっとつくろう
【徹底解説】Claude MCPの基本と使い方：データベース連携編｜ChatGPT研究所
Bashing JSON into Shape with SQLite
Python初心者がFastAPIでTodo(API)を作ってみた - Qiita
ipblock - 超小型fail2ban - Qiita