はじめに 対象イベント 読み方、使い方 Remote Code Execution(RCE) 親ディレクトリ指定によるopen_basedirのバイパス PHP-FPMのTCPソケット接続によるopen_basedirとdisable_functionsのバイパス JavaのRuntime.execでシェルを実行 Cross-Site Scripting(XSS) nginx環境でHTTPステータスコードが操作できる場合にCSPヘッダーを無効化 GoogleのClosureLibraryサニタイザーのXSS脆弱性 WebのProxy機能を介したService Workerの登録 括弧を使わないXSS /記号を使用せずに遷移先URLを指定 SOME(Same Origin Method Execution)を利用してdocument.writeを順次実行 SQL Injection MySQ
SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベースサーバを用意しなくて済む分コストも圧縮されますし、組み込みなのでアプリからは軽量に動作します。 ホスティングする場合でもFly.ioのようにボリュームイメージを利用できるPaaSを利用すれば、問題なく運用が可能です。 前置きが長くなりましたが、このような夢を叶えてくれる拡張がsqlite-vssです。ベクトル検索はFaissベースで実装されています。 とっても良さげではあるのですが、実際に組み込んでみた場合のコード例が見つからなかったので、手を動かして試
sqlc を TypeScript で利用する
2024 年 12 月 25 日追記 sqlc と sqlc-gen-typescript は積極的なメンテナンスがされていないため、採用するときは注意してください。 まとめ sqlc-gen-typescript かなり良い 自分が TypeScript でウェブアプリを利用するなら間違いなく sqlc を選択する SQL は共通言語という点で本当に偉大 sqlc とは sqlc とは Go で書かれた SQL を元にコードを生成するツール。 なぜ sqlc ? 結局、それぞれの ORM 固有の技術を覚えるくらいなら SQL を覚えた方が早い 拡張に ORM が対応していようがいまいが関係ない SQL パーサーが libpg_query という実際の PostgreSQL サーバーソースを使用している wasilibs/go-pgquery を利用しているので信頼できる Wasm 化され
Joining CSV and JSON data with an in-memory SQLite database
19th June 2021 The new sqlite-utils memory command can import CSV and JSON data directly into an in-memory SQLite database, combine and query it using SQL and output the results as CSV, JSON or various other formats of plain text tables. sqlite-utils memory The new feature is part of sqlite-utils 3.10, which I released this morning. You can install it using brew install sqlite-utils or pip install
(2024/05/01追記) CodeWhispererがAmazon Qに吸収されたみたいです。 今から読む人は、CodeWhispererをAmazon Qに読み替えていただければと思います。 言いたいこと VSCode上でAmazon CodeWhispererに脆弱性診断をさせてGitHub Copilot Chatにその解説をさせると、とても捗るよ。 もう少し細かい説明 GitHub CopilotやAmazon CodeWhispererって何？ GitHub Copilotは、IDE上でAIがコーディングの補完をしてくれるGitHub提供のサービスです。 Amazon CodeWhispererは、IDE上でAIがコーディングの補完をしてくれるAWS提供のサービスです。 つまり競合しています。比較用に両方を使ったことがある人はいても、日常的に同時使用している人は少ないのではな
ISUCON12予選参加記 Rustで予選突破した
2022年7月23日(土) に開催された ISUCON 12 に Rust で参加して20位で予選突破しました。 チーム チームO omu: https://omuric.github.io/posts/isucon12-qualify/ dice801: https://zenn.dev/dice801/articles/760f8fc6af5a08 daiju (自分) 事前準備 基本的には前年までに用意したツールを活用する cargo-make で3台の EC2 への deploy や再起動やログの集計をコマンド一発で実行可能にする isuconf で現地と手元の設定ファイルの同期 omu の自作コマンド どちらも年に1回しか登場しないので、事前の練習でコマンドを手に馴染ませておく。 Rust のためのトレースツールの整備 https://github.com/hinohi/rust
Hypothesisとは何か、プロパティベーステストとは何か Hypothesisは、Python向けのプロパティベーステストのライブラリである。 プロパティベーステストは、生成された多数の入力データに対してプロパティ(性質)が満たされるかどうかをテストする手法である。 HaskellのQuickCheckライブラリが初出で、現在は各プログラミング言語に移植されている。 従来のユニットテストは、ある程度固定したテストデータを指定してテストを行っていた。 その際、境界値分析などで妥当なパラメータを決定していた。 しかし、境界値分析が必ず通用するとは限らないし、人間が行う以上、ミスも発生する。 プロパティベーステストはデータを固定する代わりにそのデータが満たすプロパティを指定してテストを行う。 実際のテストケースはHypothesisがプロパティを満たすパラメータを決めて生成してくれる。 人力
しくじり先生のように学ぶ「NFS+sqliteで苦労した話から学ぶ、問題解決の考え方」という勉強会をやってみました | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 インフラLinux勉強会SQLiteNFS こんにちは、羽山です。 今回は社内で実施した勉強会をほぼそのままブログ記事にしています。 ITエンジニアたるものドキュメントを残したり勉強会を実施したり分かりやすい設計にリファクタリングしたりなど、日々 知見の伝達 を意識していると思います。主要な知見はたいていそれらの方法で満たせるのですが、しかし残念ながら中には画一的な方法では伝えにくいものもあったりします。 ところで伝統芸能や工芸の世界では技術の継承において 背中を見て学ぶ という方法が用いられることがあるようです。 これと似た手法はITエンジニアの世界にもあって、先輩エンジニアとペアプログラミングをすることで文書では伝わりにくい技術や考え方・テクニックを学ぶ
![しくじり先生のように学ぶ「NFS+sqliteで苦労した話から学ぶ、問題解決の考え方」という勉強会をやってみました | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/9477296f61e752f8b6816cb517cdb9166a028f2c/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2021%2F10%2Fscience_hakase_shippai_s.png)
Dockerfile `�3 �� � � �� #!/usr/bin/env -S bash -c "docker run -p 8080:8080 -it --rm \$(docker build --progress plain -f \$0 . 2>&1 | tee /dev/stderr | grep -oP 'sha256:[0-9a-f]*')" # syntax = docker/dockerfile:1.4.0 FROM node:20 WORKDIR /root RUN npm install sqlite3 RUN <<EOF cat >/root/schema.sql CREATE TABLE IF NOT EXISTS clicks ( id INTEGER PRIMARY KEY AUTOINCREMENT, time INTEGER NOT NULL ); E
筒井（@ryu22e）です。2024年7月の「Python Monthly Topics」は、Cloudflare WorkersのPythonサポートについて解説します。 前半ではCloudflare WorkersでPythonを使う方法について、後半ではCloudflare WorkersでPythonを動かす仕組みと技術的制限について解説します。 なお、Cloudflare WorkersのPythonサポートは本記事執筆時点（2024年7月24日）でオープンベータ版です。正式リリース時には仕様が変更される可能性があります。また、一部機能はローカル環境でしか利用できません。 Cloudflare Workersとは Cloudflare Workersは、Cloudflareが提供するサーバーレスアプリケーションを構築・デプロイするためのプラットフォームです。主に以下のような特徴が
Claude Code SDK ではじめる 定額 AI Agent 開発入門 - LayerX エンジニアブログ
こちらは LayerX AI Agentブログリレー 7日目の記事です。 こんにちは。バクラク勤怠のソフトウェアエンジニアの @upamune です。 最近は社内のいろんなリソースをMarkdownに変換する怪物になっています。 1. はじめに：定額で始めるAI Agent開発 皆さんAI Agent開発していますか？AI Agentを開発する時の障壁の一つとして、LLMを呼び出す際のAPIコールが従量課金のため、なかなか個人で気軽に試せないというのがあると思います。 そこで、今回はClaude Code SDKを利用してAI Agentを作成することで、Pro/Maxプランに加入することで定額でAI Agentを開発できる選択肢があることを紹介します。 2. なぜClaude Code SDKなのか Claude Codeを利用している方は多いと思いますが、Claude Code SDK
DuckDB in Actionの読書メモ
1章 イントロダクション DuckDBとは シングルノードでinmemoryな組み込みデータベース 処理中のデータが永続化されない 個人情報、機密データの扱いに困らない データパイプライン (ETL) ギガバイトなデータを効果的に扱える 数秒でハンドリング可能な処理機構 でもテラバイト級だとさすがに無理 MITライセンス 入出力として扱えるデータソース csv Json Parquet Arrow MySQL SQLite PostgreSQL Jupyterを経由して、PandasやPolarsから問い合わせできる 並列化されたクエリエンジン 費用面で高コストなAWS Athena SQLを使わずともすむ DuckDBのSQL 標準ANSI SQL Window関数, CTEも扱える 分析関数 count, min, max 独自拡張されたSQL構文 select exclude() /
「Anthropic」の「MCP」(Model Context Protocol) の macOS でのクイックスタート手順をまとめました。 ・Quickstart - Model Context Protocol 【最新版の情報は以下で紹介】 1. MCP のアーキテクチャ「MCP」(Model Context Protocol) は、Claudeデスクトップなどのホストアプリケーションとローカルサービス間の安全な接続を可能にするプロトコルです。 1-1. 一般的なアーキテクチャホストアプリケーションが複数のサーバに接続できるクライアントサーバアーキテクチャに従います。 ・MCP Hosts : 「Claude Desktop」「IDE」「MCP」を介してリソースにアクセスするAIツールなどのプログラム ・MCP Clients : サーバとの 1:1 接続を維持するプロトコルクライアン
Faissを使ったFAQ検索システムの構築Facebookが開発した効率的な近似最近傍検索ライブラリFaissを使用することで、FAQ検索システムを構築することができます。 まずは、SQLiteデータベースを準備し、FAQの本文とそのIDを保存します。次に、sentence-transformersを使用して各FAQの本文の埋め込みベクトルを計算し、そのベクトルをFaissインデックスに追加します。新しいクエリが入力されたときは、sentence-transformersを使用してクエリの埋め込みベクトルを計算し、Faissインデックスを使用して、クエリの埋め込みベクトルに最も類似したFAQの埋め込みベクトルを検索します。 検索結果は、FAQのIDのリストとして返され、最後に返されたIDを使用して、SQLiteデータベースから関連するFAQの本文を取得し、検索結果としてユーザーに表示されま
日本語の全文検索ぜんぶんけんさく (full-text search, FTS) を、高速に実行する Python コード例です。 Python の標準モジュール sqlite3 を使用しました。 sqlite3 から、SQLiteエスキューライト の全文検索 (FTSエフティーエス) を使ってみました。 試したのは、FTS4エフティーエスフォー と FTS5エフティーエスファイブ の２種類です。 ところで、SQLite の読み方は色々ありました。YouTube では、エスキューライト、エスキューエライト、スィクライト、スィクエライト、などの発音を聞きました。 全文検索の使い方（FTS の使い方）ですが、テキストを N-Gram にして、FTS4 か FTS5 の仮想テーブルに INSERT するだけでした。 （2022年2月5日 追記）MeCab の使い方も書きました。 MeCab で
Pythonで簡単DB - Qiita
pythonでsqlite3データベースを簡単に使う SQLとかわかんないよみたいな方だってデータベースに触れたら世界が変わるかも知れない。わかんないけど。 ほとんどの場合ざっくりと簡単なクエリ発行で事足りる場合が多いので、SQLに詳しい方だって多分楽できるかも。 DBクラスとDBwrapperクラス ほぼ素に近い状態でsqliteを使うDBクラスと、そのDBクラスを継承して簡単に使えるファンクションを追加したのがDBwrapperクラス。 DBwrapperクラスはDBクラスのファンクションを全部使えるのでとりあえずDBwrapperクラスを取り込んで使えば便利。 たとえば dict型でデータを作って set とか読んでやればDBにデータを挿入・更新できたり get をforで回してやれば1行づつデータが取り出せる。 データの件数も count で取り出せるぞ、手軽だね。 詳しくは以下の
ソーシャルメディアやウェブアプリケーションでは、ユーザーがコンテンツに対して「いいね」や「いいね」ボタンを押す機能が一般的です。これはユーザーエンゲージメントを向上させ、コンテンツの評価や共有を促進するための重要な機能です。今回は、Pythonを使用してシンプルないいね機能を実装する方法について説明します。 いいね機能の基本的な仕組み いいね機能の基本的な仕組みは、ユーザーがコンテンツに対していいねを押すと、その情報がサーバーに送信され、データベースに反映されるというものです。具体的には、各コンテンツに一意なIDがあり、ユーザーがボタンを押すとそのIDとユーザーIDがデータベースに保存されます。 データベースの設計 まず、いいね情報を格納するためのデータベースを設計します。以下は、SQLiteを使用した簡単な例です。 import sqlite3 conn = sqlite3.connec
An interesting twist in my recent usage of SQLite was the fact that I noticed my research scripts and the database intertwine more. SQLite is unique in that it really lives in-process, unlike standalone database servers. There is a feature to that which does not get used very frequently, but can be indispensable in some situations. By the way, the talk about the system that made me me to explore S
sqlc generate は何をしているのかメモ
[2023-09-11 追記] 以下のブログの方が分かりやすいので、そちらを読むことをお勧めします。 sqlc internals - 薄いブログ 最近、個人開発で Go のアプリケーションからデータベースを操作するために sqlc を使っている。sqlc は SQL で書いたスキーマのファイルから sqlc generate コマンド一つで Go の構造体を、クエリのファイルから型安全な Go の SQL クライアントを生成することができる。1 私は普段の仕事で ORM が提供するメソッドやクエリビルダを使って SQL を組み立てている。ORM は便利ではあるが、最終的に実行される SQL は可読性が低くてデバッグしづらいことが多い。そのため「最初から SQL を書けば良いのでは…？」と考えるようになり、初めて sqlc を見たとき自分の好みに合うツールと確信した。 使い方は簡単で便利な
背景 https://github.com/orisano/sqlc-gen-ts-d1 というプラグインを作成していて生成コードの好みが人によって大きく異なると感じることがありました。 一つのプラグインで生成コードをカスタマイズできるアプローチには保守性的な意味でも限界があるだろうと思いました。 気軽にプラグインが作れるようになることで自分の好みのコードが生成できるし、好みが似通ったコミュニティにメンテンスされているプラグインが一つでもあれば幸せな人も増えるかなと思ったため記事を書くことにしました。 とはいえ sqlc を使い始めるとき最初にプラグインを書くことはまずないし、デフォルトの生成コードが好みでなかったりそもそも対応してない場合は選択肢から外れるだけだと思います。 なので sqlc を使いたいという情熱のある人やプラグインを作りたいという人の役に立てばと幸いです。 plugin
参考文献 ※1 EDINET API機能追加に係る利用者向け説明会資料 ※2 EDINET API仕様書 Version2 ①会社名の選択 まず会社一覧及び、会社のEDINETコードが必要になってきます。 これについてはAPIで取得する方法はなく公式サイトからZIPを落としてくるか ここからプログラム的に自動でダウンロードする必要があります。 今回は手動であらかじめダウンロードしたものを使います。 公式サイトからダウンロードすると毎回リンクが変わる、上記の直接リンクだと固定という謎仕様のようです（ドキュメントにもそうかいてある） ZIPを展開するとShift-JISのCSVが手に入ります。文字コードに注意しましょう。EDINETからダウンロードするCSVはUTF16なのにこっちはShiftJISなのです。 中身は上記のようなもになっています。 末尾に0がついているものの証券コードも入ってい
本記事では、11月26日に公開された Claude の Model Context Protocol (MCP) を使って、エンジニアでない人でも、 Claudeと外部アプリを連携できる方法をご紹介します。全て無料の部分で実装可能です！ そもそもMCPとはエンジニアの方も、エンジニアでない方もなかなか聞き馴染みのないワードだと思いますので、一度ChatGPTに聞いてみましょう。 ChatGPTの回答にあるように、MCPはAIモデルがどのように情報を保存し、活用するかを定めたガイドライン、いわばルールブックのようなものです。 Claude MCPは、このガイドラインに沿って、Claudeがコンピュータ上にあるファイルやデータベースといった外部の情報にアクセスし、活用することができます。 MCPの仕組みMCPは、クライアント・サーバーモデルという仕組みで動作します。これは、ユーザーのコンピュー
Published on 2022-01-04, 1640 words, 6 minutes to read It is clear that most of the world has decided that they want to use JSON for their public-facing API endpoints. However, most of the time you will need to deal with storage engines that don't deal with JSON very well. This can be confusing to deal with because you need to fit a square peg into a round hole. However, SQLite added JSON function
operationはsearchRetrieveで固定です。 queryにはURLエンコードした検索クエリの文字列をセットします。requestsを使えば勝手にエンコードしてくれるので検索文字列そのままで大丈夫です。今回はISBNで検索するのでisbn=”{isbn}”で関数の引数として渡すISBNコードを埋め込みます。ISBN以外にも検索できる項目はいっぱいあるので、興味がある方はリファレンスを読んでみてください。 recordPackingはレスポンスのうち書籍情報の部分をURLエンコードした文字列にするか書籍情報以外のXMLにそのままXMLとして内包させるかを指定できます。省略した場合は前者です。XMLにしておいた方がデータを取り出すのが楽なのでxmlにしています。 レスポンスのXMLは次のようなものです。 <?xml version="1.0" encoding="UTF-8"?>
CREATE文とINSERT文のサンプル それでは接続からSQL実行までのサンプルです。以下のサンプルはカレントディレクトリ直下にexample.dbというdbファイルを作成し、CREATE文でテーブルを作成後、INSERT文でデータを挿入してみます。 import sqlite3 # 接続。なければDBを作成する。 conn = sqlite3.connect('example.db') # カーソルを取得 c = conn.cursor() # テーブルを作成 c.execute('CREATE TABLE articles (id int, title varchar(1024), body text, created datetime)') # Insert実行 c.execute("INSERT INTO articles VALUES (1,'今朝のおかず','魚を食べました'
PythonとSQLの連携: データベース操作の新しい次元 - Python転職初心者向けエンジニアリングブログ
**** SQL（Structured Query Language）はデータベース管理システムで広く使用される言語であり、Pythonとの連携により柔軟で効率的なデータベース操作が可能です。今回は、PythonからSQLを利用してデータベースに接続し、クエリを実行する手法について具体的なコードとともに解説します。 1. PythonからSQLiteデータベースに接続する 最初に、PythonからSQLiteデータベースに接続する例を見てみましょう。SQLiteは軽量でシンプルなデータベースエンジンであり、Python標準ライブラリにも含まれています。 Pythonのコード import sqlite3 # SQLiteデータベースに接続 conn = sqlite3.connect('sample.db') # カーソルを取得 cursor = conn.cursor() # データベー
AWS App Runner × FastAPI で作る REST API パターン 3 選 - サーバーワークスエンジニアブログ
こんにちは。アプリケーションサービス部の河野です。 アプリケーションサービス部では、週に一回、技術発表会という形で、発表者が興味がある技術について自由にプレゼンテーションしています。 その中で「App Runner で REST API 開発するの良いぞ」っていう話をしたので、本ブログでも紹介したいと思います。 導入 コールドスタート問題 デプロイ容量問題 serverless.yaml 書くのツラい問題 ローカルのテストしづらい問題 App Runner とは？ FastAPI とは？ 環境 パターン①: データストアなし パターン①: 実践 ローカルで動作確認 ECR を作成 イメージをビルド&プッシュ App Runner デプロイ 上手くいかない場合は？ パターン②: DynamoDB パターン②: 実践 ローカルで動作確認 fastapi コンテナ localstack コンテナ
イワシの大群が特に大規模になったとき、それをサーディンランと呼び、個体数は数千万とも数億とも数十億ともいわれるのだそうです。そのような生物量がそれほど密集したとき酸素濃度は足りるんだろうかと心配です。 さて、データ処理の一環で億オーダーのレコード数（ディスク上で~100GB）をもつSQLiteテーブルを構築しようということになり、データ自体は生CSVがある状態でこれをなるべく短時間でDBに流し込むという雑なチャレンジをしてみたので、雑な記録をまとめておきました。 できるだけPythonで閉じさせたかったため、C++などで書くという選択肢はなし。 またDBサイズがサイズなのでインメモリではなくファイルに吐き出します。 またスキーマ定義をさくっとやりたい・DB構築後の扱いを楽にしたいということで、PythonベースのORM Peeweeを使用することにしています。なおPeeweeについて詳細は
の類ですね。出現頻度も高く、postfixに負荷がかかるし、第一気持ち悪いので、自動的にblockする方法を考えました。 これは、Linuxサーバーで不正なパケットを検知し、自動的にブロックするPythonスクリプトです。syslogのログファイルを監視し、指定された正規表現パターンにマッチする不正なパケットをブロックするために、iptablesを使用します。また、特定のIPアドレスがブロックされている期間を追跡するために、sqlite3を使用します。 このスクリプトを使用することで、不正なパケットを自動的にブロックし、サーバーの負荷を軽減できます。また、手動でIPアドレスをブロックする必要がなく、セキュリティの向上に役立ちます。 fail2banという類似するシステムがあります。ipblock.pyはfail2banのように複数のlogを監視しません。何回か、その攻撃があったら、処断する
Sketch of a Post-ORM
I’ve been writing a lot of database access code as of late. It’s frustrating that in 2023, my choices are still to either write all of the boilerplate by hand, or hand all database access over to some inscrutable “agile” ORM that will become a crippling liability in the 2-3y timescale. This post is about how I want to use databases, from the perspective of an application server developer—not a DBA
Join a VS Code Dev Days event near you to learn about AI-assisted development in VS Code. Release date: September 11, 2025 Update 1.104.1: The update addresses these issues. Update 1.104.2: The update addresses these issues. Downloads: Windows: x64 Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarball Arm snap Welcome to the August 2025 release of Visual Studio Code. There are many updates
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2020年】CTF Web問題の攻撃手法まとめ - こんとろーるしーこんとろーるぶい
SQLiteでベクトル検索ができる拡張sqlite-vssを試す｜mah_lab / 西見 公宏
VSCode上でCodeWhispererとCopilotを両方使うと、捗る (AIが脆弱性診断→AIが解説)
Hypothesisとpytestを使ってDjangoのユニットテストを書く - 何かを書き留める何か
#!/usr/bin/env docker run
Cloudflare WorkersでサーバーレスPythonアプリを構築してみよう | gihyo.jp
Anthropic の MCP のクイックスタート｜npaka
最近話題のVector Searchを実現するFaissって何？ #1｜masuidrive
【Python】SQLite で日本語を全文検索するコード例【N-Gram, FTS4/FTS5】
Pythonでいいね機能を実装する方法 - Python転職初心者向けエンジニアリングブログ
Supercharge SQLite with Ruby Functions
sqlc plugin を書こう - 薄いブログ
StreamlitでEDINETから有価証券報告書をダウンロードして分析するWEBアプリをサクっとつくろう
【徹底解説】Claude MCPの基本と使い方：データベース連携編｜ChatGPT研究所
Bashing JSON into Shape with SQLite
PCのカメラでISBNコードを読み取りExcelに書籍リストを作る
SQLite3入門 | Python学習講座
Python+Peewee ORM+SQLiteで1億レコード最速insertチャレンジ | さかな前線
ipblock - 超小型fail2ban - Qiita
August 2025 (version 1.104)