「Postgres で試した？」と聞き返せるようになるまでもしくはなぜ私は雰囲気で技術を語るのか？ — Just use Postgres 読書感想文 - じゃあ、おうちで学べる
はじめに 「Just use Postgres」という言葉を初めて聞いたのは、いつだったか覚えていません。Twitter か Hacker News か、あるいは社内の Slack か。どこで聞いたにせよ、私の反応は決まっていました。「また極端なことを言う人がいる」と。 「それ、〇〇でもできますよ」——この手のフレーズはもう100回は聞いてきました。そして大抵の場合、その〇〇は専用ツールに置き換えられていきます。技術が専門分化していくのは自然な流れです。 全文検索なら Elasticsearch。時系列データなら InfluxDB。メッセージキューなら RabbitMQ。それぞれの分野に専門家がいて、専用のソリューションがあって、ベストプラクティスがあります。「とりあえず Postgres で」なんて、それは思考停止ではないか、と。でも、心のどこかで気になっていたんです。 www.mann
はじめに 対象イベント 読み方、使い方 Remote Code Execution(RCE) 親ディレクトリ指定によるopen_basedirのバイパス PHP-FPMのTCPソケット接続によるopen_basedirとdisable_functionsのバイパス JavaのRuntime.execでシェルを実行 Cross-Site Scripting(XSS) nginx環境でHTTPステータスコードが操作できる場合にCSPヘッダーを無効化 GoogleのClosureLibraryサニタイザーのXSS脆弱性 WebのProxy機能を介したService Workerの登録 括弧を使わないXSS /記号を使用せずに遷移先URLを指定 SOME(Same Origin Method Execution)を利用してdocument.writeを順次実行 SQL Injection MySQ
SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベースサーバを用意しなくて済む分コストも圧縮されますし、組み込みなのでアプリからは軽量に動作します。 ホスティングする場合でもFly.ioのようにボリュームイメージを利用できるPaaSを利用すれば、問題なく運用が可能です。 前置きが長くなりましたが、このような夢を叶えてくれる拡張がsqlite-vssです。ベクトル検索はFaissベースで実装されています。 とっても良さげではあるのですが、実際に組み込んでみた場合のコード例が見つからなかったので、手を動かして試
GitHub - modelcontextprotocol/servers: Model Context Protocol Servers
Official integrations are maintained by companies building production ready MCP servers for their platforms. 21st.dev Magic - Create crafted UI components inspired by the best 21st.dev design engineers. 2slides - An MCP server that provides tools to convert content into slides/PPT/presentation or generate slides/PPT/presentation with user intention. ActionKit by Paragon - Connect to 130+ SaaS inte
ClaudeのMCPを徹底解説！ & gpt-4o+MCP+YouTube APIの動画推薦チャットAIも作る - Qiita
こんにちは！逆瀬川 ( https://x.com/gyakuse ) です！ このアドベントカレンダーでは生成AIのアプリケーションを実際に作り、どのように作ればいいのか、ということをわかりやすく書いていければと思います。アプリケーションだけではなく、プロダクト開発に必要なモデルの調査方法、training方法、基礎知識等にも触れていければと思います。アドベントカレンダー全部書く、みたいな予定を立ててしまったので、1日あたり60分くらいで書けたらな〜と思っていますが、以下の記事は3時間程度かかり、泣いています。勢いで書いているので、不正確な部分がもしあればコメント等で指摘していただければ幸いです。 今回の記事について 今日はClaudeが発表したMCP (Model Context Protocol) について紹介し、独自のMCPサーバーを作成したり、Claude以外のLLMで使えること
Joining CSV and JSON data with an in-memory SQLite database
Sponsored by: Honeycomb — AI agents behave unpredictably. Get the context you need to debug what actually happened. Read the blog 19th June 2021 The new sqlite-utils memory command can import CSV and JSON data directly into an in-memory SQLite database, combine and query it using SQL and output the results as CSV, JSON or various other formats of plain text tables. sqlite-utils memory The new feat
31st December 2024 A lot has happened in the world of Large Language Models over the course of 2024. Here’s a review of things we figured out about the field in the past twelve months, plus my attempt at identifying key themes and pivotal moments. This is a sequel to my review of 2023. In this article: The GPT-4 barrier was comprehensively broken Some of those GPT-4 models run on my laptop LLM pri
GitHub - punkpeye/awesome-mcp-servers: A collection of MCP servers.
Servers for accessing many apps and tools through a single MCP server. 1mcp/agent 📇 ☁️ 🏠 🍎 🪟 🐧 - A unified Model Context Protocol server implementation that aggregates multiple MCP servers into one. tadas-github/a2asearch-mcp 📇 ☁️ - MCP server to search 4,800+ MCP servers, AI agents, CLI tools and agent skills. Install: npx -y a2asearch-mcp. Ask Claude: "Find MCP servers for database access"
Streamlitとは StreamlitはPython向けのWebアプリケーションフレームワークです。 Streamlitを使うとフロントエンドの知識ゼロでもデータを可視化するためのWebアプリケーションを簡単に作れます。以下のような機能が特徴。 変数を地の文に書くだけで、GUIに出力される(マジックコマンド) st.radioやst.text_inputのようなWidget APIを呼び出すだけで、GUIコンポーネントが生成される Streamlitの最新バージョン Streamlitの最新バージョンはChangelogで確認できます。 2024/8/29時点で最新バージョンは1.38.0です。 以下に記載した変更点は、1.38.0でHighlights、Notable ChangesおよびOther Changesとしてアナウンスされたものの抜粋です。 Pandas以外のDataFr
ISUCON12予選参加記 Rustで予選突破した
2022年7月23日(土) に開催された ISUCON 12 に Rust で参加して20位で予選突破しました。 チーム チームO omu: https://omuric.github.io/posts/isucon12-qualify/ dice801: https://zenn.dev/dice801/articles/760f8fc6af5a08 daiju (自分) 事前準備 基本的には前年までに用意したツールを活用する cargo-make で3台の EC2 への deploy や再起動やログの集計をコマンド一発で実行可能にする isuconf で現地と手元の設定ファイルの同期 omu の自作コマンド どちらも年に1回しか登場しないので、事前の練習でコマンドを手に馴染ませておく。 Rust のためのトレースツールの整備 https://github.com/hinohi/rust
AI agents are good at doing one thing at a time. Give Claude a focused task and it performs. But real work isn’t one task. It’s a tree of tasks with dependencies, parallelism, and context that needs to flow between them. The multi-agent frameworks are multiplying. They’re all solving the wrong problem. What’s out there LangGraph models coordination as a state machine. You define nodes and edges in
Hypothesisとは何か、プロパティベーステストとは何か Hypothesisは、Python向けのプロパティベーステストのライブラリである。 プロパティベーステストは、生成された多数の入力データに対してプロパティ(性質)が満たされるかどうかをテストする手法である。 HaskellのQuickCheckライブラリが初出で、現在は各プログラミング言語に移植されている。 従来のユニットテストは、ある程度固定したテストデータを指定してテストを行っていた。 その際、境界値分析などで妥当なパラメータを決定していた。 しかし、境界値分析が必ず通用するとは限らないし、人間が行う以上、ミスも発生する。 プロパティベーステストはデータを固定する代わりにそのデータが満たすプロパティを指定してテストを行う。 実際のテストケースはHypothesisがプロパティを満たすパラメータを決めて生成してくれる。 人力
Unexplanations: sql is syntactic sugar for relational algebra
Unexplanations: sql is syntactic sugar for relational algebra This idea is particularly sticky because it was more or less true 50 years ago, and it's a passable mental model to use when learning sql. But it's an inadequate mental model for building new sql frontends, designing new query languages, or writing tools likes ORMs that abstract over sql. Before we get into that, we first have to figure
Claude Codeにセキュリティ診断をさせてみた
はじめに こんにちは、Claude Codeを使っていますか？ 私の観測範囲内でもClaude Codeを使っている人がどんどん増えてきています。 他のAIコーディングエージェントから乗り換えている人も結構な人数いそうです。 今回の記事ではClaude Codeに脆弱性の診断をさせてみました。 診断の対象としたのは以前の記事でClaude Codeに作ってもらった以下のAIチャットボットのアプリケーションです。 リポジトリはこちら 記事はこちら 実践 診断開始 今回はClaude Codeで以下のようなプロンプトで指示を出しました。 > あなたは経験豊富なセキュリティ専門家（ホワイトハッカー）として行動してください。 **要求する分析内容：** 1. **脆弱性の特定** - 発見した脆弱性の種類と場所を明確に指摘 - 各脆弱性のCVE分類またはOWASP Top 10での位置づけ 2.
Claude Code SDK ではじめる 定額 AI Agent 開発入門 - LayerX エンジニアブログ
こちらは LayerX AI Agentブログリレー 7日目の記事です。 こんにちは。バクラク勤怠のソフトウェアエンジニアの @upamune です。 最近は社内のいろんなリソースをMarkdownに変換する怪物になっています。 1. はじめに：定額で始めるAI Agent開発 皆さんAI Agent開発していますか？AI Agentを開発する時の障壁の一つとして、LLMを呼び出す際のAPIコールが従量課金のため、なかなか個人で気軽に試せないというのがあると思います。 そこで、今回はClaude Code SDKを利用してAI Agentを作成することで、Pro/Maxプランに加入することで定額でAI Agentを開発できる選択肢があることを紹介します。 2. なぜClaude Code SDKなのか Claude Codeを利用している方は多いと思いますが、Claude Code SDK
How to turn Claude Code into a domain specific coding agent
Authored by: Aliyan Ishfaq Coding agents are great at writing code that uses popular libraries on which LLMs have been heavily trained on. But point them to a custom library, a new version of a library, an internal API, or a niche framework – and they’re not so great. That’s a problem for teams working with domain specific libraries or enterprise code. As developers of libraries (LangGraph, LangCh
Blog
Hachi: An (Image) Search engine Only the dead have seen the end of war .. George Santayana For quite some time now, i have been working on and off on a fully self-hosted search engine, in hope to make it easier to search across Personal data in an end to end manner. Even as individuals, we are hoarding and generating more and more data with no end in sight. Such "personal" data is being stored fro
Faissを使ったFAQ検索システムの構築Facebookが開発した効率的な近似最近傍検索ライブラリFaissを使用することで、FAQ検索システムを構築することができます。 まずは、SQLiteデータベースを準備し、FAQの本文とそのIDを保存します。次に、sentence-transformersを使用して各FAQの本文の埋め込みベクトルを計算し、そのベクトルをFaissインデックスに追加します。新しいクエリが入力されたときは、sentence-transformersを使用してクエリの埋め込みベクトルを計算し、Faissインデックスを使用して、クエリの埋め込みベクトルに最も類似したFAQの埋め込みベクトルを検索します。 検索結果は、FAQのIDのリストとして返され、最後に返されたIDを使用して、SQLiteデータベースから関連するFAQの本文を取得し、検索結果としてユーザーに表示されま
脆弱性が診断ツールで見つかったり見つからなかったりする話
はじめに 「脆弱性診断内製化ガイド」が注目を集めていたことをきっかけに、「診断ツールで見つけられそうな脆弱性が見つかったり見つからなかったりする」話を書けないかな？と思い立ちました。本記事では、診断ツールを用いて簡単なアプリケーションをスキャンした結果を紹介します。 背景 脆弱性診断内製化ガイド 2025年7月31日、情報処理推進機構（IPA）から「脆弱性診断内製化ガイド」というドキュメントが公開されました。 これは「中核人材育成プログラム 卒業プロジェクト」によるもので、企業が自社内で脆弱性診断を行う「内製化」を推し進めるためのガイドです。内製化に必要な組織体制・人材育成、スモールスタートから始める導入ステップ、外部委託と比べたメリット・デメリットなどが述べられています。 診断ツールによる脆弱性の検出 一方、SNSでは「あるページ」に注目が集まっているように感じました。それは、P.51か
日本語の全文検索ぜんぶんけんさく (full-text search, FTS) を、高速に実行する Python コード例です。 Python の標準モジュール sqlite3 を使用しました。 sqlite3 から、SQLiteエスキューライト の全文検索 (FTSエフティーエス) を使ってみました。 試したのは、FTS4エフティーエスフォー と FTS5エフティーエスファイブ の２種類です。 ところで、SQLite の読み方は色々ありました。YouTube では、エスキューライト、エスキューエライト、スィクライト、スィクエライト、などの発音を聞きました。 全文検索の使い方（FTS の使い方）ですが、テキストを N-Gram にして、FTS4 か FTS5 の仮想テーブルに INSERT するだけでした。 （2022年2月5日 追記）MeCab の使い方も書きました。 MeCab で
Pythonで簡単DB - Qiita
pythonでsqlite3データベースを簡単に使う SQLとかわかんないよみたいな方だってデータベースに触れたら世界が変わるかも知れない。わかんないけど。 ほとんどの場合ざっくりと簡単なクエリ発行で事足りる場合が多いので、SQLに詳しい方だって多分楽できるかも。 DBクラスとDBwrapperクラス ほぼ素に近い状態でsqliteを使うDBクラスと、そのDBクラスを継承して簡単に使えるファンクションを追加したのがDBwrapperクラス。 DBwrapperクラスはDBクラスのファンクションを全部使えるのでとりあえずDBwrapperクラスを取り込んで使えば便利。 たとえば dict型でデータを作って set とか読んでやればDBにデータを挿入・更新できたり get をforで回してやれば1行づつデータが取り出せる。 データの件数も count で取り出せるぞ、手軽だね。 詳しくは以下の
iOS Hacking - A Beginner’s Guide to Hacking iOS Apps [2022 Edition]
My first post will be about iOS Hacking, a topic I’m currently working on, so this will be a kind of gathering of all information I have found in my research. It must be noted that I won’t be using any MacOS tools, since the computer used for this task will be a Linux host, specifically a Debian-based distribution, in this case, Kali Linux. I will also be using ‘checkra1n’ for the device jailbreak
GitHub - punkpeye/awesome-mcp-servers: A collection of MCP servers.
Servers for accessing many apps and tools through a single MCP server. 1mcp/agent 📇 ☁️ 🏠 🍎 🪟 🐧 - A unified Model Context Protocol server implementation that aggregates multiple MCP servers into one. tadas-github/a2asearch-mcp 📇 ☁️ - MCP server to search 4,800+ MCP servers, AI agents, CLI tools and agent skills. Install: npx -y a2asearch-mcp. Ask Claude: "Find MCP servers for database access"
日本語に強くローカルで動作！テキスト埋め込みモデルPLaMo-Embedding-1Bを試してみた | DevelopersIO
リポジトリはこちらです。今回紹介するコード及び、利用しているライブラリのバージョンの詳細はこちらはご確認ください。 補足 Python 3.13だとsentencepieceがuv add時に依存のエラーが発生したため3.12を使っています READMEサンプル まずはhuggingfaceからREADME_jaのサンプルを動かしてみます。 文書をencode_documentメソッドでベクトルに変換し、クエリをencode_queryメソッドでベクトル（埋め込み）に変換してコサイン類似度を出力するサンプルです。 import torch import torch.nn.functional as F from transformers import AutoModel, AutoTokenizer # 🤗 Huggingface Hubから以下のようにしてモデルをダウンロードできます
sqlc generate は何をしているのかメモ
[2023-09-11 追記] 以下のブログの方が分かりやすいので、そちらを読むことをお勧めします。 sqlc internals - 薄いブログ 最近、個人開発で Go のアプリケーションからデータベースを操作するために sqlc を使っている。sqlc は SQL で書いたスキーマのファイルから sqlc generate コマンド一つで Go の構造体を、クエリのファイルから型安全な Go の SQL クライアントを生成することができる。1 私は普段の仕事で ORM が提供するメソッドやクエリビルダを使って SQL を組み立てている。ORM は便利ではあるが、最終的に実行される SQL は可読性が低くてデバッグしづらいことが多い。そのため「最初から SQL を書けば良いのでは…？」と考えるようになり、初めて sqlc を見たとき自分の好みに合うツールと確信した。 使い方は簡単で便利な
Concurrency is not very intuitive. You need to train your brain to consider what happens when multiple processes execute a certain code block at the same time. There are several issues I often encounter: Failing to recognize potential concurrency issues: It's not uncommon for both beginner and seasoned developers to completely miss a potential concurrency problem. When this happens, and the concur
Google is pushing the new language Logica to solve the major flaws in SQL!
On April 12, 2021, Google introduced a new open-source logic programming language-Logica on its open-source blog. (Source: Logica Official Site)Logica, named after logic and aggregation, which means logic + aggregation. Therefore, as the name implies, the creation of Logica further expands the classic logic programming syntax, especially in aggregation (refers to content selection, analysis, class
Published on 2022-01-04, 1640 words, 6 minutes to read It is clear that most of the world has decided that they want to use JSON for their public-facing API endpoints. However, most of the time you will need to deal with storage engines that don't deal with JSON very well. This can be confusing to deal with because you need to fit a square peg into a round hole. However, SQLite added JSON function
Introducing Apache Arrow Flight SQL: Accelerating Database Access
Introducing Apache Arrow Flight SQL: Accelerating Database Access Published 16 Feb 2022 By José Almeida, James Duong, Vinicius Fraga, Juscelino Junior, David Li, Kyle Porter, Rafael Telles We would like to introduce Flight SQL, a new client-server protocol developed by the Apache Arrow community for interacting with SQL databases that makes use of the Arrow in-memory columnar format and the Flight
GitHub - taishi-i/awesome-ChatGPT-repositories: A curated list of resources dedicated to open source GitHub repositories related to ChatGPT and OpenAI API
awesome-chatgpt-api - Curated list of apps and tools that not only use the new ChatGPT API, but also allow users to configure their own API keys, enabling free and on-demand usage of their own quota. awesome-chatgpt-prompts - This repo includes ChatGPT prompt curation to use ChatGPT better. awesome-chatgpt - Curated list of awesome tools, demos, docs for ChatGPT and GPT-3 awesome-totally-open-chat
Temporal Python SDK: A durable, distributed asyncio event loop We are excited about the GA release of the Temporal Python SDK. Python is now a fully-supported workflow language in Temporal, and our use of native asyncio constructs makes it a perfect fit for Python developers looking to write durable workflows. Here are some links to read more about Temporal Python: Repository Application Developme
operationはsearchRetrieveで固定です。 queryにはURLエンコードした検索クエリの文字列をセットします。requestsを使えば勝手にエンコードしてくれるので検索文字列そのままで大丈夫です。今回はISBNで検索するのでisbn=”{isbn}”で関数の引数として渡すISBNコードを埋め込みます。ISBN以外にも検索できる項目はいっぱいあるので、興味がある方はリファレンスを読んでみてください。 recordPackingはレスポンスのうち書籍情報の部分をURLエンコードした文字列にするか書籍情報以外のXMLにそのままXMLとして内包させるかを指定できます。省略した場合は前者です。XMLにしておいた方がデータを取り出すのが楽なのでxmlにしています。 レスポンスのXMLは次のようなものです。 <?xml version="1.0" encoding="UTF-8"?>
**** SQL（Structured Query Language）はデータベース管理システムで広く使用される言語であり、Pythonとの連携により柔軟で効率的なデータベース操作が可能です。今回は、PythonからSQLを利用してデータベースに接続し、クエリを実行する手法について具体的なコードとともに解説します。 1. PythonからSQLiteデータベースに接続する 最初に、PythonからSQLiteデータベースに接続する例を見てみましょう。SQLiteは軽量でシンプルなデータベースエンジンであり、Python標準ライブラリにも含まれています。 Pythonのコード import sqlite3 # SQLiteデータベースに接続 conn = sqlite3.connect('sample.db') # カーソルを取得 cursor = conn.cursor() # データベー
Django 6.0 was released today, starting another release cycle for the loved and long-lived Python web framework (now 20 years old!). It comes with a mosaic of new features, contributed to by many, some of which I am happy to have helped with. Below is my pick of highlights from the release notes. Upgrade with help from django-upgrade If you’re upgrading a project from Django 5.2 or earlier, please
イワシの大群が特に大規模になったとき、それをサーディンランと呼び、個体数は数千万とも数億とも数十億ともいわれるのだそうです。そのような生物量がそれほど密集したとき酸素濃度は足りるんだろうかと心配です。 さて、データ処理の一環で億オーダーのレコード数（ディスク上で~100GB）をもつSQLiteテーブルを構築しようということになり、データ自体は生CSVがある状態でこれをなるべく短時間でDBに流し込むという雑なチャレンジをしてみたので、雑な記録をまとめておきました。 できるだけPythonで閉じさせたかったため、C++などで書くという選択肢はなし。 またDBサイズがサイズなのでインメモリではなくファイルに吐き出します。 またスキーマ定義をさくっとやりたい・DB構築後の扱いを楽にしたいということで、PythonベースのORM Peeweeを使用することにしています。なおPeeweeについて詳細は
「管理表」や「一覧表」にまだExcel使ってる？SQLiteで簡単RDB化のすすめ | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
SQLiteExcel業務改善 情シス担当のますいです。 業務で「管理表」や「一覧表」を作成する機会は多いですよね。しかし数が増えるとデータを最新に保つのが大変です。 たとえば、弊社ではかつて人の異動やPCの入れ替えがあるたびに「資産管理表」「ソフトウェアライセンス割り当て表」「IPアドレス管理表」など様々なExcelファイルを更新する必要がありました。同じ情報を複数のファイルに同じように書き込む必要があって、運用していくうちに不整合が多発していました。 こんなとき、技術者ならこう考えることでしょう。「こういうデータってRDBで管理した方が楽だよな」と。 Excelの操作感とリレーショナルなデータ管理の両立 RDBによるデータ管理は整合性の面では運用管理がしやすいですが、更新のためにいちいちSQLを書くのは不便。MS Access を利用するのも1つの手ですが、XLOOKUPを駆使したりP
![「管理表」や「一覧表」にまだExcel使ってる？SQLiteで簡単RDB化のすすめ | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/9e611f4fef97092cd1f610c0dd8fb6b480f50dfe/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2021%2F05%2Fs_SAM_42189.jpg)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2020年】CTF Web問題の攻撃手法まとめ - こんとろーるしーこんとろーるぶい
SQLiteでベクトル検索ができる拡張sqlite-vssを試す｜mah_lab / 西見 公宏
Things we learned about LLMs in 2024
Streamlit 1.38.0の新機能紹介 - Qiita
Cord: Coordinating Trees of AI Agents
Hypothesisとpytestを使ってDjangoのユニットテストを書く - 何かを書き留める何か
最近話題のVector Searchを実現するFaissって何？ #1｜masuidrive
【Python】SQLite で日本語を全文検索するコード例【N-Gram, FTS4/FTS5】
Handling Concurrency Without Locks
Bashing JSON into Shape with SQLite
Temporal Python SDK | Durable Asyncio Event Loop
PCのカメラでISBNコードを読み取りExcelに書籍リストを作る
PythonとSQLの連携: データベース操作の新しい次元 - ITエンジニアが仕事に対して思うこと
Django: what’s new in 6.0 - Adam Johnson
Python+Peewee ORM+SQLiteで1億レコード最速insertチャレンジ | さかな前線