本連載では、MCP（Model Context Protocol）を使ってLLMと外部ツールを統合する方法を解説します。MCPは、LLMと外部システムをつなぐためのオープン標準であり、開発者にとっては組み合わせ爆発の解消やプラグアンドプレイ型の拡張性を提供するものです。MCP を利用することで、LLMアプリケーションの開発・運用が大幅に効率化することが期待されています。 はじめに 本連載では、MCP（Model Context Protocol）を使ってLLMと外部ツールを統合する方法を解説します。 対象読者 生成AIやLLMの基礎知識がある方 VS CodeやLLMを触ったことがあるエンジニア 企業で業務活用を検討中の担当者 必要な環境 GitHub Copilot／Codespacesが有効なGitHubアカウント MCPとは MCPが生まれた背景 近年、ChatGPTやClaudeな
技術の総合格闘技～生成AI時代のフルスタック開発～
本記事では、2025年5月14日に開催されたオンラインイベント「【技術選定を突き詰める】Online Conference 2025」内のセッション「技術の総合格闘技、生成AI時代のフルスタック開発」の内容をお届けします。同セッションでは、Admit AIのKenn Ejima（@kenn）さんに、生成AIの進化で予想される開発体制の変化を踏まえた上で、同氏が見いだしたシンプルなソフトウェアアーキテクチャや、その背景にある考えをお話しいただきました。ぜひ本編のアーカイブ動画とあわせてご覧ください。 Kenn Ejimaさん：まずは自己紹介をさせてください。Xのアカウント名は「Kenn Ejima」で、米国ではこの名前で活動しています。自身の肩書きについて明確に定義するのは難しいのですが、最近は「Full Stack Entrepreneur」と名乗っています。これはフルスタックの考え方
GitHub - modelcontextprotocol/servers: Model Context Protocol Servers
Official integrations are maintained by companies building production ready MCP servers for their platforms. 21st.dev Magic - Create crafted UI components inspired by the best 21st.dev design engineers. ActionKit by Paragon - Connect to 130+ SaaS integrations (e.g. Slack, Salesforce, Gmail) with Paragon’s ActionKit API. Adfin - The only platform you need to get paid - all payments in one place, in
copilot-explorer
Copilot Internals | thakkarparth007.github.io Github Copilot has been incredibly useful to me. It can often magically read my mind and make useful suggestions. The thing that surprised me the most was its ability to correctly “guess” functions/variables from surrounding code – including from other files. This can only happen, if the copilot extension sends valuable information from surrounding cod
Claude Skills are awesome, maybe a bigger deal than MCP
Claude Skills are awesome, maybe a bigger deal than MCP 16th October 2025 Anthropic this morning introduced Claude Skills, a new pattern for making new abilities available to their models: Claude can now use Skills to improve how it performs specific tasks. Skills are folders that include instructions, scripts, and resources that Claude can load when needed. Claude will only access a skill when it
Kiroみたいな開発をGemini-CLIでやってみた
tl;dr Kiroが待機列（Wishlist）ができていて試せなかったので、いろいろ周辺情報を読み解いて、Gemini-CLIで似たようなことをやってみたら、わりといい感じの開発プロセスが回せそうな気がしてきたので、ここに書き記す。 事前に見たもの Cursorの競合？AmazonのAI搭載IDE「Kiro」について解説してみた Alistair Mavin EARS - Alistair Mavin Kiro: The AI IDE for prototype to production 第１回：BDD（振る舞い駆動開発）とは？AI時代における仕様管理への解決策 セットアップ Visual Studio Code （使いこなせてない） Gemini-CLI （使いこなせてない） 開発の流れ（仮） Kiroの周辺情報をいろいろ当たるとおおむね理解できると思うけれど、大まかな流れは、 要求
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Streamlitとは StreamlitはPython向けのWebアプリケーションフレームワークです。 Streamlitを使うとフロントエンドの知識ゼロでもデータを可視化するためのWebアプリケーションを簡単に作れます。以下のような機能が特徴。 変数を地の文に書くだけで、GUIに出力される(マジックコマンド) st.radioやst.text_inputのようなWidget APIを呼び出すだけで、GUIコンポーネントが生成される Streamlitの最新バージョン Streamlitの最新バージョンはChangelogで確認できま
しくじり先生のように学ぶ「NFS+sqliteで苦労した話から学ぶ、問題解決の考え方」という勉強会をやってみました | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 インフラLinux勉強会SQLiteNFS こんにちは、羽山です。 今回は社内で実施した勉強会をほぼそのままブログ記事にしています。 ITエンジニアたるものドキュメントを残したり勉強会を実施したり分かりやすい設計にリファクタリングしたりなど、日々 知見の伝達 を意識していると思います。主要な知見はたいていそれらの方法で満たせるのですが、しかし残念ながら中には画一的な方法では伝えにくいものもあったりします。 ところで伝統芸能や工芸の世界では技術の継承において 背中を見て学ぶ という方法が用いられることがあるようです。 これと似た手法はITエンジニアの世界にもあって、先輩エンジニアとペアプログラミングをすることで文書では伝わりにくい技術や考え方・テクニックを学ぶ
![しくじり先生のように学ぶ「NFS+sqliteで苦労した話から学ぶ、問題解決の考え方」という勉強会をやってみました | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/9477296f61e752f8b6816cb517cdb9166a028f2c/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2021%2F10%2Fscience_hakase_shippai_s.png)
Claude Codeにセキュリティ診断をさせてみた
はじめに こんにちは、Claude Codeを使っていますか？ 私の観測範囲内でもClaude Codeを使っている人がどんどん増えてきています。 他のAIコーディングエージェントから乗り換えている人も結構な人数いそうです。 今回の記事ではClaude Codeに脆弱性の診断をさせてみました。 診断の対象としたのは以前の記事でClaude Codeに作ってもらった以下のAIチャットボットのアプリケーションです。 リポジトリはこちら 記事はこちら 実践 診断開始 今回はClaude Codeで以下のようなプロンプトで指示を出しました。 > あなたは経験豊富なセキュリティ専門家（ホワイトハッカー）として行動してください。 **要求する分析内容：** 1. **脆弱性の特定** - 発見した脆弱性の種類と場所を明確に指摘 - 各脆弱性のCVE分類またはOWASP Top 10での位置づけ 2.
ゼロからはじめるPython(71) Excelで読めないSQLiteデータをPythonで読んでExcelに差し込みたい
時々、Excelで読み込めない形式のデータや、独自形式のデータをExcelのシートに貼り付けたい場合がある。Pythonの豊富なライブラリを使えば様々なデータ形式を手軽に読み込める。今回は、SQLite形式のデータをPythonで読み込んでExcelに貼り付けてみよう。 SQLiteのデータをPythonで読み込んでExcelに挿入したところ Excelに貼り付けたいけどExcelだけでは読めないデータもある Excelのデータインポート機能は非常に高機能だ。CSV/TSVなど汎用テキストデータだけでなく、Webでよく使われるXMLデータからJSONデータのインポートにまで対応している。 しかし、時々、Excelで読み込めない形式のデータや、独自形式のデータをExcelのシートに貼り付けたい場合がある。Excelで直接読めなくても別のアプリを使ってクリップボード経由でExcelに貼り付ける
Claude Code SDK ではじめる 定額 AI Agent 開発入門 - LayerX エンジニアブログ
こちらは LayerX AI Agentブログリレー 7日目の記事です。 こんにちは。バクラク勤怠のソフトウェアエンジニアの @upamune です。 最近は社内のいろんなリソースをMarkdownに変換する怪物になっています。 1. はじめに：定額で始めるAI Agent開発 皆さんAI Agent開発していますか？AI Agentを開発する時の障壁の一つとして、LLMを呼び出す際のAPIコールが従量課金のため、なかなか個人で気軽に試せないというのがあると思います。 そこで、今回はClaude Code SDKを利用してAI Agentを作成することで、Pro/Maxプランに加入することで定額でAI Agentを開発できる選択肢があることを紹介します。 2. なぜClaude Code SDKなのか Claude Codeを利用している方は多いと思いますが、Claude Code SDK
データがSQL対応のDB（データベース）に格納されている場合、SQLを使いデータを取得し操作することが多いことでしょう。 Python上ではPandasやPolarを使うかもしれませんが、SQLを利用したほうが便利な場面も少なくありません。 そこで登場するのがDuckDBです。 DuckDBは、インプロセス（例えば、Python内駆動）で動作するRDBMS（リレーショナルデータベース管理システム) で、指示を送信するクライアントもそれらを読み取って処理するサーバーも必要ありません。 そこが、PostgreSQLやMySQLなどの通常のRDBMSとの大きな違いです。 また、オンライン分析処理 (OLAP) 系のRDBMSのため、データ分析に適しています。 要するに、DuckDBは「組み込み用途のOLAP系のRDBMS」ということです。 似たようなものに、SQLiteというものがありますが遅速
11th March 2025 Online discussions about using Large Language Models to help write code inevitably produce comments from developers who’s experiences have been disappointing. They often ask what they’re doing wrong—how come some people are reporting such great results when their own experiments have proved lacking? Using LLMs to write code is difficult and unintuitive. It takes significant effort
mold と呼ばれる高速なリンカを利用して Chromium を Build してみる - Nao Minami's Blog
はじめに 現在、広く使われているリンカの中でもっとも高速なものとして有名なのは LLVM project の LLD でしょう。LLD のパフォーマンスについては、公式 document に以下のような benchmark が掲載されていて、GNU ld, GNU gold などと比較して圧倒的に早いという結果が示されています。 Program Output size GNU ld GNU gold w/o threads GNU gold w/threads lld w/o threads lld w/threads ffmpeg dbg 92 MiB 1.72s 1.16s 1.01s 0.60s 0.35s mysqld dbg 154 MiB 8.50s 2.96s 2.68s 1.06s 0.68s clang dbg 1.67 GiB 104.03s 34.18s 23.49s
TLSv 1.3 に対応している curl を Mac にササッとインストールしてみた | DevelopersIO
% curl -s -v https://cafe.classmethod.jp > /dev/null * Trying 99.84.55.24... * TCP_NODELAY set * Connected to cafe.classmethod.jp (99.84.55.24) port 443 (#0) * ALPN, offering h2 * ALPN, offering http/1.1 * successfully set certificate verify locations: * CAfile: /etc/ssl/cert.pem CApath: none * TLSv1.2 (OUT), TLS handshake, Client hello (1): } [233 bytes data] * TLSv1.2 (IN), TLS handshake, Server
Faissを使ったFAQ検索システムの構築Facebookが開発した効率的な近似最近傍検索ライブラリFaissを使用することで、FAQ検索システムを構築することができます。 まずは、SQLiteデータベースを準備し、FAQの本文とそのIDを保存します。次に、sentence-transformersを使用して各FAQの本文の埋め込みベクトルを計算し、そのベクトルをFaissインデックスに追加します。新しいクエリが入力されたときは、sentence-transformersを使用してクエリの埋め込みベクトルを計算し、Faissインデックスを使用して、クエリの埋め込みベクトルに最も類似したFAQの埋め込みベクトルを検索します。 検索結果は、FAQのIDのリストとして返され、最後に返されたIDを使用して、SQLiteデータベースから関連するFAQの本文を取得し、検索結果としてユーザーに表示されま
0.背景 個人的に投資を副業でやっていますが、自宅PCにてそろそろ分析を自動でやりたくなった。 まずはデータを格納する箱(データベース)を学んだので、そのド基礎の部分だけ記録として残しておく。 動作環境 OS : Windows10 pro Python : 3.8.3// Miniconda 4.9.1 sqlite3：2.6.0 (管理ツール：DB Browser for SQLite ※すぐに中身を見るときに便利) ※sqlite3 モジュールをインストールする必要はありません。Python(2.5以降)の標準ライブラリに含まれています。 1.データベース作成～操作 データベースをExcelで考えるととりあえずは理解しやすいと思ったので、今回は最初の部分に関してExcelに置き換えて説明する。 ①まずはデータベースを新規作成して、接続する Excelファイルを作成して、Excelを開
脆弱性が診断ツールで見つかったり見つからなかったりする話
はじめに 「脆弱性診断内製化ガイド」が注目を集めていたことをきっかけに、「診断ツールで見つけられそうな脆弱性が見つかったり見つからなかったりする」話を書けないかな？と思い立ちました。本記事では、診断ツールを用いて簡単なアプリケーションをスキャンした結果を紹介します。 背景 脆弱性診断内製化ガイド 2025年7月31日、情報処理推進機構（IPA）から「脆弱性診断内製化ガイド」というドキュメントが公開されました。 これは「中核人材育成プログラム 卒業プロジェクト」によるもので、企業が自社内で脆弱性診断を行う「内製化」を推し進めるためのガイドです。内製化に必要な組織体制・人材育成、スモールスタートから始める導入ステップ、外部委託と比べたメリット・デメリットなどが述べられています。 診断ツールによる脆弱性の検出 一方、SNSでは「あるページ」に注目が集まっているように感じました。それは、P.51か
Unix ASCII games
Unix ASCII games View the Project on GitHub ligurio/awesome-ttygames Unix ASCII games Feel free to submit pull requests to add new games and improve information about those already in the database. How to contribute Check games.yaml out. All information is inside, and you should more or less understand what’s going on by reading it. Sorting is alphabetical. Simplest way to contribute: edit games.y
日本語の全文検索ぜんぶんけんさく (full-text search, FTS) を、高速に実行する Python コード例です。 Python の標準モジュール sqlite3 を使用しました。 sqlite3 から、SQLiteエスキューライト の全文検索 (FTSエフティーエス) を使ってみました。 試したのは、FTS4エフティーエスフォー と FTS5エフティーエスファイブ の２種類です。 ところで、SQLite の読み方は色々ありました。YouTube では、エスキューライト、エスキューエライト、スィクライト、スィクエライト、などの発音を聞きました。 全文検索の使い方（FTS の使い方）ですが、テキストを N-Gram にして、FTS4 か FTS5 の仮想テーブルに INSERT するだけでした。 （2022年2月5日 追記）MeCab の使い方も書きました。 MeCab で
AI駆動プログラム開発、一気入門
AI駆動プログラム開発、一気入門 AI Driven Development このドキュメントは、全てMarkdown AIで作成しました。2024.11.18 <div Align="right">作成：Markdown AI ファウンダー兼アーキテクト coke_kouichi</div> AI駆動開発とは？ AI時代がやってきた！ あの大変だったプログラミング作業を、AIが勝手にやってくれるという、とんでもない時代がやってきました。 そこで、本書ではVercel社のv０、Stackblitz社のBolt、Replit社のReplit Agent、Anysphere社のCursor+Clineの5つのツールを用いて、AIプログラミングに挑戦します。 プログラミングは難しい、昔プログラミングに挑戦して挫折した、そんな方もAI時代は大丈夫です、ご心配なく。 本書でもう一度プログラミングに挑
Pythonで簡単DB - Qiita
pythonでsqlite3データベースを簡単に使う SQLとかわかんないよみたいな方だってデータベースに触れたら世界が変わるかも知れない。わかんないけど。 ほとんどの場合ざっくりと簡単なクエリ発行で事足りる場合が多いので、SQLに詳しい方だって多分楽できるかも。 DBクラスとDBwrapperクラス ほぼ素に近い状態でsqliteを使うDBクラスと、そのDBクラスを継承して簡単に使えるファンクションを追加したのがDBwrapperクラス。 DBwrapperクラスはDBクラスのファンクションを全部使えるのでとりあえずDBwrapperクラスを取り込んで使えば便利。 たとえば dict型でデータを作って set とか読んでやればDBにデータを挿入・更新できたり get をforで回してやれば1行づつデータが取り出せる。 データの件数も count で取り出せるぞ、手軽だね。 詳しくは以下の
日本語に強くローカルで動作！テキスト埋め込みモデルPLaMo-Embedding-1Bを試してみた | DevelopersIO
リポジトリはこちらです。今回紹介するコード及び、利用しているライブラリのバージョンの詳細はこちらはご確認ください。 補足 Python 3.13だとsentencepieceがuv add時に依存のエラーが発生したため3.12を使っています READMEサンプル まずはhuggingfaceからREADME_jaのサンプルを動かしてみます。 文書をencode_documentメソッドでベクトルに変換し、クエリをencode_queryメソッドでベクトル（埋め込み）に変換してコサイン類似度を出力するサンプルです。 import torch import torch.nn.functional as F from transformers import AutoModel, AutoTokenizer # 🤗 Huggingface Hubから以下のようにしてモデルをダウンロードできます
ソーシャルメディアやウェブアプリケーションでは、ユーザーがコンテンツに対して「いいね」や「いいね」ボタンを押す機能が一般的です。これはユーザーエンゲージメントを向上させ、コンテンツの評価や共有を促進するための重要な機能です。今回は、Pythonを使用してシンプルないいね機能を実装する方法について説明します。 いいね機能の基本的な仕組み いいね機能の基本的な仕組みは、ユーザーがコンテンツに対していいねを押すと、その情報がサーバーに送信され、データベースに反映されるというものです。具体的には、各コンテンツに一意なIDがあり、ユーザーがボタンを押すとそのIDとユーザーIDがデータベースに保存されます。 データベースの設計 まず、いいね情報を格納するためのデータベースを設計します。以下は、SQLiteを使用した簡単な例です。 import sqlite3 conn = sqlite3.connec
Concurrency is not very intuitive. You need to train your brain to consider what happens when multiple processes execute a certain code block at the same time. There are several issues I often encounter: Failing to recognize potential concurrency issues: It's not uncommon for both beginner and seasoned developers to completely miss a potential concurrency problem. When this happens, and the concur
The Pitchfork Story
A bit more than two years ago, as part of my work in Shopify’s Ruby and Rails Infrastructure team, I released a new Ruby HTTP server called Pitchfork. It has a bit of an unusual design and makes hard tradeoffs, so I’d like to explain the thought process behind these decisions and how I see the future of that project. Unicorn’s Design Is Fine Ever since I joined Shopify over 11 years ago, the main
参考文献 ※1 EDINET API機能追加に係る利用者向け説明会資料 ※2 EDINET API仕様書 Version2 ①会社名の選択 まず会社一覧及び、会社のEDINETコードが必要になってきます。 これについてはAPIで取得する方法はなく公式サイトからZIPを落としてくるか ここからプログラム的に自動でダウンロードする必要があります。 今回は手動であらかじめダウンロードしたものを使います。 公式サイトからダウンロードすると毎回リンクが変わる、上記の直接リンクだと固定という謎仕様のようです（ドキュメントにもそうかいてある） ZIPを展開するとShift-JISのCSVが手に入ります。文字コードに注意しましょう。EDINETからダウンロードするCSVはUTF16なのにこっちはShiftJISなのです。 中身は上記のようなもになっています。 末尾に0がついているものの証券コードも入ってい
本記事では、11月26日に公開された Claude の Model Context Protocol (MCP) を使って、エンジニアでない人でも、 Claudeと外部アプリを連携できる方法をご紹介します。全て無料の部分で実装可能です！ そもそもMCPとはエンジニアの方も、エンジニアでない方もなかなか聞き馴染みのないワードだと思いますので、一度ChatGPTに聞いてみましょう。 ChatGPTの回答にあるように、MCPはAIモデルがどのように情報を保存し、活用するかを定めたガイドライン、いわばルールブックのようなものです。 Claude MCPは、このガイドラインに沿って、Claudeがコンピュータ上にあるファイルやデータベースといった外部の情報にアクセスし、活用することができます。 MCPの仕組みMCPは、クライアント・サーバーモデルという仕組みで動作します。これは、ユーザーのコンピュー
Published on 2022-01-04, 1640 words, 6 minutes to read It is clear that most of the world has decided that they want to use JSON for their public-facing API endpoints. However, most of the time you will need to deal with storage engines that don't deal with JSON very well. This can be confusing to deal with because you need to fit a square peg into a round hole. However, SQLite added JSON function
GitHub - taishi-i/awesome-ChatGPT-repositories: A curated list of resources dedicated to open source GitHub repositories related to ChatGPT and OpenAI API
awesome-chatgpt-api - Curated list of apps and tools that not only use the new ChatGPT API, but also allow users to configure their own API keys, enabling free and on-demand usage of their own quota. awesome-chatgpt-prompts - This repo includes ChatGPT prompt curation to use ChatGPT better. awesome-chatgpt - Curated list of awesome tools, demos, docs for ChatGPT and GPT-3 awesome-totally-open-chat
年齢ともに記憶が弱ってくると、ちょっと前にやったことを忘れがちです。あれこれ調べ物をしていると、数時間前に見たはずのWebサイトの記憶が全くない時があります。 ブラウザの履歴からもう一度アクセスするとさすがに思い出すのですが、見直すまですっかり忘れてしまっているという。なんとも困ったものです。 自分の記憶の補助にブラウザのログを使おうと思います。朝起きたら前日に閲覧していたサイトの要約を書き出して見直す、そんな作業をPythonにやってもらおうと思います。 この記事では、Pythonを使って自動でWeb閲覧ログを収集・分析する事について述べます。 ブラウザ履歴でライフログ？ 実際にやってみよう！ まずは準備その1：Macに“アクセス許可”をあげる 準備その2：Pythonで履歴をのぞいてみる コードを書いてみよう！（AIに書いてもらおう！） コードのポイント（簡易版） アウトプット例 ちょ
Cosmopolitan Third Edition
After nearly one year of development, I'm pleased to announce our version 3.0 release of the Cosmopolitan library. The project is an entirely new animal. For starters, Mozilla sponsored our work as part of their MIECO program. Google also awarded me an open source peer bonus for my work on Cosmopolitan, which is a rare honor, and it's nice to see our project listed up there among the greats, e.g.
operationはsearchRetrieveで固定です。 queryにはURLエンコードした検索クエリの文字列をセットします。requestsを使えば勝手にエンコードしてくれるので検索文字列そのままで大丈夫です。今回はISBNで検索するのでisbn=”{isbn}”で関数の引数として渡すISBNコードを埋め込みます。ISBN以外にも検索できる項目はいっぱいあるので、興味がある方はリファレンスを読んでみてください。 recordPackingはレスポンスのうち書籍情報の部分をURLエンコードした文字列にするか書籍情報以外のXMLにそのままXMLとして内包させるかを指定できます。省略した場合は前者です。XMLにしておいた方がデータを取り出すのが楽なのでxmlにしています。 レスポンスのXMLは次のようなものです。 <?xml version="1.0" encoding="UTF-8"?>
21st February 2021 I released Datasette 0.55 and sqlite-utils 3.6 this week with a common theme across both releases: supporting cross-database joins. Cross-database queries in Datasette SQLite databases are single files on disk. I really love this characteristic—it makes them easy to create, copy and move around. All you need is a disk volume and you can create as many SQLite databases as you lik
CREATE文とINSERT文のサンプル それでは接続からSQL実行までのサンプルです。以下のサンプルはカレントディレクトリ直下にexample.dbというdbファイルを作成し、CREATE文でテーブルを作成後、INSERT文でデータを挿入してみます。 import sqlite3 # 接続。なければDBを作成する。 conn = sqlite3.connect('example.db') # カーソルを取得 c = conn.cursor() # テーブルを作成 c.execute('CREATE TABLE articles (id int, title varchar(1024), body text, created datetime)') # Insert実行 c.execute("INSERT INTO articles VALUES (1,'今朝のおかず','魚を食べました'
PythonとSQLの連携: データベース操作の新しい次元 - Python転職初心者向けエンジニアリングブログ
**** SQL（Structured Query Language）はデータベース管理システムで広く使用される言語であり、Pythonとの連携により柔軟で効率的なデータベース操作が可能です。今回は、PythonからSQLを利用してデータベースに接続し、クエリを実行する手法について具体的なコードとともに解説します。 1. PythonからSQLiteデータベースに接続する 最初に、PythonからSQLiteデータベースに接続する例を見てみましょう。SQLiteは軽量でシンプルなデータベースエンジンであり、Python標準ライブラリにも含まれています。 Pythonのコード import sqlite3 # SQLiteデータベースに接続 conn = sqlite3.connect('sample.db') # カーソルを取得 cursor = conn.cursor() # データベー
イワシの大群が特に大規模になったとき、それをサーディンランと呼び、個体数は数千万とも数億とも数十億ともいわれるのだそうです。そのような生物量がそれほど密集したとき酸素濃度は足りるんだろうかと心配です。 さて、データ処理の一環で億オーダーのレコード数（ディスク上で~100GB）をもつSQLiteテーブルを構築しようということになり、データ自体は生CSVがある状態でこれをなるべく短時間でDBに流し込むという雑なチャレンジをしてみたので、雑な記録をまとめておきました。 できるだけPythonで閉じさせたかったため、C++などで書くという選択肢はなし。 またDBサイズがサイズなのでインメモリではなくファイルに吐き出します。 またスキーマ定義をさくっとやりたい・DB構築後の扱いを楽にしたいということで、PythonベースのORM Peeweeを使用することにしています。なおPeeweeについて詳細は
の類ですね。出現頻度も高く、postfixに負荷がかかるし、第一気持ち悪いので、自動的にblockする方法を考えました。 これは、Linuxサーバーで不正なパケットを検知し、自動的にブロックするPythonスクリプトです。syslogのログファイルを監視し、指定された正規表現パターンにマッチする不正なパケットをブロックするために、iptablesを使用します。また、特定のIPアドレスがブロックされている期間を追跡するために、sqlite3を使用します。 このスクリプトを使用することで、不正なパケットを自動的にブロックし、サーバーの負荷を軽減できます。また、手動でIPアドレスをブロックする必要がなく、セキュリティの向上に役立ちます。 fail2banという類似するシステムがあります。ipblock.pyはfail2banのように複数のlogを監視しません。何回か、その攻撃があったら、処断する
以前書いた記事でTwitterの対話データを集める方法を紹介しました。 www.pytry3g.com 紹介した方法を使えば膨大な数の対話データが簡単に手に入るというメリットがありますが、一方でTwitter特有の単語が多く含まれていてデータとして使えないなどのデメリットもあります。 今回はその収集したデータに前処理をかけて、データとして使えるものとそうでないものに分けたいと思います。 関連リンク 正規表現を使う URL URLを含まないテキスト URL(https)を含むテキスト URL(http)を含むテキスト 使用例 おまけ ハッシュタグ サンプル１ サンプル２ サンプル３ - 顔文字 ユーザ名 サンプル１ サンプル２ サンプル３ - 顔文字 サンプル４ - 顔文字 サンプル５ - 顔文字 replaceを使う。 ソースコード おわりに 関連リンク 6.2. re — 正規表現操作
Building the Same App Using Various Web Frameworks [ learning engineering python 🛠 ] · 8 min read Recently, I’ve been wondering if I should migrate from my current web app stack (FastAPI, HTML, CSS, and a sprinkle of JavaScript) to a modern web framework. I was particularly interested in FastHTML, Next.js, and Svelte. FastHTML: Many folks have started building with it since Jeremy Howard launched
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Anthropic発「MCP」とは何か？ 基本概念から実践まで一気通貫で解説
Streamlit 1.38.0の新機能紹介 - Qiita
Pythonデータ分析のためのDuckDB（組み込み用途のOLAP系のRDBMS）
Here’s how I use LLMs to help me write code
最近話題のVector Searchを実現するFaissって何？ #1｜masuidrive
Pythonで簡単にデータベースを扱う(SQLite3) - Qiita
【Python】SQLite で日本語を全文検索するコード例【N-Gram, FTS4/FTS5】
Pythonでいいね機能を実装する方法 - Python転職初心者向けエンジニアリングブログ
Handling Concurrency Without Locks
StreamlitでEDINETから有価証券報告書をダウンロードして分析するWEBアプリをサクっとつくろう
【徹底解説】Claude MCPの基本と使い方：データベース連携編｜ChatGPT研究所
Bashing JSON into Shape with SQLite
年齢とともに弱る記憶を補う：ブラウザ履歴でつくる“外部の頭脳” - 43号線を西へ東へ
PCのカメラでISBNコードを読み取りExcelに書籍リストを作る
Cross-database queries in SQLite (and weeknotes)
SQLite3入門 | Python学習講座
Python+Peewee ORM+SQLiteで1億レコード最速insertチャレンジ | さかな前線
ipblock - 超小型fail2ban - Qiita
収集したTwitterの対話データの前処理をする。 - どん底から這い上がるまでの記録
Building the Same App Using Various Web Frameworks