オンラインドキュメントと日本語全文検索
自社では Sphinx というドキュメントツールを利用しているのですが、残念ながらこれに付属している検索機能の日本語検索はかなり厳しいです。また残念ながら Sphinx 開発側も検索周りを改善するという予定は直近ではないようです。 そして検索というのはとても難しい技術なため自分のような素人では導入して「普通に期待する動作」をさせるまでの距離はとても遠いです。 ただ、なんとかして日本語全文検索を実現したいという思いはここ10 年くらいずっと思っていました。これは自社の Sphinx テーマを作ってくれている社員ともよく話をしていたのですが、どうしてもリソースをつぎ込めずにいました。 まとめ日本語検索に対応している Meilisearch を採用したドキュメントスクレイパーの実行は GItHub Actions (Self-hosted Runner) を採用した自社 Sphinx テーマの検
オフライン日本語全文検索 Mikan
自社ドキュメントを reStructuredText(rst) から Markdown (md) へ切り替えて、ドキュメントツールも Sphinx から Rspress へと切り替えているが、ここで一番課題になるのは日本語全文検索である。 今までは Meilisearch を自前でサーバーを立てて、そこで Meilisearch が提供している docs-scraper というスクレイピングツールを公開済みのドキュメントに対して利用し、docs-searchbar.js を Sphinx 独自テーマに組み込むという実現していた。 こんな感じただ、これがまた Sphinx 拡張のメンテナンスはほぼ不要だが、少しいじろうとすると独自なのでツライ。そして何より Meilisearch の運用がツライ。Meilisearch はかなり高頻度でアップデートするし、docs-scraper と doc
Dify の ワークフロー の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Workflow - Dify 1. ワークフロー1-1. ワークフロー「ワークフロー」は、複雑なタスクを小さな「ノード」に分割することで、LLMアプリケーションのモデル推論への依存を減らし、システムの説明可能性、安定性、耐障害性を向上させます。 「ワークフロー」の種類は、次のとおりです。 ・Chatflow : 顧客サービス、セマンティック検索など、応答作成に複数ステップのロジックを必要とする会話シナリオ用 ・Workflow : 高品質な翻訳、データ分析、コンテンツ作成、電子メールの自動化など、自動化・バッチ処理シナリオ用 1-2. Chatflow自然言語入力におけるユーザー意図認識の複雑さに対処するため、「質問分類」「質問書き換え」「サブ質問分割」などの問題理解ノードを提供します。さらに、LLMに外部環境との対話機能、すなわち「
モチベーション ドキュメントツール Sphinx から出力した HTML オンラインドキュメントに日本語対応の全文検索機能を追加したい。 結果 オンラインドキュメントと日本語全文検索 前提 日本語全文検索に対応する OSS を利用する ドキュメントツールは Sphinx を利用する Sphinx の検索バーを置き換える サーバレスの検索は諦める サーバ運用を検討する 企業利用前提なので費用がかかっても良い 検索は難しいので検索部分は頑張らない 完璧は求めない reStructuredText を解析するのではなく HTML を解析して処理する Meilisearch を採用 いろいろ調べたりしていたが Meilisearch が良さそうと判断した。 Meilisearch 日本語検索に対応している Rust で書かれており性能がでそう Rust であれば問題が起きた際、会社でなんとかできる
Shai Hulud Strikes Again (v2)Another wave of Shai-Hulud campaign has hit npm with more than 500 packages and 700+ versions affected. Update: November 26, 2025 PostHog has published a detailed post mortem describing how one of its GitHub Actions workflows was abused as an initial access vector for Shai Hulud v2. An attacker briefly opened a pull request that modified a script executed via pull_requ
GitHub - BehiSecc/awesome-claude-skills: A curated list of Claude Skills.
web-artifacts-builder - Suite of tools for creating elaborate, multi-component claude.ai HTML artifacts using modern frontend web technologies (React, Tailwind CSS, shadcn/ui). test-driven-development - Use when implementing any feature or bugfix, before writing implementation code using-git-worktrees - Creates isolated git worktrees with smart directory selection and safety verification. finishin
awesome-selfhosted
Awesome-Selfhosted# Self-hosting is the practice of hosting and managing applications on your own server(s) instead of consuming from SaaSS providers. This is a list of Free Software network services and web applications which can be hosted on your own server(s). Non-Free software is listed on the Non-Free page. HTML version (recommended), Markdown version (legacy). See Contributing. Software# Thi
Introducing the Overflow Offline project - Stack Overflow
Jessica Hicklin was 16 when she entered a juvenile correctional facility. Earlier this year, after 26 years, she left the justice system a free woman, and set to work in her new role, as CTO of Unlocked Labs. The organization supports coding education programs in three prisons across the state of Missouri, and runs a development shop at one prison, empowering currently incarcerated individuals to
Google ドライブ + GitHub Actions で定期スクレイピングパイプラインを作ってみる - Qiita
※ こちらは「 ヤプリアドベントカレンダー 」の2日目，「 Aidemy Advent Calendar 2022 」の3日目にクロスエントリさせていただいた記事です．この後も続々と記事が投稿されていきますので，是非ご覧ください はじめに ニュースサイトを定期的にスクレイピングし，記事の内容を Google ドライブへ保存するデータパイプラインを作ってみました（ そして途中で詰まりました…（後述） ）．この記事では，作る際に考えたことやつまづいたことなどをまとめています． やりたいこと ニュースサイトを定期的にスクレイピングして記事本文から必要なデータを抽出＆蓄積し，分析等で使えるようにすること 複数のニュースサイトでも対応可能にすること 作りたかったもの 上記やりたいことを実現するために，下図のパイプラインを考えました．イメージとしては，Google Cloud Storage (GCS
GitHub - JustAnotherArchivist/snscrape: A social networking service scraper in Python
snscrape is a scraper for social networking services (SNS). It scrapes things like user profiles, hashtags, or searches and returns the discovered items, e.g. the relevant posts. The following services are currently supported: Facebook: user profiles, groups, and communities (aka visitor posts) Instagram: user profiles, hashtags, and locations Mastodon: user profiles and toots (single or thread) R
ボードゲームのデータ解析その1：まえがきと一般的な傾向について(An analysis of board games: Part I - Introduction and general trends)｜べよ
ボードゲームのデータ解析その1：まえがきと一般的な傾向について(An analysis of board games: Part I - Introduction and general trends) 本記事は、Dinesh Vatvani氏が2018年3月5日に投稿した「An analysis of board games: Part I - Introduction and general trends」の翻訳である。 Dinesh Vatvani氏は、ケンブリッジ大学の化学情報学(Chemical Informatics)の博士号を持つ30代のデータサイエンティスト。Dinesh氏のブログには、WhatsAppのチャットログの解析やテレビドラマの各エピソードの評価分析などが公開されている。 本記事を含む3つの記事は、BGGのデータベースを利用したデータ分析をしている。グラフが出てく
こんにちは。たかやまです。 みなさんNotebookLMを使っていますか？ NotebookLMはGoogleが提供するAI リサーチ アシスタントで、ドキュメントやWebページなどの「ソース」を追加することで、そのソースに基づいた正確な回答を得ることができます。 普段から情報を調べる際にChatGPTやClaudeなどのLLMを活用していますが、LLMは質問に対して誤った情報を返すハルシネーションが発生するリスクがあります。 また、PerplexityなどのAI検索エンジンを使うことで正確性の高い情報を得ることができますが、ソースもとが多岐にわたるケースがあり、その中から必要な情報を見つけるのが難しいこともあります。 AWSに関する情報を調べる場合、AWSドキュメントを1次ソースにしたいケースがあります。そこで、提供ソースに基づいて回答を返すNotebookLMにAWSのドキュメントをイ
10th December 2025 I’ve started using the term HTML tools to refer to HTML applications that I’ve been building which combine HTML, JavaScript, and CSS in a single file and use them to provide useful functionality. I have built over 150 of these in the past two years, almost all of them written by LLMs. This article presents a collection of useful patterns I’ve discovered along the way. First, som
Anthropicが公開しているskill-creatorをGitHub Copilot用に書き換えてみた｜hidet
「最近GitHub CopilotがAgent Skillsに対応したので、Anthropicが公開してるSkillsを試してみよう」と思い立ったのが始まりでした。基本的には汎用的な内容なので期待が高まります。 ところが、特に便利そうなskill-creatorの中身を見てみると、Claudeの文字列が随所に…。このままでは使いづらそうです。 「どうせ書き換えるなら、ついでに改善もしよう」と考え、llms.txtの読み込みやWeb検索の義務化など、自分なりの工夫を加えることにしました。 このnoteでは、skill-creatorの書き換え手順に加えて、llms.txtの活用やWeb検索の義務化など、実用性を高めるための改善ポイントも紹介します。 AIエージェントのSkillsは本当に汎用的なのかSkillsは汎用的AIエージェント向けの「Skills」って、どのツールでも使えるものだと思
Using GPT-4o for web scraping
tl;dr; show me the demo and source code! I’m pretty excited about the new structured outputs feature in OpenAI’s API so I took it for a spin and developed an AI-assisted web scraper. This post summarizes my learnings. Asking GPT-4o to scrape data The first experiment was to straight ask GPT-4o to extract the data from an HTML string, so I used the new structured outputs feature with the following
GitHub - langroid/langroid: Harness LLMs with Multi-Agent Programming
import langroid as lr import langroid.language_models as lm # set up LLM llm_cfg = lm.OpenAIGPTConfig( # or OpenAIAssistant to use Assistant API # any model served via an OpenAI-compatible API chat_model=lm.OpenAIChatModel.GPT4o, # or, e.g., "ollama/mistral" ) # use LLM directly mdl = lm.OpenAIGPT(llm_cfg) response = mdl.chat("What is the capital of Ontario?", max_tokens=10) # use LLM in an Agent
The Perfect Commit
Sponsored by: Teleport — Prevent access bottlenecks. Unify identity. Teleport replaces fragmented identity and access tooling with a single identity layer that security teams trust, and engineers want to use. 29th October 2022 For the last few years I’ve been trying to center my work around creating what I consider to be the Perfect Commit. This is a single commit that contains all of the followin
I recently released JustHTML, a python-based HTML5 parser. It passes 100% of the html5lib test suite, has zero dependencies, and includes a CSS selector query API. Writing it taught me a lot about how to work with coding agents effectively. I thought I knew HTML going into this project, but it turns out I know nothing when it comes to parsing broken HTML5 code. That's the majority of the algorithm
awesome-selfhosted
Awesome-Selfhosted# Self-hosting is the practice of hosting and managing applications on your own server(s) instead of consuming from SaaSS providers. This is a list of Free Software network services and web applications which can be hosted on your own server(s). Non-Free software is listed on the Non-Free page. HTML version (recommended), Markdown version (legacy). See Contributing. Software# Thi
GitHub - ScrapeGraphAI/Scrapegraph-ai: Python scraper based on AI
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - fr0gger/Awesome-GPT-Agents: A curated list of GPT agents for cybersecurity
MagicUnprotect: This GPT allows to interact with the Unprotect DB to retrieve knowledge about malware evasion techniques. GP(en)T(ester): A cybersec assistant for pentesting guidance. Threat Intel Bot: A specialized GPT for the latest APT threat intelligence. Vulnerability Bot: A specialized GPT on vulnerability, secure code, ransomware attacks SourceCodeAnalysis: Upload any project's source code
はじめに こんにちは。よこやんです。 株式会社バニッシュ・スタンダードという会社でサーバーサイドエンジニアをやっています。 前回はHuggingFaceのAIモデルで画像の特徴をテキスト化しようという業務外で勉強したことをブログのネタにさせていただきました。 今回も懲りずに生成AIネタでブログを書きたいと思います。 RAG（Retrieval Augmented Generation）とは？ RAGという言葉をきいたことはありますか？ 生成AIに興味を持っているエンジニアであれば、小耳に挟んだことくらいはあると思います。 RAGは「検索拡張生成」という意味で、生成AIがより正確な回答をするための技術です。具体的には、AIが質問に答えるとき、まず外部のデータベースから必要な情報を探し出し、その情報を基にして新しい文章を作り出す仕組みです。 RAGの仕組み RAGの働きは大きく分けて二つのステ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Meilisearch を利用して Sphinx で日本語全文検索を実現する
Shai Hulud Strikes Again (v2) - Socket
Playwrightを使ってNotebookLMへのURL追加を自動化してみた | DevelopersIO
Useful patterns for building HTML tools
How I wrote JustHTML using coding agents - Friendly Bit
テキスト生成AIのRAGをGo言語とベクトルDBで実装してみた