HTMLをそのままLLMに渡すな — Python製AIスクレイパーが「クリーニング→Markdown変換→質問」の4ステップでノイズを排除する仕組み
モデルにはgpt-5.4-nanoを使用する（※記事執筆時点のモデル名。実際の利用時は最新のOpenAIモデル一覧を確認されたい）。記事では「このタスクに大規模な推論モデルは不要」と明示しており、コスト最適化の観点からも小型モデルで十分と判断している。 ステップ1：HTMLのクリーニング 最も実装が面白いのがこのステップだ。BeautifulSoupでscript、style、nav、header、footer、form、buttonといったタグを一括除去した後、さらにクラス名やID属性に含まれるノイズワードでフィルタリングする。 noise_words = [ "cursor", "modal", "popup", "floating", "signup", "login", "cookie", "banner", "navbar", "menu", "footer", "header"
Webブラウザ上でreStructuredText記法で文書作成·Online reStructuredText editor MOONGIFT
Online reStructuredText editorはWebブラウザ上でreStructuredTextを記述できるソフトウェアです。 最近は様々なテキスト記法がありますが、その一つがreStructuredTextです。記法にまだあまり慣れていない、そんな方でも気軽に記述できるようになるのがOnline reStructuredText editorです。 メイン画面です。左がエディター、右が変換された後の文書が表示されます。 サンプルの記述です。ツールバー部分のボタンを使うと記法が自動で挿入されます。 リアルタイムのコードチェックも入っています。 日本語も問題なく扱えます。 リストを使ってみました。リストの自動挿入などはありません。 Natureに切り替えるとCSSを当てた見栄えになります。 対応しているマークアップは見出しや文字装飾、リスト、画像やリンクの挿入など多数あります
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
登録不要・無料のPython学習環境「PyWeb」にWebアプリ（CGI）実行機能が追加／HTML/CSSでWebフォームを作って、Pythonプログラムと連携
