GitHub - h4ckf0r0day/obscura: The headless browser for AI agents and web scrapingYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Webクローラーのベストプラクティスを定めるI-D「Crawler best practices」(draft-illyes-aipref-cbcp-03) を精読してみた - Qiita
著者について Gary Illyes: robots.txt のRFC 9309（Robots Exclusion Protocol）の共著者。IETFのAIPREF関連ドラフトを複数執筆しています。本I-Dでは「Independent」と記載されていますが、Illyes氏の個人サイト（2025年9月時点）ではGoogle Search チームのAnalystと記載されており、所属変更の時期は【要確認】です。 Mirja Kühlewind: Ericsson所属。IETFのTransport Area Director（AD）を歴任し、IETF標準化プロセスに深く関与してきた人物です。 AJ Kohn: SEO/サーチ業界の専門家。Blind Five Year Oldの創設者。 3. ドラフトの概要：6つのベストプラクティス 本ドラフトは、Webクローラーの運用者が従うべき6つのベスト
43サイトの専用パーサーを実装して分かった、日本のWebサイトの「闇」と「光」
はじめに Web Reader APIという、URLを投げるとAI要約付きのMarkdownを返すAPIを開発しています。 Readability（Firefoxのリーダーモードに使われている汎用抽出エンジン）だけでは日本のサイトに対応しきれず、43サイトの専用パーサーを実装することになりました。 この記事では、各サイトのHTML構造と格闘する中で遭遇した技術的なハマりどころ、設計判断、そして「なぜ汎用パーサーでは日本のサイトがうまく抽出できないのか」を赤裸々に書きます。 なぜ汎用パーサーでは足りないのか FirecrawlやJina Readerといった海外のWebスクレイピングサービスは、基本的にMozilla Readabilityをベースにしています。Readabilityは英語圏のニュースサイトやブログには強いのですが、日本のサイトでは以下の理由で品質が落ちます。 1. SPAの
SUUMOの物件情報を自動取得（スクレイピング）したのでコードを解説する。 - Qiita
こちらの記事をご覧いただきありがとうございます。 以前スクレイピングの基本の記事を投稿しました。こちらの記事では、スクレイピングを使ってSUUMOの物件情報を自動取得したその過程を書きます。 ご覧いただいた皆様に学びがあれば幸いです。 ↓が私が以前投稿したスクレイピングの記事です。こちらの記事ではスクレイピングの技術的な話を書くつもりはあまりないので、スクレイピングの手法はこちらをご確認ください。 SUUMO とは SUUMOとは国内最大手の不動産情報サイトです。↓にURLを載せておきます。 僕も東京に引越しをするときの物件探しでSUUMOを使いました。希望の条件を細かく指定することができて、かつたくさんの物件から探すことができるので、とてもありがたかったです。ロフトとかバルコニーがあるといいなーと思っておりましたもので（結局家賃に負けてついてない物件にしましたが）。 沿線で探せるのはもち
国会議案データで「ワードクラウド」を作ってみよう - Media × Tech
スマートニュース メディア研究所では、7月1日に「国会議案データベース」を公開しました。衆議院および参議院の公式ウェブサイトから計約1万8000件以上の法律案や予算案を取得し、機械可読な形で整理されたデータベースとしてGitHubで無償提供するものです。参議院については、会派や議員、質問主意書のデータも同時に公開しました。 国会議案データベース（GitHub） 衆議院 https://github.com/smartnews-smri/house-of-representatives 参議院 https://github.com/smartnews-smri/house-of-councillors 国会議案データベース・閲覧用ページ 衆議院 https://smartnews-smri.github.io/house-of-representatives/ 参議院 https://sma
米連邦控訴裁判所、一般公開されているデータのスクレイピングは不正アクセスにあたらないと判断 | スラド セキュリティ
米連邦巡回区第 9 控訴裁判所は 18 日、hiQ Labs が LinkedIn を訴えた裁判の差し戻し審で、LinkedIn 公開プロフィールへのスクレイピングをブロックしないよう LinkedIn に命じた連邦地裁の判断を再び支持した (Neowin の記事、 The Register の記事、 CyberScoopの記事、 裁判所文書: PDF)。 この裁判は LinkedIn が hiQ による LinkedIn 公開プロフィールのスクレイピングをコンピューター詐欺と濫用に関する法律 (CFAA) などに違反すると主張してアクセスをブロックしたため、hiQ 側が違法でないことの確認を求めて提起したものだ。 一審の連邦地裁では 2017 年、アクセスブロックの即時中止とスクレイピング中止を求めた通告の即時取り下げを命ずる事前差止命令を出し、2019 年には控訴裁判所がこの判断を支持
例を使用してテーブルを抽出する とは - Qiita
Power BI Desktop で Webページに表示されているテキストを取り込みたい。すでに用意されているコネクターでは TABLEタグを認識しどのテーブルを取り込みますか？になっているのだけど、TABLEタグが使用されているとは限らないし。 Python や R で HTML をパースして取り込むとき、CSS セレクターを使って必要なものを指定する的な機能。2018/05 時点でプレビューの機能だけど、Power Query 以外もちょっと勉強できたので整理しておく。 やってみる [データの取得] - [Web] 怒られる確率が低いであろうチョイスで Microsoft Store にお邪魔して。 そのまま読み込めそうな"テーブル"がないのですね。で、[例を使用してテーブルを抽出]する。 ここから"例" サンプルを入力していく。 "タイトル"という列名にしていくつか入力していると、デ
ハローワークの求人情報をスクレイピング（Python + Selenium + BeautifulSoup） - ai_makerの日記
この記事は、以下のハローワークインターネットサービスから求人情報を自動で取得する試みを記録したものです: www.hellowork.mhlw.go.jp まずは、ソースコードと実行結果をお見せし、後ほどこの記事を書いた経緯などを話します。 ソースコード：HelloWork_Scraping_ST.py from selenium import webdriver from selenium.webdriver.support.ui import Select import time from bs4 import BeautifulSoup import re # ハローワークインターネットサービスのURL url = "https://www.hellowork.mhlw.go.jp/" # 以下からご自分で使用しているChromeのバージョンに合ったChromeDriverをダウンロ
ビデオ会議上の発言を音声認識で自動的にテキスト化してみよう | さくらのナレッジ
こんにちは。さくらインターネットの大井＠在宅勤務中です。 ここ最近の世界情勢の中、インターネットを介して遠隔で会議を行う「ビデオ会議」が急速に普及しつつあります。これまではどうしても現地に参加者が集まることができない場合など限定的なシチュエーションでの利用が中心となっていましたが、すでに原則として在宅勤務となった弊社ではミーティングのほぼ100%がビデオ会議で開催されるまでになりました。また、弊社での利用例のようなクローズドな業務用以外にも、広く世の中で授業や講演といった不特定多数が参加する場面でも当たり前に利用されるまでになっています。 ビデオ会議システムでは、オフラインでの会合には無い便利な機能が利用できるのも大きな特徴です。例えば多くのビデオ会議システムに搭載されている録画機能。ミーティング中の動画や音声を記録し、終了後もいつでも参照することが可能になったことで、後でゆっくり議事録や
Power BI Desktop で Qiita の記事を解析してみる - Qiita
今年もそろそろ終わりなので、Qiita の記事を解析しよう。そう Power BI でね！ということでやっていきます。尚、今回コードは極力書かない方向で頑張ります。また一番最後にコード書いた場合も載せておきます。 Qiita API の仕様を確認する Qiita Developer Docs に必要な情報があります。 アクセストークンを取得する まずはトークン。アプリ連携する予定はないので、個人用のトークンを取ります。 1. Qiita 設定ページ より「Generate new token」をクリック。 2. 任意の名前と必要なスコープを指定。今回は記事情報取得するだけのため、「read_qiita」のみ。 3.「Generate Token」をクリックして、発行されたトークンを大事に保管しておく。 複数記事取得 幾つか考慮事項があります。 OData に対応というわけでもなく、$sel
A History of HTML Parsing at Cloudflare: Part 1
To coincide with the launch of streaming HTML rewriting functionality for Cloudflare Workers we are open sourcing the Rust HTML rewriter (LOL HTML) used to back the Workers HTMLRewriter API. We also thought it was about time to review the history of HTML rewriting at Cloudflare. The first blog post will explain the basics of a streaming HTML rewriter and our particular requirements. We start aroun
行政をハックし、行政データをオープンにしてみようとした結果
2019年6月29日に開催されたCivic Tech Forum 2019の資料です。
勉強会・もくもく会に参加する際に守ってほしい２つのこと - Webスクレイピングと立ちふるまいの話 - Lean Baseball
人によっては割と耳に痛い話かもですが、エンジニアのコミュニティやイベント、ひいてはインターネットを私達が平和に優しく渡り歩くためにも、ちょっと言っとかないとアカンかも、と思い書きます. 具体的には先日、私が主催しているイベント（Pythonもくもく自習室）でちょっとしたヒヤリハット*1があったので、注意喚起および、もう同様のトラブル・事故が起きませんように！という訴えでもあります. TL;DR 大前提として、ネットもオフライン（勉強会・もくもく会）も社会に迷惑をかける行為は行わない WebサイトやAPIに対する大量アクセス（Webスクレイピング）をもくもく会・勉強会の会場から行うのはご法度（会場じゃなくても注意すべき） もくもく会・勉強会でのコミュニケーションで「粘着」「押し付け」はやめて、自然に距離をとって「相手を認め」てあげよう もくじ TL;DR もくじ 勉強会・もくもく会で社会に迷
Webスクレイピングする際のルールとPythonによる規約の読み込み - Stimulator
- はじめに - この記事は Webスクレイピング Advent Calendar 2017 - Adventar の1日目の記事です。 近年では、Pythonが様々な場面で使われるようになりました。 Webからデータを取ってくる際のスクリプトとして利用し、そのままデータを機械学習における学習データとするといった案件も多く見るようになっています。 ありがたい事に本年度書きました以下の記事は、はてなブログに投稿されたPython関連の記事の中で歴代はてブ数1位だそうです。 Webスクレイピングも日に日に情報が増え、様々なパッケージやフレームワークによって手軽になっています。 本記事は、スクレイピングやクローラを記述する際に抜けがちな、「規約」について記載するものです。 スクレイピングの間隔はどうすればいい？規約は？違法でないの？という人のために法律等もまとめています。 追記2019/01/0
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - laiso/site2pdf: Generate comprehensive PDFs of entire websites, ideal for RAG.
GitHub - mikf/gallery-dl: Command-line program to download image galleries and collections from several image hosting sites
GitHub - riywo/law.e-gov.go.jp: Crawling Japanese laws
20190202 powerbi scraping
Download HTTrack Website Copier 3.49-2 - HTTrack Website Copier - Free Software Offline Browser (GNU GPL)
データ収集からディープラーニングまで全て行って競馬の予測をしてみた - Qiita
