GitHub - hellock/icrawler: A multi-thread crawler framework with many builtin image crawlers provided.
Documentation: http://icrawler.readthedocs.io/ Try it with pip install icrawler or conda install -c hellock icrawler. This package is a mini framework of web crawlers. With modularization design, it is easy to use and extend. It supports media data like images and videos very well, and can also be applied to texts and other type of files. Scrapy is heavy and powerful, while icrawler is tiny and fl
GitHub - serpapi/google-search-results-python: Google Search Results via SERP API pip Python Package
goop - Google検索結果をスクレイピング
Googleの検索結果を取得して分析に使いたいと考える人は大勢います。しかし機械的に収集しようとすると、GoogleからCAPTCHA入力が求められます。そのため自動化しづらく、手作業で収集している人も多いでしょう。 しかし裏道がありそうです。Facebookを経由するとそのトラップに引っかからないようです。その実証として作られたのがgoopです。 goopの使い方 goopで検索を行います。その際、Facebookのクッキーを適用するのがコツです。 from goop import goop page_1 = goop.search('open source', '<facebook cookie>') print(page_1) ちゃんと検索結果が返ってきます。 {0: { 'url': 'https://opensource.org/osd-annotated', 'text': '
GitHubで公開されてるipynbファイルをGoogle Colaboratoryで開くブックマークレット
B! 35 0 0 0 GitHubで公開されているJupyter Notebookのファイルは ファイルのURLをちょっと変えるだけで直接Google Colaboratoryで開くことができます。 そのちょっと変えることをやるブックマークレットを用意しました。 Bookmarklet for GitHub to Colaboratory Bookmarklet for GitHub to Colaboratory 以下のリンクをブラウザのブックマークツールバーなどに持っていって ブックマークレット化してください。 GitHub to Colaboratory それで例えば最近公開された 東京大学の松尾研究室のDL4USのノート https://github.com/matsuolab-edu/dl4us/blob/master/lesson0/lesson0_exercise.ipyn
GitHub - google/pytype: A static type analyzer for Python code
TL;DR: The last supported Python version for Pytype will be 3.12. We are still very actively interested in the space of Python type checking, but shifting our investments towards new ideas and different frameworks. Pytype's development began in 2012 to meet Google developers' demand for compile-time checking. Pytype started with using type inference and interface files, and then switched to inline
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - Ray0x01/Google-Dorking-Tool
GitHub - sato-susumu/susumu_ai_dialogue_system: AI dialogue system
GitHub - c4tcom/Katana: Python Tool that gives you the ability to run Advanced Google Queries (Known as Google Dorks - Google Dorking)
GitHub - prykon/GDAT: Google Dorks Automator Tool
GitHub - shubham-s-pandey/DorkRecon: DorkRecon is a tool written in Python3 which can be used for recon process using various Google dorks and open source tools
GitHub - Josue87/AnalyticsRelationships: Get related domains / subdomains by looking at Google Analytics IDs
GitHub - Greenfig/Search-Engine-Poisoning-Detector: Web scraper that probes websites for malicious content
GitHub - aufzayed/HydraRecon: All In One, Fast, Easy Recon Tool
GitHub - google/sqlcommenter
GitHub - deepseagirl/degoogle: search Google and extract results directly. skip all the click-through links and other sketchiness
GitHub - google/pinject: A pythonic dependency injection library.
GitHub - gelim/censys: Python code to query the Censys public scan database.
GitHub - jakecreps/swamp: An OSINT tool for discovering associated sites through Google Analytics Tracking IDs
GitHub - D09r/recon.py: Recon, a collection of an IP and Network Tools that can be used to quickly get information about IP Addresses, Web Pages and DNS records.
GitHub - ZephrFish/GoogD0rker: Note: Going through a full re-write of the tooling so the current versions in the repo do not work!