Electric Blue Industries Ltd.
ネットビジネスのデータ分析といえば「Google Analytics（グーグル・アナリティクス）」が最も利用されていて有名ですが、よく考えてみればあれは自分のウェブサイトのデータしか分析できないわけです。しかし「世の中的にはどういうトレンドがあるんだろう」と俯瞰的に分析をしたい場合もあるわけです。 そんな時にデータソースとしてオススメしたいのが「Common Crawl（コモン・クロール）」です。世界中のオープンなインターネット上にあるウェブサーバーを手当たり次第にアクセスして、そのページデータ（つまりウェブサーバーが返すHTMLドキュメント）を保存しています。 なお、世界には13億のドメインが登録されていて、実際にDNSにてドメイン名とIPアドレスの紐付けがされているのは３億ドメインという状況です。Common Crawlは、私が実データをマイニングした印象では、その10%程度はアクセス
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - ikreymer/cdx-index-client: A command-line tool for using CommonCrawl Index API at http://index.commoncrawl.org/
Accessing WARC files via SQL
Search the html across 25 billion websites for passive reconnaissance using common crawl
GitHub - drsigned/sigurls: sigurls is a reconnaissance tool, it fetches URLs from AlienVault's OTX, Common Crawl, URLScan, Github and the Wayback Machine.
GitHub - commoncrawl/cc-notebooks: Various Jupyter notebooks about Common Crawl data
GitHub - commoncrawl/cc-index-table: Index Common Crawl archives in tabular format
GitHub - imfht/super-Django-CC: super-Django-CC is a simle web interface for commoncrawl.org
GitHub - chunhowt/commoncrawl: Explore processing commoncrawl data using Amazon EMR
GitHub - hrbrmstr/cc: ⛏Extract metadata of a specific target based on the results of "commoncrawl.org"
GitHub - chritchens/commoner: A Rust CommonCrawl client.
GitHub - shahid1996/igoturls: WaybackURLS + OtxURLS + CommonCrawl = The Best Results
GitHub - Damian89/commonCrawlParser: Simple multi threaded tool to extract domain related data from commoncrawl.org
GitHub - commoncrawl/cc-pyspark: Process Common Crawl data with Python and Spark
GitHub - lgandx/CCrawlDNS: This small utility retrieves from the CommonCrawl data set unique subdomains for a given domain name.
GitHub - ChrisCates/CommonCrawler: 🕸 A simple way to extract data from Common Crawl
GitHub - palkeo/commoncrawler: A SIMPLE (but fast & extensible) crawler using CommonCrawl.
GitHub - ghostlulzhacks/commoncrawl: Gathers urls from common crawl