教育機関や研究のためのオープンなWebクローラ。収集されたデータはAmazon S3で公開、Hadoopなどで処理できる。利用規約はよく読もう。

tmatsuutmatsuu のブックマーク 2011/12/15 00:26

その他

このブックマークにはスターがありません。
最初のスターをつけてみよう!

Common Crawl - Open Repository of Web Crawl Data

    Common Crawl maintains a free, open repository of web crawl data that can be used by anyone.Common Crawl is a 501(c)(3) non–profit founded in 2007. ‍ We make wholesale extraction, transformation an...

    \ コメントが サクサク読める アプリです /

    • App Storeからダウンロード
    • Google Playで手に入れよう