HTTP Archiveのアーキテクチャが変更され、データセットが10倍となるというアナウンス。データ量が増えるためBigQueryのクエリ費用も増える可能性がある。またホームページからセカンダリページのクロールにも対応していく

efcl のブックマーク 2022/05/13 12:21

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4719492767756618018/comment/efcl" data-user-id="efcl" data-entry-url="https://b.hatena.ne.jp/entry/s/discuss.httparchive.org/t/improving-the-http-archive-pipeline-and-dataset-by-10x/2372" data-original-href="https://discuss.httparchive.org/t/improving-the-http-archive-pipeline-and-dataset-by-10x/2372" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fdiscuss.httparchive.org%2Ft%2Fimproving-the-http-archive-pipeline-and-dataset-by-10x%2F2372" data-user-icon="/users/efcl/profile.png">Improving the HTTP Archive pipeline and dataset by 10x</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/HTTP">HTTP</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/web">web</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/BigQuery">BigQuery</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/news">news</a>]</li></ul><br><p style="clear: left">HTTP Archiveのアーキテクチャが変更され、データセットが10倍となるというアナウンス。 データ量が増えるためBigQueryのクエリ費用も増える可能性がある。またホームページからセカンダリページのクロールにも対応していく</p><a class="datetime" href="https://b.hatena.ne.jp/efcl/20220513#bookmark-4719492767756618018"><span class="datetime-body">2022/05/13 12:21</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！