sqlite云々以前にRDB要らなくね？俺が昔クローラ書いたときは、コンテンツ自体はファイルに落として、URLをキーにしたshelveの中にLast-ModifiedとかEtagとかローカルファイルのパスとかをまとめたタプルを突っ込んでた。

agricola のブックマーク 2012/03/25 11:36

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/86689825/comment/agricola" data-user-id="agricola" data-entry-url="https://b.hatena.ne.jp/entry/s/anond.hatelabo.jp/20120324181643" data-original-href="https://anond.hatelabo.jp/20120324181643" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fanond.hatelabo.jp%2F20120324181643" data-user-icon="/users/agricola/profile.png">簡単なクローラ作るならPythonだよ！</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/%E3%81%82%E3%82%8C%E3%81%92">あれげ</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/Python">Python</a>]</li></ul><br><p style="clear: left">sqlite云々以前にRDB要らなくね？俺が昔クローラ書いたときは、コンテンツ自体はファイルに落として、URLをキーにしたshelveの中にLast-ModifiedとかEtagとかローカルファイルのパスとかをまとめたタプルを突っ込んでた。</p><a class="datetime" href="https://b.hatena.ne.jp/agricola/20120325#bookmark-86689825"><span class="datetime-body">2012/03/25 11:36</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！