20.1 ウェブクローリング ウェブの世界からページを集め,それらをインデックス付し検索エンジンの手助けをするプロセス できるだけ有用なページを集める それらを結んで切るリンク情報を共に収集する 高速に,効率的に集める 20.1.1 クローラが提供すべき機能 頑健性 (robustness) スパイダートラップ => クローラをだましてある特定のドメインから無数のページを取り出させるように仕向けるウェブページ クローラはこのようなわなに対して体制を持たなければならない 礼儀正しさ (politeness) Webサーバはクローラがウェブサイトを訪問する比率を制御する暗示的,明示的なポリシーをもっており,これらは尊重されなければならない 20.1.2 クローラが提供すべき機能 分散性 クローラは複数の機会をまたがって分散された形で実行できるべきである スケーラビリティ クローラはマシンや帯域
![IIR 20章: ウェブのクローリングとインデックス付け - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/5d154dde302284055e460957f99b276138c013dd/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9SUlSJTIwMjAlRTclQUIlQTAlM0ElMjAlRTMlODIlQTYlRTMlODIlQTclRTMlODMlOTYlRTMlODElQUUlRTMlODIlQUYlRTMlODMlQUQlRTMlODMlQkMlRTMlODMlQUElRTMlODMlQjMlRTMlODIlQjAlRTMlODElQTglRTMlODIlQTQlRTMlODMlQjMlRTMlODMlODclRTMlODMlODMlRTMlODIlQUYlRTMlODIlQjklRTQlQkIlOTglRTMlODElOTEmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTZiYWNiNzkxYzE0OTAxYTY0NWQzMzk5NzI0ZjdiNGU2%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQweXNla2t5JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1iNTkyNjEyNjgzMGE5YzFhYTNkMDM1ODQwMmIyYWI1Nw%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D1a11eb8c637182d0bb5f7becc2570eb9)