爬虫

爬虫从页面抓取内容索引站点并使用这些页面上的链接来查找更多页面，这样便可以在互联网上找到更多内容。这里面涉及几个技术点：URL 来源：爬虫必须从某个地方开始。通常会创建一个列表（外链），列出他们通过页面找到的所有 URL；另外一个机制就是通过用户或具有页面列表的各种系统创建的站点地图来查找更多 URL。