Robots.txt

robots.txt 是由网站管理员创建的通过“Disallow”和“Allow”等命令告诉网络爬虫网站上哪些内容让抓、哪些内容不让抓的文件，该文件是 REP 网络爬虫排除协议 的一部分。 REP 是 […]