处理大量链接的收录

处理大量链接的收录

虽然理论上谷歌的爬虫会自动来爬取我们的网站内容,然后收录新的链接内容。但是这个过程真的非常耗时间,并不是每个人都能等得了。

像我平时做完新的内容链接后,都习惯手动将链接提交到站长工具后台请求收录。这么处理一下,原本可能需要几天才能处理完的过程,可能最终就只需要几个小时了,应该说是极大加快了收录的速度吧。

但不方便的便是,站长工具的手动提交方式是有提交额度限制的。像一个新账户,基本每天提交 10 条链接左右便会触发限制。至于其他的内容,就只能顺延到第二天了。

其实谷歌官方的收录策略主要有两个,其一就是上面提到的在站长工具中主动提交链接收录请求,其二是给新的内容做外链,当爬虫抓取到链接信息时便会主动去抓取然后收录。

但是这种做外链的方式,确实成本蛮高的,并不适合绝大多数站点。那如果我们采用灰黑手段的话(比如蜘蛛池),怎么尽可能去提交大量链接的收录请求呢?

其实针对这个问题,谷歌官方是有相应的 API 支持。通过调研谷歌 API 的能力,然后直接将链接内容提交后,请求搜索引擎的收录。

像上面这种开源代码库,便是调用的 Google Cloud 的服务能力,来做内容链接的提交。至于具体的技术原理,便是利用上面提到的“方式二”。

所以如果你的网站每天都有很多很多内容需要提交收录,但是苦于找不到性价比比较高的方案,不妨试试这种“几乎免费”的链接提交方法。

发表评论

您的电子邮箱地址不会被公开。 必填项已用 * 标注

滚动至顶部