欢迎光临网站seo外链发布平台,专注于做网络外链在线发布服务!

怎么让百度搜不到自己的网站?

作者:jcmp      发布时间:2021-05-10      浏览量:0
如何让百度搜索不到自己的网站?协议上就是

如何让百度搜索不到自己的网站?

协议上就是robots.txt

这个大家都有说、当然robots除了txt 还有meta 元标记 标签申明“noindex”“nofollow”。

这些都是协议上的禁止。

那么技术上如何处理?

溯源一下收录的原理就知道、最基础的底层就是蜘蛛抓取、

如果蜘蛛无法再次抓取到站点、或者抓取反馈异常、这些都会引起百度索引服务器的更新。

就是如果逆向骚操作。是可以减少百度收录、甚至K站。

虽然结果比较悲剧。确实能够到达目标百度不收录。。甚至所有的搜索引擎都不收录。

那么蜘蛛是如何来抓取到站点的?

主动推送(内部)+链接抓取(外部)

一般来说推送链接都是站长方自己干的、而链接抓取是从外部抓取到内部、(如果以网页地址本身为目标来说,就算是站内链接对比自身链接可以判定为外链)就如同ETAG、 每一个页面url都有一个值,这个值是ETAG,是服务器生成的对于页面内容的唯一标识。

主动推送:

一般情况是推送的新增url 如果新增的url 链接蜘蛛抓取反馈是403甚至是404? 不仅仅是提交的url 不收录、当蜘蛛接受了大量的错误反馈数据后、会做什么措施?

第一减少接口配额,甚至关闭接口。

这个是减少蜘蛛无效抓取的应对措施、

第二、减低抓取优先度

第三、派出渲染蜘蛛或者人工抽检随机url

一般情况下索引蜘蛛是Baiduspider 小程序蜘蛛是Baiduspider-Xbox或Baiduspider-render/2.0;Smartapp;(我最近从日志里面是有发现baiduspider-xbox蜘蛛可能是百度APP蜘蛛) 渲染蜘蛛或者调试蜘蛛是 Baiduspider-render。

禁止蜘蛛抓取除了robots

还可以封IP/封ua(原理等同于robots.txt)|服务器设置 iP黑名单 ua黑名单。

反馈错误代码{401 无权限访问、403有权限但是不用访问(禁止访问)、404(文档不存在、死链)}

从主动推送的url 和sitemap 开始 是生效较快的。因为可以明确的知道蜘蛛会抓取那些url。

这是是一个骚操作。属于作死级别。 比如黑客玩死SEO、 就是不修改robots,直接攻击服务器安全组设置,修改安全策略禁止百度抓取、不用一个星期网站的索引会大幅度减少、甚至拔毛。