2016年6月1日

【大拿分享】利用百度蜘蛛referer找到报错页面入口

大家应该都知道百度已经全站https并取消referer关键词显示了,那么“百度蜘蛛referer”又是什么?有什么妙用吗?艺龙SEO负责 人刘明发现通过百度蜘蛛referer可以快速定位部分站内url的报错(4xx或者5xx)原因。随后社区版主飞鹰正义也对文章做了补充修正,现推荐给 各位同学们。 什么是百度蜘蛛的referer 百度蜘蛛的 referer,是指当百度蜘蛛抓取某一个URL的时候,在HTTP头中带的Referer字段。请注 […]