阻绝重复内容的抓取

2014年07月18日 作者:王金阁

同网站多域名的时候可以用到这个方法。

用到.htaccess文件。

RewriteRule ^robots.txt$ /robots_%{HTTP_HOST}.txt [L] 

htaccess

然后在根目录放置robots_域名.txt 这样的txt文件即可。

当你访问 域名/robots.txt的时候就访问到了 robots_域名.txt,其他域名同理。

这样就可以对同目录下的不同域名分别设置robots规则了。

 

本页面生成使用了0.56790304秒

版权申明:本站原创内容版权遵循 CC-BY-NC-SA 协议规定。转载请标明出处。

发表评论

电子邮件地址不会被公开。