阻绝重复内容的抓取

同网站多域名的时候可以用到这个方法。

用到.htaccess文件。

RewriteRule ^robots.txt$ /robots_%{HTTP_HOST}.txt [L] 

htaccess

然后在根目录放置robots_域名.txt 这样的txt文件即可。

当你访问 域名/robots.txt的时候就访问到了 robots_域名.txt,其他域名同理。

这样就可以对同目录下的不同域名分别设置robots规则了。

 



Tags: |


本文地址:http://www.nnbbxx.net/post-1072.html
版权申明:本站原创内容版权遵循 CC-BY-NC-SA 协议规定。转载请标明出处。

发表评论

电子邮件地址不会被公开。 必填项已用*标注