#1：365建站robots协议说明
robots协议也称爬虫协议、爬虫规则等,是指网站可建立一个robots.txt文件来告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,而搜索引擎则通过读取robots.txt文件来识别这个页面是否允许被抓取。365建站robots协议默认是支持所有蜘蛛抓取的，用户自定义可以在robots.txt中修改。
User-agent: *
支持的标签：
siteurl 表示当前网站首页网址
{jz:global.siteurl}
{jz:global.siteurl function="str_replace('替换前字符','替换后字符',@me)"}
页:
[1]