robots协议也称爬虫协议、爬虫规则等,是指网站可建立一个robots.txt文件来告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,而搜索引擎则通过读取robots.txt文件来识别这个页面是否允许被抓取。
365建站robots协议默认是支持所有蜘蛛抓取的,用户自定义可以在robots.txt中修改。
支持的标签:
siteurl 表示当前网站首页网址
{jz:global.siteurl}
{jz:global.siteurl function="str_replace('替换前字符','替换后字符',@me)"}
|
|