365建站器v12隆重发布,全新的界面,全新的体验,全新的功能,您值得佣有! 365建站器v12隆重发布! 立即查看

365建站robots协议说明

发表在 新手指南/使用教程 2024-6-6 14:43:47 上一主题 下一主题 0 99

robots协议也称爬虫协议、爬虫规则等,是指网站可建立一个robots.txt文件来告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,而搜索引擎则通过读取robots.txt文件来识别这个页面是否允许被抓取。

365建站robots协议默认是支持所有蜘蛛抓取的,用户自定义可以在robots.txt中修改。
User-agent: *


支持的标签:
siteurl 表示当前网站首页网址
{jz:global.siteurl}
{jz:global.siteurl function="str_replace('替换前字符','替换后字符',@me)"}


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则