365建站器v12隆重发布,全新的界面,全新的体验,全新的功能,您值得佣有! 365建站器v12隆重发布! 立即查看

如何防止抓取或采集信息过快时被搜索引擎拦截的解决方法

发表在 新手指南/使用教程 2021-10-30 09:10:08 上一主题 下一主题 0 7281

如何防止抓取或采集信息过快时被搜索引擎拦截的解决方法:
1、如果发现拦截,抓取间隔时间可以设置稍长点。
2、经过测试,搜索引擎在登录状态下,会大大减少拦截的概率或不拦截。
3、部分引擎需要登录状态下才会显示相关信息时,就需要登录抓取。

抓取登录状态下的网页内容的方法:
最新版本处理方法(版本>=13.0)
1、打开软件 - 功能大全 - 365浏览器 - 打开指定的网页登录  - 登录后,点击浏览器上的扩展工具 - cookies设置 - 保存cookies即可

1.jpg

说明:验证cookies是否保存成功的方法,可以打开功能大全 - 模拟调试工具进行测试,如果源码中包含登录的相关信息表示cookies保存成功!

之前版本处理方法(版本<13.0)
可以使用工具大全中的自动获取cookies工具,只在此工具中登录了网站,在抓取时会自动获得登录的信息




回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则