如何防止抓取或采集信息过快时被搜索引擎拦截的解决方法:
1、如果发现拦截,抓取间隔时间可以设置稍长点。
2、经过测试,搜索引擎在登录状态下,会大大减少拦截的概率或不拦截。
3、部分引擎需要登录状态下才会显示相关信息时,就需要登录抓取。
抓取登录状态下的网页内容的方法:
最新版本处理方法(版本>=13.0)
1、打开软件 - 功能大全 - 365浏览器 - 打开指定的网页登录 - 登录后,点击浏览器上的扩展工具 - cookies设置 - 保存cookies即可
说明:验证cookies是否保存成功的方法,可以打开功能大全 - 模拟调试工具进行测试,如果源码中包含登录的相关信息表示cookies保存成功!
之前版本处理方法(版本<13.0)
可以使用工具大全中的自动获取cookies工具,只在此工具中登录了网站,在抓取时会自动获得登录的信息
|
|