关于网络爬虫协议文件robots.txt，说法正确的是：Arobots.txt是搜索引擎中访问网站的时候要查看

关于网络爬虫协议文件robots.txt，说法错误的是:

A一个网站可以放多个不同robots文件

Brobots文件不可以用xml格式命名

Cdisallow用来描述不希望被访问到的一个URL

Drobots文件可以放在任何位置

A.利用电子邮件

B.论坛交流讨论

C.借用别人的网站

D.利用相关的网上数据库

设置网站地图文件是搜索引擎优化的方式之一，以下对于网站地图的作用描述正确的是：

A可以列举网站重要页面的网址

B可以指定搜索引擎收录网站地图上列举的页面

C可以作为逻辑结构层级较深的内容页的链接入口

D可以在一定程度上帮助搜索引擎理解页面链接关系，提高收录数量

A.百度和谷歌都只支持XML网站地图

B.谷歌只支持XML的网站地图提交不支持HTML的网站地图提交

C.站点做HTML的网站地图没有必要

D.网站地图是只做给搜索引擎看的

A.是指对已下载网页采取增量式更新和只爬行新产生的或者已经发生变化网页的爬虫

B.能够在一定程度上保证所爬行的页面是尽可能新的页面

C.只会在需要的时候爬行新产生或发生更新的页面

D.数据下载量和时间及空间上的耗费都较大

A.Web服务器/插件防护

B.HTTP访问控制

C.爬虫防护

D.非法下载限制

A百度快照更新越频繁，网站权重越高

B百度快照更新频率与权重并没有直接的关系

C百度快照更新慢，说明一定有降权的危险

D快照的更新与页面中是否出现重要新增内容有直接关联