对于ROBOTS文件作用，哪些描述是正确()

A.防止非公开部份的网页被抓取

B.制止搜索引擎访问某些文件

C.提升排名

D.防止收录重复内容

A.Disallow用来描述不希望被访问到的一个URL

B.robots文件可以放在任何位置

C.一个网站可以放多个不同robots文件

D.robots文件可以用xml格式命名

A.告诉搜索引擎robots文件在这个页面

B.在这个页面调用robots文件

C.告诉搜索引擎不要检索本页面

D.告诉搜索引擎不要检索本页面上的所有连接

关于网络爬虫协议文件robots.txt，说法错误的是:

A一个网站可以放多个不同robots文件

Brobots文件不可以用xml格式命名

Cdisallow用来描述不希望被访问到的一个URL

Drobots文件可以放在任何位置

关于网络爬虫协议文件robots.txt，说法正确的是：

Arobots.txt是搜索引擎中访问网站的时候要查看的第一个文件

Brobots.txt文件告诉蜘蛛程序在服务器上哪些文件不要被收录

Crobots文件不可以用xml格式命名

D一个网站可以放多个不同robots文件

A、使搜索引擎不能访问网站

B、使百度不能访问网站

C、使Google不能访问网站

D、告知搜索引擎网站内有哪些文件不能访问，哪些文件可以访问

A.网站链接

B.网站流量

C.robots文件

D.关键词排名

A．Social robots are more difficult to design

B．Industrial robots are more complicated to design

C．Social robots can be more useful than industrial robots

D．Industrial robots can do less than social robots