在为禁止搜索引擎抓取网页设计的Robots.txt文件中，哪些指令标示禁止抓取？（）

A.Allow

B.Disallow

C.index

D.noindex

A.Allow

B.Disallow

C.nofollow

D.noindex

A、通过模式匹配方法，禁止掉具有某些特征的访问请求，可以通过 LocationMatch来配置

B、在cgi-bin目录，建立欺骗性脚本，当Whisker扫描到这些脚本时，这些脚本被执行。在这些脚本里通过定义一些功能，比如报警功能，可以发邮 件告知管理员发生了cgi扫描

C、robots.txt文件是帮助google、baidu等搜索引擎抓取网页用的用的， 扫描软件没有利用这种技术

D、以上说法均不正确

A.防止网站非公开部份的网页被抓取

B.禁止搜索引擎访问某些文件

C.提升网站排名

D.避免收录重复内容

A.User-agent，定义搜索引擎的类型

B.No follow，定义搜索引擎这个页面的链接不要去跟踪

C.Disallow，定义禁止搜索引擎收录的地址

D.Allow，定义允许搜索引擎收录的地址

A、因为meta属性中，keywords可以很容易的被操纵，从而导致很多搜索引擎对keywords不再重视，所以对于meta属性中的description也没有必要关注

B、关于文章的内容方面尽量保证在搜索引擎中原创的，所以在推广过程中文章字数越多越好，也不需要设置分页，这样用户读起来更直观

C、在做站外友情链接交换时，交换的友链最好是高质量相关性高的链接

D、Robots.txt协议是用来规定搜索引擎能抓取什么文件，不能抓取什么文件

A.防止非公开部份的网页被抓取

B.制止搜索引擎访问某些文件

C.提升排名

D.防止收录重复内容

A.使搜索引擎不能访问网站

B.使百度不能访问网站

C.使google不能访问网站

D.控制搜索引擎抓取