itgle.com

在为禁止搜索引擎抓取网页设计的Robots.txt文件中，哪些指令标示禁止抓取（）A、AllowB、DisallowC、nofollowD、noindex

题目

在为禁止搜索引擎抓取网页设计的Robots.txt文件中，哪些指令标示禁止抓取（）

  • A、Allow
  • B、Disallow
  • C、nofollow
  • D、noindex
相似考题

1.在制作网页时,应考虑到搜索引擎的要求,以易于搜索引擎收录抓取。()此题为判断题(对，错)。

2.robots.txt的作用是（）。A、禁止搜索引擎蜘蛛抓取特定URLB、给搜索引擎蜘蛛提供网站地图文件C、以上都对

3.网站被惩罚了怎么办？（）A、检查robots.txt文件是否禁止了搜索引擎收录B、检查网站是否采用301跳转之外的其他转向C、检查网站是否过度优化D、检查外链和导出链接

4.对于ROBOTS文件作用，哪些描述是正确（）A、防止网站非公开部份的网页被抓取B、禁止搜索引擎访问某些文件C、提升网站排名D、避免收录重复内容

参考答案和解析
正确答案:B
更多“在为禁止搜索引擎抓取网页设计的Robots.txt文件中，哪些指”相关问题

  • 第1题：

    在robots.txt文件中设置了禁止所有搜索抓取，下列正确选项是？（）

    • A、"User-agent·Allow：/"
    • B、"User-agent·Disallow：/"
    • C、"User-agent：BaiduspiderDisallow：/"
    • D、"User-agent：GooglebotAllow：/"

    正确答案:B

  • 第2题：

    如果一个网站运营半年了且文章每天都在持续更新，但收录甚少，造成这种情况的原因有哪些？（）

    • A、Robots.txt文件配置可能有误，阻止搜索引擎抓取某些页面
    • B、服务器问题，使网站无法被搜索引擎收录
    • C、搜索引擎抓取后内容还需要处理，需等待
    • D、违法内容被投诉删除
    • E、严重作弊行为被删除

    正确答案:A,B,D,E

  • 第3题：

    某网站禁止百度蜘蛛索引所有网页，以下robots.txt文件正确的是：（）

    • A、{User-agent：BaiduspiderDisallow：}
    • B、{User-agent：BaiduspiderAllow：*}
    • C、{User-agent：BaiduspiderAllow：/}
    • D、{User-agent：BaiduspiderDisallow：/}

    正确答案:D

  • 第4题：

    搜索引擎的原理包括的步骤是（）。

    • A、从互联网上抓取网页
    • B、建立索引数据库
    • C、在索引数据库中搜索排序
    • D、对网页进行过滤

    正确答案:A,B,C

  • 第5题：

    搜索引擎的信息搜集基本都是自动的，它利用称为网络蜘蛛的网页顺着网页中的（）连续地抓取网

    • A、标题
    • B、图片
    • C、超链接
    • D、关键词

    正确答案:C

  • 第6题：

    以下哪个标签是禁止搜索引擎抓取？（）

    • A、noindex
    • B、nofollw
    • C、bead

    正确答案:B

  • 第7题：

    Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）

    • A、"User-agent：*Disallow：/A"
    • B、"User-agent：Allow：/A"
    • C、"User-agent：Disallow：/"
    • D、"User-agent：*Allow：/"

    正确答案:A

  • 第8题：

    众所周知，搜索引擎蜘蛛抓取的是页面的源代码。源代码中什么状况严重阻碍搜索引擎抓取页面的真正有价值的内容（）。

    • A、CSS控制的大段样式代码
    • B、代码中的大段空行代码
    • C、网页头部大段JS代码
    • D、控制iframe结构的代码

    正确答案:D

  • 第9题：

    多选题
    搜索引擎的原理包括的步骤是（）。
    A

    从互联网上抓取网页

    B

    建立索引数据库

    C

    在索引数据库中搜索排序

    D

    对网页进行过滤


    正确答案： C,A
    解析： 暂无解析

  • 第10题：

    单选题
    某网站禁止百度蜘蛛索引所有网页，以下robots.txt文件正确的是：（）
    A

    {User-agent：BaiduspiderDisallow：}

    B

    {User-agent：BaiduspiderAllow：*}

    C

    {User-agent：BaiduspiderAllow：/}

    D

    {User-agent：BaiduspiderDisallow：/}


    正确答案： D
    解析： 暂无解析

  • 第11题：

    多选题
    搜索引擎的工作包括（）
    A

    抓取网页

    B

    处理网页

    C

    提供检索服务

    D

    全文检索

    E

    字处理


    正确答案： D,A
    解析： 暂无解析

  • 第12题：

    单选题
    搜索引擎的信息搜集基本都是自动的，它利用称为网络蜘蛛的网页顺着网页中的（）连续地抓取网
    A

    标题

    B

    图片

    C

    超链接

    D

    关键词


    正确答案： C
    解析： 暂无解析

  • 第13题：

    以下哪种网站体系问题不利于搜索引擎蜘蛛抓取网站（）

    • A、缺乏robots.txt文件
    • B、使用框架结构
    • C、动态URL（超过两个变量）
    • D、购买链接
    • E、要求填写提交表单的页面

    正确答案:B,C,E

  • 第14题：

    搜索引擎的工作包括（）

    • A、抓取网页
    • B、处理网页
    • C、提供检索服务
    • D、全文检索
    • E、字处理

    正确答案:A,B,C

  • 第15题：

    下列选项中，关于robots.txt文件的说法正确的是（）

    • A、robots.txt文件存放于空间根目录下
    • B、robots.txt是搜索引擎蜘蛛访问网站的时候要查看的第一个文件
    • C、如果robots.txt不存在，搜索引擎蜘蛛将能够访问网站上所有未被口令保护的页面
    • D、robots.txt文件只需要存放在空间任意位置就行

    正确答案:A,B,C

  • 第16题：

    搜索引擎优化的目的是（）。

    • A、让网页设计符合搜索引擎搜索原则
    • B、让网页设计符合搜索引擎算法
    • C、让网页被收录并获得好排名
    • D、分析搜索引擎的检索特点

    正确答案:C

  • 第17题：

    下列哪能禁止搜索引擎抓取网站内容？（）

    • A、使用robots文件定义
    • B、使用404页面
    • C、使用301重定向
    • D、使用sltemap地图

    正确答案:A

  • 第18题：

    网站在设计完成后需要提交各搜索引擎，进而在搜索引擎中锋利提名，请问网站提交搜索引擎后，搜索引擎的工作包括哪些？（）

    • A、抓取
    • B、收录
    • C、排名
    • D、解读

    正确答案:A,B,C

  • 第19题：

    搜索引擎是如何运作的？（）

    • A、从互联网上抓取网页-建立索引数据库-在索引数据库中搜索排序-用户信息查询
    • B、建立索引数据库-在索引数据库中搜索排序-用户信息查询-从互联网上抓取网页
    • C、在索引数据库中搜索排序-用户信息查询-从互联网上抓取网页-建立索引数据库
    • D、用户信息查询-从互联网上抓取网页-建立索引数据库-在索引数据库中搜索排序

    正确答案:A

  • 第20题：

    下列哪项是搜索引擎的工作原理？（）

    • A、自动输出
    • B、处理网页
    • C、提供检索服务
    • D、布尔逻辑
    • E、抓取网页

    正确答案:B,C,E

  • 第21题：

    多选题
    搜索引擎推广的基本原理包括（）。
    A

    抓取网页

    B

    及时更新

    C

    处理网页

    D

    提供检索服务

    E

    定期维护


    正确答案： E,C
    解析： 暂无解析

  • 第22题：

    多选题
    对于ROBOTS文件作用，哪些描述是正确（）
    A

    防止网站非公开部份的网页被抓取

    B

    禁止搜索引擎访问某些文件

    C

    提升网站排名

    D

    避免收录重复内容


    正确答案： B,C
    解析： 暂无解析

  • 第23题：

    单选题
    在为禁止搜索引擎抓取网页设计的Robots.txt文件中，哪些指令标示禁止抓取（）
    A

    Allow

    B

    Disallow

    C

    nofollow

    D

    noindex


    正确答案： B
    解析： 暂无解析

相关内容