itgle.com
更多“YARN是一个纯粹的资源管理调度框架,在它上面可以运行包括MapReduce、Spark在内的不同类型的计算框架。”相关问题
  • 第1题:

    以下选项中属于spark架构中的图计算框架的是()

    • A、spark core
    • B、spark streaming
    • C、mlbase
    • D、Grophx

    正确答案:D

  • 第2题:

    spark内部集成的standalone功能为()

    • A、任务调度框架
    • B、任务模式
    • C、资源调度框架
    • D、任务整合

    正确答案:C

  • 第3题:

    spark生态圈没有能够实时计算的框架


    正确答案:错误

  • 第4题:

    spark内部集成的资源调度框架是哪个()

    • A、driver
    • B、standalone
    • C、master
    • D、yarn

    正确答案:B

  • 第5题:

    standalone架构是spark架构内部集成的()

    • A、任务调度框架
    • B、任务模式
    • C、资源调度框架
    • D、任务整合

    正确答案:C

  • 第6题:

    与spark基于内存相比,mapreduce是基于()运行的计算框架

    • A、内存
    • B、磁盘
    • C、内存加磁盘
    • D、网络

    正确答案:B

  • 第7题:

    spark的核心框架是()

    • A、spark core
    • B、spark streaming
    • C、mlbase
    • D、Grophx

    正确答案:A

  • 第8题:

    hadoop中的mapreduce是基于什么运行的计算框架()

    • A、内存
    • B、磁盘
    • C、内存加磁盘
    • D、网络

    正确答案:B

  • 第9题:

    Spark也可以不依赖于第三方的资源管理和调度器,它实现了()作为其内置的资源管理和调度框架

    • A、Standalone
    • B、YARN
    • C、Mesos
    • D、redis

    正确答案:A

  • 第10题:

    以下哪个选项是spark的核心框架?()

    • A、spark?core
    • B、spark?streaming
    • C、hdfs
    • D、hadoop

    正确答案:A

  • 第11题:

    spark中的图计算框架是()

    • A、spark core
    • B、spark streaming
    • C、mlbase
    • D、Grophx

    正确答案:D

  • 第12题:

    问答题
    请对YARN和MapReduce1.0框架进行优劣势对比分析。

    正确答案: (1)大大减少了承担中心服务功能的ResourceManager的资源消耗。MapReduce1.0中的JobTracker需要同时承担资源管理、任务调度和任务监控等三大功能,而YARN中的ResourceManager只需要负责资源管理,需要消耗大量资源的任务调度和监控重启工作则交由ApplicationMaster来完成。由于每个作业都有与之关联的独立的ApplicationMaster,所以,系统中存在多个作业时,就会同时存在多个ApplicationMaster,这就实现了监控任务的分布化,不再像MapReduce1.0那样监控任务只集中在一个JobTracker上。
    (2)MapReduce1.0既是一个计算框架,又是一个资源管理调度框架,但是只能支持MapReduce编程模型。而YARN则是一个纯粹的资源调度管理框架,在它上面可以运行包括MapReduce在内的不同类型的计算框架,默认类型是MapReduce。因为,YARN中的ApplicationMaster是可变更的,针对不同的计算框架,用户可以采用任何编程语言自己编写服务于该计算框架的ApplicationMaster。比如,可以编写一个面向MapReduce计算框架的
    A.pplicationMaster,从而使得MapReduce计算框架可以运行在YARN框架之上。同理,还可以编写面向Spark、Storm等计算框架的ApplicationMaster,从而使得Spark、Storm等计算框架也可以运行在YARN框架之上。
    (3)YARN中的资源管理比MapReduce1.0更加高效。YARN采用容器为单位进行资源管理和分配,而不是以槽为单位,避免了MapReduce1.0中槽的闲置浪费情况,大大提高了资源的利用率。
    解析: 暂无解析

  • 第13题:

    standalone是spark内部集成的()

    • A、任务调度框架
    • B、任务模式
    • C、资源调度框架
    • D、任务整合

    正确答案:C

  • 第14题:

    spark中,可以运行sql脚本的框架是哪个()

    • A、spark?core
    • B、hdfs
    • C、hadoop
    • D、spark?sql

    正确答案:D

  • 第15题:

    spark是基于()运行的计算框架

    • A、内存
    • B、磁盘
    • C、内存加磁盘
    • D、网络

    正确答案:A

  • 第16题:

    spark可以编写sql脚本的框架是()

    • A、spark core
    • B、spark streaming
    • C、mlbase
    • D、spark sql

    正确答案:D

  • 第17题:

    spark中可以整合机器学习库,并可以对外提供接口的框架是()

    • A、spark core
    • B、spark streaming
    • C、mlbase
    • D、spark sql

    正确答案:C

  • 第18题:

    spark框架中,整合机器学习库,并对外提供接口的框架是()

    • A、spark core
    • B、spark streaming
    • C、mlbase
    • D、spark sql

    正确答案:C

  • 第19题:

    以下选项中可以在spark中编写sql的框架是()

    • A、spark core
    • B、spark streaming
    • C、mlbase
    • D、spark sql

    正确答案:D

  • 第20题:

    mapreduce是基于()运行的计算框架

    • A、内存
    • B、磁盘
    • C、内存加磁盘
    • D、网络

    正确答案:B

  • 第21题:

    spark框架中,机器学习库的框架是哪个()

    • A、hadoop
    • B、spark?streaming
    • C、mlbase
    • D、RDD

    正确答案:C

  • 第22题:

    Spark可以使用Hadoop的YARN和ApacheMesos作为它的资源管理和调度器,并且可以处理所有Hadoop支持的数据,包括HDFS、HBase和Cassandra等


    正确答案:正确

  • 第23题:

    问答题
    请描述在YARN框架中执行一个MapReduce程序时,从提交到完成需要经历的具体步骤。

    正确答案: ①用户编写客户端应用程序,向YARN提交应用程序,提交的内容包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。
    ②YARN中的ResourceManager负责接收和处理来自客户端的请求。接到客户端应用程序请求后,ResourceManager里面的调度器会为应用程序分配一个容器。同时,ResourceManager的应用程序管理器会与该容器所在的NodeManager通信,为该应用程序在该容器中启动一个ApplicationMaster。
    ③ApplicationMaster被创建后会首先向ResourceManager注册,从而使得用户可以通过ResourceManager来直接查看应用程序的运行状态。
    ④ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请资源。
    ⑤ResourceManager以“容器”的形式向提出申请的ApplicationMaster分配资源,一旦ApplicationMaster申请到资源后,就会与该容器所在的NodeManager进行通信,要求它启动任务。
    ⑥当ApplicationMaster要求容器启动任务时,它会为任务设置好运行环境(包括环境变量、JAR包、二进制程序等),然后将任务启动命令写到一个脚本中,最后通过在容器中运行该脚本来启动任务。
    ⑦各个任务通过某个RPC协议向ApplicationMaster汇报自己的状态和进度,让ApplicationMaster可以随时掌握各个任务的运行状态,从而可以在任务失败时重启任务。
    ⑧应用程序运行完成后,ApplicationMaster向ResourceManager的应用程序管理器注销并关闭自己。若ApplicationMaster因故失败,ResourceManager中的应用程序管理器会监测到失败的情形,然后将其重新启动,直到所有任务执行完毕。
    解析: 暂无解析

  • 第24题:

    判断题
    Spark是一个类似于MapReduce的分布式计算框架,其核心是弹性分布式数据集
    A

    B


    正确答案:
    解析: 暂无解析