1、Hadoop 2.x中,DataNode中默认的块配置的大小是()MB
A、128
B、64
C、256
D、1025
2、下列关于Hadoop架构组件描述错误的是()
A、NameNode管理多个DataNode节点以及客户端请求
B、Client是用户提交计算作业的入口
C、MySQL和YARN也是Hadoop生态的常用的生产环境必要组件
D、DataNode负责处理客户端计算作业的读写请求
3、假设有Hadoop系统中有DataNode节点1、2、3,且DataNode节点1、2、3上有Block1,Client请求上传文件file1至Hadoop系统,下面描述该Hadoop系统写流程错误的是()
A、Client第一次请求NameNode上传文件file1
B、当NameNode返回可以上传后,Client第二个请求会请求file1上传到哪个DataNode节点上
C、当Client第三次请求时,DataNode数据管道搭建完毕后,会由NameNode应答Client
D、当Client第三次请求时,DataNode数据管道搭建完毕后,会由多个DataNode节点等依次逐级应答Client
4、下列关于MapReduce过程描述错误的是()
A、在进行map计算之前,MapReduce会根据输入文件计算输入分片(input split),每个输入分片(input split)针对一个map任务
B、map过程中map函数效率相对好控制,而且一般map操作都是本地化操作也就是在数据存储节点上进行
C、需要计算每一个map的结果需要发到哪个reduce端,partition数等于mapper数。默认采用HashPartition
D、merge操作会合并所有的本地文件,并且该文件会有一个对应的索引文件
5、下列关于MapReduce过程描述错误的是()
A、reducer启动数据copy线程,copy线程copy的数据先放到内部缓冲区,之后溢写
B、在一个reducer端先将多个map端的数据溢写到本地磁盘,之后再将多个文件合并成一个文件
C、执行完reduce任务,最后的结果留在hdfs上
D、merge阶段最后会生成一个文件,将此文件转移到内存中,rebalance阶段结束
答案:ACCCD
解析:
1、A.正确,Hadoop2.0中,HDFS默认的块大小是128MB,所以,比如2MB,7MB或9MB的文件就认为是小文件;参数由为dfs.block.size定义
B.错误
C.错误
D.错误
2、A.正确,NameNode负责调度管理DataNode以及客户端请求
B.正确,Client端是用户提交作业的入口
C.错误,MySQL非Hadoop生态必要组件;YARN常用于管理Hadoop集群的资源
D.正确,DataNode底层管理与Hadoop文件系统的交互,读写
3、A.正确,请求目的是询问是否可以上传文件file1
B.正确,拿到具体上传DataNode节点信息
C.错误,写完后会由DataNode依次逐级应答Client
D.正确
4、A.正确,MapReduce会根据默认设置将文件进行分片
B.正确
C.错误,partition数等于reducer数
D.正确,merge操作会合并所有的本地文件,且生成本地文件对应的索引文件
5、A.正确
B.正确,最后返回给Client前reducer会溢写合并最后返回结果
C.正确,任务结果会存储在hdfs中
D.错误,shuffle阶段结束