[2022年5月14日] 最新Cloudera CCA175考试练习测试，获得辉煌成绩 [Q48-Q68]

新问题 48
正确文本
问题情景 57：下面是给您的代码片段。
val a = sc.parallelize(1 to 9, 3) operationl
为 operationl 写一个正确的代码片段，以产生所需的输出，如下所示。
Array[(String, Seq[lnt])] = Array((偶数,ArrayBuffer(2, 4, G, 8)), (奇数,ArrayBuffer(1, 3, 5, 7、
9)))

新问题 49
正确文本
问题情景 39：您得到了两个文件
spark16/file1.txt
1,9,5
2,7,4
3,8,3
spark16/file2.txt
1,g,h
2,i,j
3,k,l
将这两个磁贴加载为 Spark RDD，并将它们连接起来，得出以下结果
(L,((9,5),(G,H))
(2, ((7,4), (i,j)) (3, ((8,3), (k,l))
然后编写代码片段，对上述连接结果（5+4+3）的第二列求和。

新问题 50
正确文本
问题情境 85： 继续上一个问题，请完成下列活动。
1.从产品表中选择所有列，输出标题如下。 productID AS ID 代码 AS 代码 名称 AS 描述 价格 AS "单价
2.选择代码和名称，均以"-"分隔，页眉名称应为 "产品"。
说明"。
3.选择所有不同的价格。
4 .选择不同的价格和名称组合。
5 .选择按代码和产品 ID 组合排序的所有价格数据。
计算产品数量。
7 .计算每个代码的产品数量。

新问题 51
正确文本
问题情景 61：下面是给您的代码片段。
val a = sc.parallelize(List("dog", "salmon", "salmon", "rat", "elephant"), 3) val b = a.keyBy(_.length) val c = sc.parallelize(List("dog", "cat", "gnu", "salmon", "rabbit", "turkey", "wolf", "bear", "bee"), 3) val d = c.keyBy(_.length) operationl
为 operationl 写一个正确的代码片段，以产生所需的输出，如下所示。
Array[(lnt, (String, Option[String]}}] = Array((6,(salmon,Some(salmon)))、
(6、（鲑鱼、一些（兔子）））、
(6，（鲑鱼，一些（火鸡）），（6，（鲑鱼，一些（鲑鱼）），（6，（鲑鱼，一些（兔子））、
(6,(salmon,Some(turkey)), (3,(dog,Some(dog)), (3,(dog,Some(cat)))、
(3,(dog,Some(dog))), (3,(dog,Some(bee))), (3,(rat,Some(dogg)), (3,(rat,Some(cat)j))、
(3,(rat.Some(gnu)). (3,(rat,Some(bee))), (8,(elephant,None)))

新问题 52
正确文本
问题情境 86： 继续上一个问题，请完成下列活动。
1 .选择最大值、最小值、平均值、标准偏差和总量。
2 .为每个产品代码选择最低和最高价格。
3.为每个产品代码选择最大值、最小值、平均值、标准偏差和总数量，但要确保平均值和标准偏差最多有两位小数。
4.仅选择产品数量大于或等于 3 的所有产品代码和平均价格。
5.为每个代码选择所有产品的最大值、最小值、平均值和总值。同时对所有产品进行相同的计算。

新问题 53
正确文本
问题情景 12：您已获得以下 mysql 数据库详细信息和其他信息。
user=retail_dba
password=cloudera
数据库=零售数据库
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
请完成以下工作。
1.在 retailedb 中创建一个表，定义如下。
创建表 departments_new（department_id int(11)，department_name varchar(45)，created_date T1MESTAMP DEFAULT NOW()）；
2 .现在将部门表中的记录插入到 departments_new 表中
3 .现在将 departments_new 表中的数据导入 hdfs。
4 .在 departmentsnew 表中插入以下 5 条记录。Insert into departments_new values(110, "Civil" , null); Insert into departments_new values(111, "Mechanical" , null)；
Insert into departments_new values(112, "Automobile" , null); Insert into departments_new values(113, "Pharma" , null)；
在 departments_new 中插入值(114, "Social Engineering" , null)；
5.现在根据创建日期列进行增量导入。

新问题 54
正确文本
问题情景 23：为您提供的日志生成服务如下。
Start_logs（将生成连续日志）
Tail_logs （您可以查看正在生成哪些日志）
Stop_logs （将停止日志服务）
使用上述服务生成日志的路径 ：/opt/gen_logs/logs/access.log
现在编写一个名为 flume3.conf 的 flume 配置文件，使用该配置文件将日志转储到 HDFS 文件系统中名为 flumeflume3/%Y/%m/%d/%H/%M 的目录中。
这意味着每分钟都要创建一个新目录）。如果报文头没有头信息，请使用拦截器提供时间戳信息。
还要注意的是，如果消息中包含时间戳，则必须保留现有时间戳。Flume 通道还应具备以下属性。每提交 100 条信息后就应提交，使用非耐用/更快的通道，它最多可容纳 1000 个事件。

新问题 55
正确文本
问题情景 31：您有以下两个文件
1 .Content.txt：包含一个巨大的文本文件，其中包含空格分隔的单词。
2 .删除.txt：忽略/过滤此文件中给出的所有单词（逗号分隔）。
编写一个 Spark 程序，读取 Content.txt 文件并加载为 RDD，从广播变量中删除所有单词（从 Remove.txt 中加载为单词的 RDD）。
然后计算每个词的出现次数，并将其作为文本文件保存在 HDFS 中。
内容.txt
您好，这里是 ABCTech.com
这里是 TechABY.com
Apache Spark 培训
这是星火学习会
Spark 比 MapReduce 更快
删除.txt
你好，这里是

新问题 56
正确文本
问题情景 17：您已获得以下 mysql 数据库详细信息和其他信息。
user=retail_dba
password=cloudera
数据库=零售数据库
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
请完成以下任务。
1.在 hive 中创建一个表，如下所示：创建表 departments_hiveOl（department_id int，department_name string，avg_salary int）；
2.使用以下语句在 mysql 中创建另一个表 CREATE TABLE IF NOT EXISTS departments_hive01（id int，department_name varchar（45），avg_salary int）；
3.使用 insert into departments_hive01 select a.*，null from departments a.*，将部门表中的所有数据复制到 departments_hive01；
同时插入以下记录
插入 departments_hive01 values(777, "Not known",1000)；
insert into departments_hive01 values(8888, null,1000)；
insert into departments_hive01 values(666, null,1100)；
4.现在将数据从 mysql 表 departments_hive01 导入此蜂巢表。请使用下面的蜂巢命令确保数据可见。此外，在导入时，如果发现 department_name 列为空值，请用""（空字符串）替换，id 列用-999 替换 select * from departments_hive；

新问题 57
正确文本
问题情景 4：给您提供了 MySQL DB，其详细信息如下。
user=retail_dba
password=cloudera
数据库=零售数据库
table=retail_db.categories
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
请完成以下活动。
将单表类别（子集数据}导入蜂巢托管表，其中类别 ID 介于 1 和 22 之间

新问题 58
正确文本
问题情景 62：下面是给您的代码片段。
val a = sc.parallelize(List("dogM"、"tiger"、"lion"、"cat"、"panther"、"eagle"), 2) val b = a.map(x => (x.length, x)) 操作1
为 operationl 写一个正确的代码片段，以产生所需的输出，如下所示。
Array[(lnt, String)] = Array((3,xdogx), (5,xtigerx), (4,xlionx), (3,xcatx), (7,xpantherx)、
(5,xeaglex))

新问题 59
正确文本
问题情景 58 ：给您提供了以下代码片段。
val a = sc.parallelize(List("dog", "tiger", "lion", "cat", "spider", "eagle"), 2) val b = a.keyBy(_.length) operation1
为 operationl 写一个正确的代码片段，以产生所需的输出，如下所示。
Array[(lnt, Seq[String])] = Array((4,ArrayBuffer(lion)), (6,ArrayBuffer(spider))、
(3,ArrayBuffer(dog, cat)), (5,ArrayBuffer(tiger, eagle}}}

新问题 60
正确文本
问题情景 68：您得到了一个如下所示的文件。
spark75/f ile1.txt
文件包含一些文本。如下所示
spark75/file1.txt
Apache Hadoop 是一个用 Java 编写的开源软件框架，用于在由商品硬件构建的计算机集群上对超大数据集进行分布式存储和分布式处理。Hadoop 中所有模块的设计都有一个基本假设，即硬件故障很常见，应由框架自动处理
Apache Hadoop 的核心由称为 Hadoop Distributed File（Hadoop 分布式文件）的存储部分组成。
系统（HDFS）和称为 MapReduce 的处理部分。Hadoop 将文件分割成大块，并将它们分布到集群中的各个节点。为了处理数据，Hadoop 会根据需要处理的数据，传输打包好的代码供节点并行处理。
这种方法利用了数据局部性节点对其可访问的数据进行操作的优势，使数据集的处理速度和效率高于依赖于并行文件系统的传统超级计算机架构。
对于稍微复杂一点的任务，让我们来研究一下如何将文档中的句子拆分成单词大构词法。大词组是某个序列中一对连续的标记。
我们将研究从每个句子中的单词序列建立大词组，然后尝试找出出现频率最高的词组。
第一个问题是，初始 RDD 每个分区中的值描述的是文件中的行，而不是句子。句子可能被分割成多行。我们可以使用 glom() RDD 方法为每个文件创建一个包含所有行列表的单一条目，然后将这些行连接起来，再使用 flatMap 以". "作为分隔符将它们重新拆分成句子，这样 RDD 中的每个对象现在都是一个句子。
大词组（bigram）是某个序列中一对连续的词组。请根据每个句子中的词序建立大词框，然后尝试找出出现频率最高的词。

新问题 61
正确文本
问题情境 47： 下面是给你的代码片段，其中有中间输出。
val z = sc.parallelize(List(1,2,3,4,5,6), 2)
// 让我们首先打印出带有分区标签的 RDD 内容
def myfunc(index. Int：int, iter: lterator[(lnt)]): lterator[String] = {
iter.toList.map(x => "[partID:" + index + ", val: " + x + "]").iterator
}
// 在每次运行中，输出结果可能不同，在解决问题时，只假设输出结果如下。
z.mapPartitionsWithlndex(myfunc).collect
res28: Array[String] = Array([partlD:0, val: 1], [partlD:0, val: 2], [partlD:0, val: 3], [partlD:1, val: 4], [partlD:1, val: S], [partlD:1, val: 6])
现在对 RDD z 应用聚合方法，使用两个还原函数，第一个函数会选择每个分区中的最大值，第二个函数会将所有分区中的最大值相加。
将聚合值初始化为 5，因此预期输出为 16。

新问题 62
正确文本
问题情景 15：您已获得以下 mysql 数据库详细信息和其他信息。
user=retail_dba
password=cloudera
数据库=零售数据库
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
请完成以下活动。
1.请在 mysql 部门表中插入以下记录。Insert into departments values(9999, '"Data Science "1)；
2.现在有一个下游系统可以处理该文件的转储。不过，系统的设计方式是，它只能处理字段包含在(')单引号中的文件，字段的分隔符应为(-}，且该行需要以:（冒号）结束。
3.如果数据本身包含" "（双引号 }），则应使用 .
4.请在名为 departments_enclosedby 的目录下导入部门表，下游系统应能处理该文件。

新问题 63
正确文本
问题情景 82：给您的 Hive 表具有以下结构（在之前的练习中已创建）。
产品 ID int 代码字符串 名称字符串 数量 int 价格 float
使用 SparkSQL 完成以下活动
1 .选择数量 <= 2000 的所有产品名称和数量
2 .选择代码为 "PEN "的产品名称和价格
3 .选择名称以 PENCIL 开头的所有产品
4 .选择所有 "名称 "以 "P "开头，后跟任意两个字符，后跟空格，后跟 0 个或更多字符的产品

新问题 64
正确文本
问题情景 74：给您提供了 MySQL DB，其详细信息如下。
user=retail_dba
password=cloudera
数据库=零售数据库
table=retail_db.orders
table=retail_db.order_items
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
订单表列：（orderjd , order_date , ordercustomerid, order status}
orderjtems 表列：（order_item_td , order_item_order_id 、
order_item_product_id、
order_item_quantity,order_item_subtotal,order_item_product_price) (订单项目数量、订单项目小计、订单项目产品价格)
请完成以下活动。
将 "retaileddb.orders "和 "retaileddb.orderjtems "表复制到 hdfs 中各自的目录 p89_orders 和 p89_order_items。
2.使用 Spark 和 Python 中的 orderjd 连接这些数据
3.现在从连接数据中获取所选列 Orderld、订单日期和该订单的收款金额。
4.计算每个日期的订单总数，并按日期排序输出。

新问题 65
正确文本
问题情景 2 ：
有一家名为 "ABC 集团公司 "的母公司，旗下有两家名为 Tech Inc 和 MPTech 的子公司。
两家公司的员工信息分别包含在以下两个文本文件中。请执行以下操作以获取员工详细信息。
Tech Inc.txt
1,Alok,Hyderabad
2,Krish,Hongkong
3,Jyoti,Mumbai
4,Atul,Banglore
古尔冈伊山 5 号
MPTech.txt
6 约翰，纽约
7 ,alp2004,California
8 ,tellme,Mumbai
9 ,Gagan21,Pune
1 0,Mukesh,Chennai
1 .您将使用哪条命令来检查 HDFS 上所有可用的命令行选项，以及如何获取各命令的帮助。
2.使用命令行新建一个名为 Employee 的空目录。并在其中创建一个名为 Techinc.txt 的空文件
3.在 Employee 目录中加载两家公司的员工数据（如何覆盖 HDFS 中的现有文件）。
4.将雇员数据合并到一个名为 MergedEmployee.txt 的磁贴中，合并后的磁贴应在每个文件内容的末尾添加新行字符。
5.将合并后的文件上传到 HDFS，并更改 HDFS 合并文件的文件权限，使所有者和组员可以读写，其他用户可以读取文件。
6.编写一条命令，将单个文件和整个目录从 HDFS 导出到本地文件系统。

新问题 66
正确文本
问题情景 35：给您一个名为 spark7/EmployeeName.csv 的文件。
(id，name）。
雇员姓名.csv
E01,Lokesh
E02,Bhupesh
E03,Amit
E04,Ratan
E05,Dinesh
E06,Pavan
E07,Tejas
E08,Sheela
E09,Kumar
E10,Venkat
1.从 hdfs 中加载该文件并按名称排序，然后以 (id,name) 的形式保存到结果目录中。不过，保存时要确保能写入一个文件。

新问题 67
正确文本
问题情景 38：下面是一个 RDD、
val rdd：RDD[Array[Byte]]（字节数组
现在，您必须将 RDD 保存为 SequenceFile。下面是代码片段。
导入 org.apache.hadoop.io.compress.GzipCodec
rdd.map(bytesArray => (A.get(), new
B(bytesArray)).saveAsSequenceFile('7output/path",classOt[GzipCodec])
上述代码段中 A 和 B 的正确替换是什么？

新问题 68
正确文本
问题情景 16 ：您已获得以下 mysql 数据库详细信息和其他信息。
user=retail_dba
password=cloudera
数据库=零售数据库
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
请完成以下任务。
1.在蜂巢中创建一个表格，如下所示。
创建表 departments_hive（department_id int，department_name string）；
2.现在从 mysql 表 departments 中导入数据到此蜂巢表。请使用以下蜂巢命令确保数据可见：select" from departments_hive