获取新的2022年有效的做法，你的CCA175考试（更新96问题）[Q38-Q52］

第 38 号 正确文本
问题情景 68：您得到了一个如下所示的文件。
spark75/f ile1.txt
文件包含一些文本。如下所示
spark75/file1.txt
Apache Hadoop 是一个用 Java 编写的开源软件框架，用于在由商品硬件构建的计算机集群上对超大数据集进行分布式存储和分布式处理。Hadoop 中所有模块的设计都有一个基本假设，即硬件故障很常见，应由框架自动处理
Apache Hadoop 的核心由称为 Hadoop Distributed File（Hadoop 分布式文件）的存储部分组成。
系统（HDFS）和称为 MapReduce 的处理部分。Hadoop 将文件分割成大块，并将它们分布到集群中的各个节点。为了处理数据，Hadoop 会根据需要处理的数据，传输打包好的代码供节点并行处理。
这种方法利用了数据局部性节点对其可访问的数据进行操作的优势，使数据集的处理速度和效率高于依赖于并行文件系统的传统超级计算机架构。
对于稍微复杂一点的任务，让我们来研究一下如何将文档中的句子拆分成单词大构词法。大词组是某个序列中一对连续的标记。
我们将研究从每个句子中的单词序列建立大词组，然后尝试找出出现频率最高的词组。
第一个问题是，初始 RDD 每个分区中的值描述的是文件中的行，而不是句子。句子可能被分割成多行。我们可以使用 glom() RDD 方法为每个文件创建一个包含所有行列表的单一条目，然后将这些行连接起来，再使用 flatMap 以". "作为分隔符将它们重新拆分成句子，这样 RDD 中的每个对象现在都是一个句子。
大词组（bigram）是某个序列中一对连续的词组。请根据每个句子中的词序建立大词框，然后尝试找出出现频率最高的词。

第 39 号 正确文本
问题情景 75：给您提供了 MySQL DB，其详细信息如下。
user=retail_dba
password=cloudera
数据库=零售数据库
table=retail_db.orders
table=retail_db.order_items
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
请完成以下活动。
1.将 "retail_db.order_items "表复制到相应目录 p90_order_items 下的 hdfs 中。
2.使用 pyspark 对该表中的所有收入进行求和。
3.同时找出最高和最低收入。
4.计算平均收入
ordeMtems 表列：（order_item_id , order_item_order_id 、
order_item_product_id, order_item_quantity, order_item_subtotal, order_item_product_id, order_item_quantity, order_item_subtotal, order_item_subtotal
item_subtotal,order_item_product_price)

NO.40 正确文本
问题情景 81：给您提供了 MySQL 数据库，其中包含以下详细信息。您得到了以下 product.csv 文件 product.csv productID、productCode、name、quantity、price
1001,PEN,红色钢笔,5000,1.23
1002，PEN，蓝色钢笔，8000，1.25
1003，PEN，黑色钢笔，2000，1.25
1004，PEC，2B 铅笔，10000，0.48
1005,PEC,铅笔 2H,8000,0.49
1006,PEC,铅笔 HB,0,9999.99
现在完成以下活动。
1 .使用 SparkSql 创建 Hive ORC 表
2 .在 Hive 表中加载这些数据。
3 .使用 SparkSQL 创建 Hive parquet 表并将数据加载到其中。

第 41 号 正确文本
问题情境 32：您有以下三个文件。
spark3/sparkdir1/file1.txt
spark3/sparkd ir2ffile2.txt
spark3/sparkd ir3Zfile3.txt
每个文件都包含一些文本。
spark3/sparkdir1/file1.txt
Apache Hadoop 是一个用 Java 编写的开源软件框架，用于在由商品硬件构建的计算机集群上对超大数据集进行分布式存储和分布式处理。Hadoop 中的所有模块在设计时都有一个基本假设，即硬件故障很常见，应由框架自动处理 spark3/sparkdir2/file2.txt
Apache Hadoop 的核心由称为 Hadoop Distributed File（Hadoop 分布式文件）的存储部分组成。
系统（HDFS）和称为 MapReduce 的处理部分。Hadoop 将文件分割成大块，并将它们分布到集群中的各个节点。为了处理数据，Hadoop 会根据需要处理的数据，传输打包好的代码供节点并行处理。
spark3/sparkdir3/file3.txt
这种方法利用了数据局部性节点对其可访问的数据进行操作的优势，使数据集的处理速度和效率高于依赖于并行文件系统的传统超级计算机架构。
现在用 scala 编写一段 Spark 代码，从 hdfs 加载所有这三个文件，并通过过滤以下单词进行字数统计。结果应按字数倒序排序。
筛选词（"a"、"the"、"an"、"as"、"a"、"with"、"this"、"these"、"is"、"are"、"in"、"for"、
"到"、"和"、"的"、"的")
此外，请确保以单个 RDD 的形式加载所有三个文件（必须使用单个 API 调用加载所有三个文件）。
还为您提供了以下编解码器
导入 org.apache.hadoop.io.compress.GzipCodec
请使用上述编解码器压缩文件，同时保存在 hdfs 中。

第 42 号 正确文本
问题情景 13：您已获得以下 mysql 数据库详细信息和其他信息。
user=retail_dba
password=cloudera
数据库=零售数据库
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
请完成以下工作。
1.在 retailedb 中创建一个表，定义如下。
创建表 departments_export（department_id int(11)，department_name varchar(45)， created_date T1MESTAMP DEFAULT NOWQ）；
2.现在将以下目录中的数据导入到 departments_export 表中、
/user/cloudera/departments new

第 43 号 正确文本
问题情景 35：给您一个名为 spark7/EmployeeName.csv 的文件。
(id，name）。
雇员姓名.csv
E01,Lokesh
E02,Bhupesh
E03,Amit
E04,Ratan
E05,Dinesh
E06,Pavan
E07,Tejas
E08,Sheela
E09,Kumar
E10,Venkat
1.从 hdfs 中加载该文件并按名称排序，然后以 (id,name) 的形式保存到结果目录中。不过，保存时要确保能写入一个文件。

NO.44 正确文本
问题情景 64：下面是给您的代码片段。
val a = sc.parallelize(List("dog", "salmon", "salmon", "rat", "elephant"), 3) val b = a.keyBy(_.length) val c = sc.parallelize(Ust("dog", "cat", "gnu", "salmon", "rabbit", "turkey", "wolf", "bear", "bee"), 3) val d = c.keyBy(_.length) operation1
为 operationl 写一个正确的代码片段，以产生所需的输出，如下所示。
Array[(lnt, (Option[String], String))] = Array((6,(Some(salmon),salmon))、
(6,(Some(salmon),rabbit}}, (6,(Some(salmon),turkey)), (6,(Some(salmon),salmon))、
(6,(Some(salmon),rabbit)), (6,(Some(salmon),turkey)), (3,(Some(dog),dog))、
(3,(Some(dog),cat)), (3,(Some(dog),gnu)), (3,(Some(dog),bee)), (3,(Some(rat)、
(3,(Some(rat),cat)), (3,(Some(rat),gnu)), (3,(Some(rat),bee)), (4,(None,wo!f))、
(4,(None,bear)))

第 45 号 正确文本
问题情景 27：您需要实施近乎实时的解决方案，以便在文件中提交以下信息时收集信息。
数据
echo "IBM,100,20160104" >> /tmp/spooldir/bb/.bb.txt
echo "IBM,103,20160105" >> /tmp/spooldir/bb/.bb.txt
mv /tmp/spooldir/bb/.bb.txt /tmp/spooldir/bb/bb.txt
几分钟后
echo "IBM,100.2,20160104" >> /tmp/spooldir/dr/.dr.txt
echo "IBM,103.1,20160105" >> /tmp/spooldir/dr/.dr.txt
mv /tmp/spooldir/dr/.dr.txt /tmp/spooldir/dr/dr.txt
要求：
您已获得以下目录位置（如果没有，请创建）/tmp/spooldir .
您可以通过财务订阅获取 BloomBerg 的股票价格以及
路由器，并使用 ftp，每小时分别从各自 ftp 站点的 /tmp/spooldir/bb 和 /tmp/spooldir/dr 目录中下载新文件。
只要该目录中提交的文件需要在 hdfs 中的
/tmp/flume/finance 位置在一个目录中。
编写一个名为 flume7.conf 的 flume 配置文件，用它在 hdfs 中加载数据，并附加以下属性。
1 .Spool /tmp/spooldir/bb 和 /tmp/spooldir/dr
2 .hdfs 中的文件前缀应为事件
3 .文件后缀应为 .log
4 .如果文件未提交且正在使用，则其前缀应为 _。
5 .数据应以文本形式写入 hdfs

第 46 号 正确文本
问题情景 21：为您提供的日志生成服务如下。
startjogs（将生成连续日志）
tailjogs（您可以查看正在生成的日志）
stopjogs（将停止日志服务）
使用上述服务生成日志的路径 ：/opt/gen_logs/logs/access.log
现在编写一个名为 flumel.conf 的 Flume 配置文件，使用该配置文件将日志转储到 HDFS 文件系统中名为 flumel 的目录下。Flume 通道还应具备以下属性。每提交 100 条信息后，应使用非耐用/更快的通道，且该通道最多可容纳 1000 个事件
解决方案 ：
步骤 1 : 创建水槽配置文件，对水源、水槽和水道进行如下配置。
1TP5定义源、汇、通道和代理、
agent1 .sources = source1
agent1 .sinks = sink1
agent1.channels = channel1
# 描述/配置源 1
agent1 .sources.source1.type = exec
agent1.sources.source1.command = tail -F /opt/gen logs/logs/access.log
## 描述 sinkl
agentl .sinks.sinkl.channel = memory-channel
agentl .sinks.sinkl .type = hdfs
agentl .sinks.sink1.hdfs.path = flumel
agentl .sinks.sinkl.hdfs.fileType = 数据流
# 现在我们需要定义通道属性。
agent1.channels.channel1.type = 内存
agent1.channels.channell.capacity = 1000
agent1.channels.channell.transactionCapacity = 100
# 将源和汇绑定到通道上
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1
第 2 步：运行以下命令，使用该配置文件并将数据添加到 hdfs 中。
使用：startjogs 启动日志服务
启动水槽服务：
flume-ng agent -conf /home/cloudera/flumeconf -conf-file
/home/cloudera/flumeconf/flumel.conf-Dflume.root.logger=DEBUG,INFO,console
等待几分钟，然后停止日志服务。
停止日志

NO.47 正确文本
问题情景 31：您有以下两个文件
1 .Content.txt：包含一个巨大的文本文件，其中包含空格分隔的单词。
2 .删除.txt：忽略/过滤此文件中给出的所有单词（逗号分隔）。
编写一个 Spark 程序，读取 Content.txt 文件并加载为 RDD，从广播变量中删除所有单词（从 Remove.txt 中加载为单词的 RDD）。
然后计算每个词的出现次数，并将其作为文本文件保存在 HDFS 中。
内容.txt
您好，这里是 ABCTech.com
这里是 TechABY.com
Apache Spark 培训
这是星火学习会
Spark 比 MapReduce 更快
删除.txt
你好，这里是

第 48 号 正确文本
问题场景 95：您必须在 yarn 上运行 Spark 应用程序，每个执行器
最大堆大小为 512MB，每个执行器上分配的处理器内核数为 1，主程序需要三个值作为输入参数 V1
V2 V3。
请替换 XXX、YYY、ZZZ
./bin/spark-submit -class com.hadoopexam.MyTask -master yarn-cluster-num-executors 3
-driver-memory 512m XXX YYY lib/hadoopexam.jarZZZ

NO.49 正确文本
问题情景 19：您已获得以下 mysql 数据库详细信息和其他信息。
user=retail_dba
password=cloudera
数据库=零售数据库
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
现在完成以下活动。
1.将部门表从 mysql 导入到 hdfs，并将其作为文本文件保存在 departments_text 目录中。
2.以 sequncefile 的形式将 departments 表从 mysql 导入到 hdfs 的 departments_sequence 目录中。
3.将部门表从 mysql 导入 hdfs，作为 avro 文件保存在部门 avro 目录中。
4.将部门表从 mysql 导入 hdfs，作为 parquet 文件保存在 departments_parquet 目录中。

NO.50 正确文本
问题情景 1：
您已获得 MySQL DB，其详细信息如下。
user=retail_dba
password=cloudera
数据库=零售数据库
table=retail_db.categories
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
请完成以下活动。
1 .连接 MySQL 数据库并检查表的内容。
2 .将 "retaildb.categories "表复制到 hdfs，不指定目录名。
3 .将 "retaildb.category "表复制到 hdfs，目录名为 "category_target"。
4 .将 "retaildb.categories "表复制到 hdfs，仓库目录名为
"仓库类别"。

第 51 号 正确文本
问题情景 52：下面是给您的代码片段。
val b = sc.parallelize(List(1,2,3,4,5,6,7,8,2,4,2,1,1,1,1))
xyz行动
为 Operation_xyz 编写一个正确的代码片段，产生以下输出。
scalaxollection.Map[lnt,Long] = Map(5 -> 1, 8 -> 1, 3 -> 1, 6 -> 1, 1 -> S, 2 -> 3, 4 -> 2, 7 ->
1)

第 52 号 正确文本
问题情景 93：您必须在本地 8 个线程或本地 8 个内核上运行 Spark 应用程序。用正确的值替换 XXX。
spark-submit -class com.hadoopexam.MyTask XXX -deploy-mode cluster
SSPARK_HOME/lib/hadoopexam.jar 10