[2022 년 5 월 14 일] 최신 클라우데라 CCA175 시험 모의고사를 통해 화려한 결과를 얻을 수 있습니다 [Q48-Q68].

새로운 질문 48
텍스트 수정
문제 시나리오 57: 아래 코드 스니펫이 주어졌습니다.
VAL A = SC.PARALLELIZE(1 to 9, 3) OPERATIONL
아래와 같이 원하는 출력을 생성하는 올바른 코드 스니펫을 작성합니다.
Array[(String, Seq[lnt])] = Array((짝수,ArrayBuffer(2, 4, G, 8)), (홀수,ArrayBuffer(1, 3, 5, 7),
9)))

새 질문 49
텍스트 수정
문제 시나리오 39: 두 개의 파일이 주어졌습니다.
spark16/file1.txt
1,9,5
2,7,4
3,8,3
spark16/file2.txt
1,g,h
2,i,j
3,k,l
이 두 타일을 Spark RDD로 로드하고 결합하여 아래 결과를 생성합니다.
(l,((9,5),(g,h)))
(2, ((7,4), (i,j))) (3, ((8,3), (k,l)))
그리고 위의 조인된 결과의 두 번째 열(5+4+3)을 합산하는 코드 스니펫을 작성합니다.

새 질문 50
텍스트 수정
문제 시나리오 85 : 이전 질문에 이어서 다음 활동을 수행하세요.
1. 아래와 같이 출력 헤더가 있는 제품 테이블에서 모든 열을 선택합니다. productID AS ID 코드 AS 코드명 AS 설명 가격 AS '단가'
2. 코드와 이름을 모두 '-'로 구분하여 선택하고 헤더 이름은 제품이어야 합니다.
설명'을 입력합니다.
3. 모든 고유 가격을 선택합니다.
4 . 고유한 가격 및 이름 조합을 선택합니다.
5 . 코드와 제품ID 조합을 기준으로 정렬된 모든 가격 데이터를 선택합니다.
6. 제품 수를 계산합니다.
7 . 각 코드에 대한 제품 수를 계산합니다.

새 질문 51
텍스트 수정
문제 시나리오 61 : 아래 코드 스니펫이 주어졌습니다.
val a = sc.parallelize(List("개", "연어", "연어", "쥐", "코끼리"), 3) val b = a.keyBy(_.length) val c = sc.parallelize(List("개","고양이","그누","연어","토끼","칠면조","늑대","곰","벌), 3) val d = c.keyBy(_.length) operationl
아래와 같이 원하는 출력을 생성하는 올바른 코드 스니펫을 작성합니다.
Array[(lnt, (String, Option[String]}}] = Array((6,(salmon,Some(salmon))),
(6,(연어,일부(토끼))),
(6,(연어,일부(칠면조))), (6,(연어,일부(연어))), (6,(연어,일부(토끼))),
(6,(연어,일부(칠면조))), (3,(개,일부(개))), (3,(개,일부(고양이))),
(3,(개,일부(개))), (3,(개,일부(벌))), (3,(쥐,일부(개)), (3,(쥐,일부(고양이)j),
(3,(쥐.일부(쥐))). (3,(쥐,일부(벌))), (8,(코끼리,없음))))

새 질문 52
텍스트 수정
문제 시나리오 86 : 이전 질문에 이어서 다음 활동을 수행하세요.
1 . 최대, 최소, 평균 , 표준편차 및 총 수량을 선택합니다.
2 . 각 제품 코드의 최소 및 최대 가격을 선택합니다.
3. 각 제품 코드에 대해 최대, 최소, 평균, 표준 편차 및 총 수량을 선택하고 평균 및 표준 편차가 소수점 이하 최대 두 자리 값을 갖도록 합니다.
4. 제품 수가 3 이상인 경우에만 모든 제품 코드와 평균 가격을 선택합니다.
5. 각 코드에 대해 모든 제품의 최대, 최소, 평균 및 합계를 선택합니다. 또한 모든 제품에서 동일하게 생성합니다.

새 질문 53
텍스트 수정
문제 시나리오 12: 다음과 같은 mysql 데이터베이스 세부 정보와 기타 정보가 주어졌습니다.
user=retail_dba
비밀번호=클라우데라
데이터베이스=retail_db
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
다음을 수행하세요.
1. 소매점에 다음 정의를 사용하여 테이블을 만듭니다.
CREATE 테이블 departments_new(department_id int(11), department_name varchar(45), created_date T1MESTAMP DEFAULT NOW());
2 . 이제 부서 테이블에서 부서_새로 레코드를 삽입합니다.
3 . 이제 departments_new 테이블에서 hdfs로 데이터를 가져옵니다.
4 . departmentsnew 테이블에 다음 5개의 레코드를 삽입합니다. 부서_새 값에 삽입(110, "Civil" , null); 부서_새 값에 삽입(111, "Mechanical" , null);
Insert into departments_new values(112, "Automobile" , null); Insert into departments_new values(113, "Pharma" , null);
부서_새 값에 삽입(114, "사회 공학" , null);
5. 이제 생성된_date 열을 기준으로 증분 가져오기를 수행합니다.

새 질문 54
텍스트 수정
문제 시나리오 23 : 아래와 같이 로그 생성 서비스가 제공되었습니다.
Start_logs(연속 로그 생성)
Tail_logs(어떤 로그가 생성되고 있는지 확인할 수 있음)
Stop_logs(로그 서비스를 중지합니다)
위의 서비스를 사용하여 로그가 생성되는 경로: /opt/gen_logs/logs/access.log
이제 flume3.conf라는 이름의 플륨 구성 파일을 작성하고, 이 구성 파일을 사용하여 HDFS 파일 시스템에서 flumeflume3/%Y/%m/%d/%H/%M이라는 디렉터리에 로그를 덤프합니다.
매분마다 새 디렉터리가 생성되어야 함을 의미합니다). 메시지 헤더에 헤더 정보가 없는 경우 인터셉터에 타임스탬프 정보를 제공해 주세요.
또한 메시지에 타임스탬프가 포함되어 있는 경우 기존 타임스탬프를 보존해야 한다는 점에 유의하세요. Flume 채널에는 다음과 같은 속성도 있어야 합니다. 100개의 메시지마다 커밋되어야 하고, 비내구성/고속 채널을 사용해야 하며, 최대 1000개의 이벤트를 저장할 수 있어야 합니다.

새 질문 55
텍스트 수정
문제 시나리오 31 : 다음 두 파일을 제공했습니다.
1 . Content.txt: 공백으로 구분된 단어가 포함된 대용량 텍스트 파일을 포함합니다.
2 . Remove.txt: 이 파일에 지정된 모든 단어를 무시/필터링합니다(쉼표로 구분).
Content.txt 파일을 읽고 RDD로 로드하는 Spark 프로그램을 작성하고, 브로드캐스트 변수에서 모든 단어를 제거합니다(Remove.txt에서 단어의 RDD로 로드됨).
그리고 각 단어의 발생 횟수를 계산하여 HDFS에 텍스트 파일로 저장합니다.
Content.txt
안녕하세요 ABCTech.com입니다.
TechABY.com입니다.
아파치 스파크 교육
스파크 학습 세션입니다.
맵리듀스보다 빠른 Spark
Remove.txt
안녕하세요, 이것은

새 질문 56
텍스트 수정
문제 시나리오 17 : 다음과 같은 mysql 데이터베이스 세부 정보 및 기타 정보가 제공됩니다.
user=retail_dba
비밀번호=클라우데라
데이터베이스=retail_db
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
아래 과제를 완료하세요.
1. 아래와 같이 하이브에 테이블을 생성합니다. 부서_hiveOl(department_id int, 부서_이름 문자열, 평균 급여 int) 테이블을 만듭니다;
2. 아래 문을 사용하여 mysql에 다른 테이블을 생성합니다. CREATE TABLE IF NOT EXISTS departments_hive01(id int, department_name varchar(45), avg_salary int);
3. departments 테이블의 모든 데이터를 departments_hive01에 삽입을 사용하여 departments_hive01로 복사합니다. departments a에서 a.*, null을 선택합니다;
또한 아래와 같이 다음 레코드를 삽입합니다.
insert into departments_hive01 values(777, "알 수 없음",1000);
INSERT INTO DEPARTMENTS_HIVE01 VALUES(8888, NULL,1000);
INSERT INTO DEPARTMENTS_HIVE01 VALUES(666, NULL,1100);
4. 이제 mysql 테이블 departments_hive01에서 이 하이브 테이블로 데이터를 가져옵니다. 아래 하이브 명령을 사용하여 데이터가 표시되는지 확인하세요. 또한, 가져오는 동안 department_name 열에서 null 값이 발견되면 ""(빈 문자열)로 바꾸고 id 열에서 -999가 있으면 departments_hive에서 *를 선택합니다;

새 질문 57
텍스트 수정
문제 시나리오 4: 다음과 같은 세부 정보가 포함된 MySQL DB가 제공되었습니다.
user=retail_dba
비밀번호=클라우데라
데이터베이스=retail_db
table=retail_db.categories
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
다음 활동을 수행하세요.
단일 테이블 카테고리({데이터} 하위 집합)를 하이브 관리 테이블로 가져오기(여기서 category_id는 1에서 22 사이).

새 질문 58
텍스트 수정
문제 시나리오 62: 아래 코드 스니펫이 주어졌습니다.
val a = sc.parallelize(List("dogM, "tiger", "lion", "cat", "panther", "eagle"), 2) val b = a.map(x => (x.length, x)) operation1
아래와 같이 원하는 출력을 생성하는 올바른 코드 스니펫을 작성합니다.
Array[(lnt, String)] = Array((3,xdogx), (5,xtigerx), (4,xlionx), (3,xcatx), (7,xpantherx),
(5,xeaglex))

새 질문 59
텍스트 수정
문제 시나리오 58 : 아래 코드 스니펫이 주어졌습니다.
val a = sc.parallelize(List("dog", "tiger", "lion", "cat", "spider", "eagle"), 2) val b = a.keyBy(_.length) operation1
아래와 같이 원하는 출력을 생성하는 올바른 코드 스니펫을 작성합니다.
Array[(lnt, Seq[String])] = Array((4,ArrayBuffer(lion)), (6,ArrayBuffer(spider)),
(3,ArrayBuffer(dog, cat)), (5,ArrayBuffer(tiger, eagle}}})

새 질문 60
텍스트 수정
문제 시나리오 68 : 아래와 같은 파일이 주어졌습니다.
spark75/f ile1.txt
파일에 일부 텍스트가 포함되어 있습니다. 아래와 같이
spark75/file1.txt
Apache Hadoop은 상용 하드웨어로 구축된 컴퓨터 클러스터에서 대용량 데이터 세트의 분산 저장 및 분산 처리를 위해 Java로 작성된 오픈 소스 소프트웨어 프레임워크입니다. Hadoop의 모든 모듈은 하드웨어 장애가 일반적이며 프레임워크에서 자동으로 처리되어야 한다는 기본 가정 하에 설계되었습니다.
아파치 하둡의 핵심은 하둡 분산 파일이라는 스토리지 부분으로 구성됩니다.
시스템(HDFS)과 MapReduce라는 처리 부분으로 구성됩니다. Hadoop은 파일을 큰 블록으로 분할하여 클러스터의 노드에 분산시킵니다. 데이터를 처리하기 위해 Hadoop은 처리해야 하는 데이터에 따라 노드가 병렬로 처리할 수 있도록 패키지화된 코드를 전송합니다.
그의 접근 방식은 고속 네트워킹을 통해 계산과 데이터가 분산되는 병렬 파일 시스템에 의존하는 기존의 슈퍼컴퓨터 아키텍처보다 데이터 집합을 더 빠르고 효율적으로 처리할 수 있도록 액세스 권한이 있는 데이터를 조작하는 데이터 로컬리티 노드를 활용합니다.
조금 더 복잡한 작업을 위해 문서의 문장을 단어 빅그램으로 분할하는 방법을 살펴봅시다. 빅그램은 어떤 순서로 연속된 토큰 쌍입니다.
각 문장의 단어 시퀀스에서 빅그램을 만드는 방법을 살펴본 다음, 가장 자주 등장하는 단어를 찾아보겠습니다.
첫 번째 문제는 초기 RDD의 각 파티션에 있는 값이 문장이 아닌 파일의 줄을 설명한다는 것입니다. 문장은 여러 줄에 걸쳐 분할될 수 있습니다. glom() RDD 메서드를 사용하여 모든 줄의 목록을 포함하는 각 문서에 대해 단일 항목을 만든 다음, 줄을 합친 다음 "."를 구분 기호로 사용하여 문장으로 재분할하고 flatMap을 사용하여 RDD의 모든 객체가 이제 문장이 되도록 할 수 있습니다.
빅그램은 어떤 순서로 연속된 토큰 쌍입니다. 각 문장의 단어 시퀀스에서 빅그램을 만든 다음 가장 자주 등장하는 단어를 찾아보세요.

새 질문 61
텍스트 수정
문제 시나리오 47: 중간 출력과 함께 아래 코드 스니펫이 주어졌습니다.
val z = sc.parallelize(List(1,2,3,4,5,6), 2)
// 먼저 파티션 레이블이 있는 RDD의 내용을 인쇄해 보겠습니다.
def myfunc(index: Int, iter: lterator[(lnt)]): lterator[String] = {
iter.toList.map(x => "[partID:" + index + ", val: " + x + "]").iterator
}
//각 실행마다 출력은 다를 수 있으며, 문제 해결은 아래 출력만 가정합니다.
z.mapPartitionsWithlndex(myfunc).collect
res28: Array[String] = Array([partlD:0, val: 1], [partlD:0, val: 2], [partlD:0, val: 3], [partlD:1, val: 4], [partlD:1, val: S], [partlD:1, val: 6])
이제 두 개의 감소 함수를 사용하여 RDD z에 집계 방법을 적용합니다. 첫 번째는 각 파티션의 최대값을 선택하고 두 번째는 모든 파티션의 최대값을 모두 더합니다.
값 5로 집계를 초기화하므로 예상 출력은 16이 됩니다.

새 질문 62
텍스트 수정
문제 시나리오 15 : 다음과 같은 mysql 데이터베이스 세부 정보 및 기타 정보가 제공되었습니다.
user=retail_dba
비밀번호=클라우데라
데이터베이스=retail_db
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
다음 활동을 수행하세요.
1. mysql 부서 테이블에 다음 레코드를 삽입합니다. 부서 값(9999, '"데이터 과학"1)에 삽입합니다;
2. 이제 이 파일의 덤프를 처리할 다운스트림 시스템이 있습니다. 그러나 시스템은 필드가 작은따옴표(')로 묶여 있고 필드 구분이 (-}이어야 하며 줄이 : (콜론)으로 끝나야 하는 파일만 처리할 수 있도록 설계되어 있습니다.
3. 데이터 자체에 "(큰따옴표 })가 포함되어 있는 경우 이스케이프 처리해야 합니다.
4. 부서 테이블을 departments_enclosedby라는 디렉터리로 가져와서 다운스트림 시스템에서 처리할 수 있는 파일이어야 합니다.

새 질문 63
텍스트 수정
문제 시나리오 82: 하이브에 다음과 같은 구조의 테이블이 주어졌습니다(이전 연습에서 생성한 것).
제품ID int 코드 문자열 이름 문자열 수량 int 가격 플로트
SparkSQL을 사용하여 다음 활동을 수행합니다.
1 . 수량 <= 2000인 모든 제품 이름과 수량을 선택합니다.
2 . 코드가 'PEN'인 제품의 이름과 가격을 선택합니다.
3 . 이름으로 시작하는 모든 제품을 선택합니다.
4 . '이름'이 'P'로 시작하고 그 뒤에 두 문자, 공백, 0개 이상의 문자가 오는 모든 제품을 선택합니다.

새 질문 64
텍스트 수정
문제 시나리오 74 : 다음과 같은 세부 정보가 포함된 MySQL DB가 제공되었습니다.
user=retail_dba
비밀번호=클라우데라
데이터베이스=retail_db
table=retail_db.orders
table=retail_db.order_items
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
주문 테이블의 열 : (orderjd , order_date , ordercustomerid, order status}
주문제이템 테이블의 열 : (주문_아이템_TD , 주문_아이템_주문_ID ,
주문_아이템_제품_ID,
주문_아이템_수량,주문_아이템_소계,주문_아이템_제품_가격)
다음 활동을 수행하세요.
1. "retaildb.orders" 및 "retaildb.orderjtems" 테이블을 각 디렉터리 p89_orders 및 p89_order_items의 hdfs에 복사합니다.
2. Spark 및 Python에서 orderjd를 사용하여 이러한 데이터를 조인합니다.
3. 이제 조인된 데이터 Orderld, 주문 날짜 및 이 주문에서 수집된 금액에서 선택한 열을 가져옵니다.
4. 날짜별 총 주문량을 계산하고 날짜별로 정렬된 출력을 생성합니다.

새 질문 65
텍스트 수정
문제 시나리오 2 :
"ABC Group Inc"라는 모기업이 있으며, 이 모기업에는 Tech Inc와 MPTech라는 두 개의 자회사가 있습니다.
두 회사의 직원 정보는 아래와 같이 두 개의 개별 텍스트 파일로 제공됩니다. 직원 정보를 확인하려면 다음 작업을 수행하세요.
Tech Inc.txt
1,알록,하이데라바드
2,크리쉬,홍콩
3,조티,뭄바이
4 ,아툴,방글라데시
5 ,이샨,구르가온
MPTech.txt
6 ,존,뉴욕
7 ,alp2004,캘리포니아
8 ,텔미,뭄바이
9 ,가간21,푸네
1 0,무케시,첸나이
1 . HDFS에서 사용 가능한 모든 명령줄 옵션을 확인하려면 어떤 명령을 사용하며 개별 명령에 대한 도움말을 어떻게 얻을 수 있나요?
2. 명령줄을 사용하여 Employee라는 이름의 빈 디렉터리를 새로 만듭니다. 또한 그 안에 Techinc.txt라는 이름의 빈 파일을 만듭니다.
3. Employee 디렉터리에 두 회사의 직원 데이터를 모두 로드합니다(HDFS에서 기존 파일을 재정의하는 방법).
4. 두 직원 데이터를 MergedEmployee.txt라는 단일 타일에 병합합니다. 병합된 타일은 각 파일 콘텐츠 끝에 새 줄 문자를 가져야 합니다.
5. HDFS에 병합된 파일을 업로드하고 소유자와 그룹 구성원이 읽고 쓸 수 있고 다른 사용자가 파일을 읽을 수 있도록 HDFS 병합 파일에 대한 파일 권한을 변경합니다.
6. 개별 파일과 전체 디렉터리를 HDFS에서 로컬 파일 시스템으로 내보내는 명령을 작성합니다.

새 질문 66
텍스트 수정
문제 시나리오 35: spark7/EmployeeName.csv라는 파일이 주어졌습니다.
(아이디, 이름).
EmployeeName.csv
E01,로케시
E02,Bhupesh
E03,Amit
E04,라탄
E05,디네쉬
E06,파반
E07,Tejas
E08,쉴라
E09,쿠마르
E10, 벤캇
1. hdfs에서 이 파일을 불러와 이름별로 정렬한 후 결과 디렉터리에 (id,name)으로 다시 저장합니다. 단, 저장하는 동안 단일 파일에 쓸 수 있어야 합니다.

새 질문 67
텍스트 수정
문제 시나리오 38 : 아래와 같은 RDD를 받았습니다,
val rdd: RDD[Array[Byte]]
이제 이 RDD를 SequenceFile로 저장해야 합니다. 아래는 코드 스니펫입니다.
org.apache.hadoop.io.compress.GzipCodec 가져오기
rdd.map(bytesArray => (A.get(), new
B(bytesArray))).saveAsSequenceFile('7output/path",classOt[GzipCodec]))
위의 스니펫에서 A와 B를 올바르게 대체할 수 있는 것은 무엇인가요?

새 질문 68
텍스트 수정
문제 시나리오 16 : 다음과 같은 mysql 데이터베이스 세부 정보와 기타 정보가 주어졌습니다.
user=retail_dba
비밀번호=클라우데라
데이터베이스=retail_db
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
아래 과제를 완료하세요.
1. 아래와 같이 하이브에 테이블을 생성합니다.
create table departments_hive(department_id int, department_name 문자열);
2. 이제 mysql 테이블 부서에서 이 하이브 테이블로 데이터를 가져옵니다. 아래 하이브 명령어를 사용하여 데이터가 표시되는지 확인하고, departments_hive에서 "