Holen Sie sich neue 2022 gültige Praxis zu Ihrem CCA175 Prüfung (Updated 96 Fragen) [Q38-Q52]

NR. 38 RICHTIGER TEXT
Problemszenario 68 : Sie haben eine Datei wie unten angegeben.
spark75/f ile1.txt
Die Datei enthält einen Text. Wie unten angegeben
spark75/file1.txt
Apache Hadoop ist ein in Java geschriebenes Open-Source-Software-Framework für die verteilte Speicherung und verteilte Verarbeitung sehr großer Datensätze auf Computerclustern, die aus handelsüblicher Hardware bestehen. Alle Module in Hadoop wurden unter der grundlegenden Annahme entwickelt, dass Hardwareausfälle üblich sind und vom Framework automatisch behandelt werden sollten
Der Kern von Apache Hadoop besteht aus einem Speicherteil, der als Hadoop Distributed File
System (HDFS) und einem Verarbeitungsteil namens MapReduce. Hadoop teilt Dateien in große Blöcke auf und verteilt sie auf die Knoten eines Clusters. Um Daten zu verarbeiten, überträgt Hadoop verpackten Code für die Knoten, die ihn auf der Grundlage der zu verarbeitenden Daten parallel verarbeiten.
Dieser Ansatz nutzt die Vorteile der Datenlokalität, indem die Knoten die Daten, auf die sie Zugriff haben, so manipulieren, dass der Datensatz schneller und effizienter verarbeitet werden kann als in einer herkömmlichen Supercomputer-Architektur, die auf einem parallelen Dateisystem basiert, in dem Berechnungen und Daten über Hochgeschwindigkeitsnetzwerke verteilt sind.
Eine etwas kompliziertere Aufgabe ist die Zerlegung von Sätzen aus unseren Dokumenten in Wort-Bigramme. Ein Bigramm ist ein Paar von aufeinanderfolgenden Token in einer bestimmten Reihenfolge.
Wir werden uns mit der Bildung von Bigrammen aus den Wortfolgen der einzelnen Sätze befassen und dann versuchen, die am häufigsten vorkommenden Wörter zu finden.
Das erste Problem besteht darin, dass die Werte in jeder Partition unseres ursprünglichen RDD Zeilen aus der Datei und nicht Sätze beschreiben. Sätze können auf mehrere Zeilen aufgeteilt sein. Mit der RDD-Methode glom() wird für jedes Dokument ein einziger Eintrag erstellt, der die Liste aller Zeilen enthält. Anschließend können wir die Zeilen zusammenfügen und sie dann unter Verwendung von "." als Trennzeichen in Sätze aufteilen, wobei wir flatMap verwenden, so dass jedes Objekt in unserem RDD jetzt ein Satz ist.
Ein Bigramm ist ein Paar von aufeinanderfolgenden Token in einer bestimmten Reihenfolge. Bitte bilden Sie Bigramme aus den Wortfolgen in jedem Satz und versuchen Sie dann, die am häufigsten vorkommenden zu finden.

NR. 39 RICHTIGER TEXT
Problemszenario 75: Sie haben eine MySQL-DB mit den folgenden Details erhalten.
user=retail_dba
passwort=cloudera
database=retail_db
table=retail_db.orders
table=retail_db.order_items
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
Bitte führen Sie folgende Aktivitäten durch.
1. Kopieren Sie die Tabelle "retail_db.order_items" nach hdfs in das entsprechende Verzeichnis p90_order_items .
2. Führen Sie die Summierung der gesamten Einnahmen in dieser Tabelle mit pyspark durch.
3. Ermitteln Sie auch den maximalen und minimalen Ertrag.
4. Berechnung der durchschnittlichen Einnahmen
Spalten der Tabelle ordeMtems : (order_item_id , order_item_order_id ,
auftrag_artikel_produkt_id, auftrag_artikel_menge,auftrag_artikel_zwischensumme,auftrag_
artikel_zwischensumme,auftrag_artikel_produkt_preis)

NR. 40 RICHTIGER TEXT
Problemszenario 81: Sie haben eine MySQL-DB mit folgenden Details erhalten. Sie haben die folgende product.csv-Datei erhalten product.csv productID,productCode,name,quantity,price
1001,PEN,Stift Rot,5000,1.23
1002,PEN,Stift blau,8000,1.25
1003,PEN,Stift Schwarz,2000,1.25
1004,PEC,Bleistift 2B,10000,0.48
1005,PEC,Bleistift 2H,8000,0.49
1006,PEC,Bleistift HB,0,9999.99
Führen Sie nun folgende Aktivitäten durch.
1 . Erstellen einer Hive ORC-Tabelle mit SparkSql
2 . Laden Sie diese Daten in eine Hive-Tabelle.
3 . Erstellen Sie eine Hive-Parket-Tabelle mit SparkSQL und laden Sie Daten in diese Tabelle.

NR. 41 RICHTIGER TEXT
Problemszenario 32: Sie haben drei Dateien wie unten angegeben.
spark3/sparkdir1/file1.txt
spark3/sparkd ir2ffile2.txt
spark3/sparkd ir3Zfile3.txt
Jede Datei enthält etwas Text.
spark3/sparkdir1/file1.txt
Apache Hadoop ist ein in Java geschriebenes Open-Source-Software-Framework für die verteilte Speicherung und verteilte Verarbeitung sehr großer Datensätze auf Computerclustern, die aus handelsüblicher Hardware bestehen. Alle Module in Hadoop wurden unter der grundlegenden Annahme entwickelt, dass Hardwareausfälle häufig vorkommen und vom Framework automatisch behandelt werden sollten spark3/sparkdir2/file2.txt
Der Kern von Apache Hadoop besteht aus einem Speicherteil, der als Hadoop Distributed File
System (HDFS) und einem Verarbeitungsteil namens MapReduce. Hadoop teilt Dateien in große Blöcke auf und verteilt sie auf die Knoten eines Clusters. Um Daten zu verarbeiten, überträgt Hadoop verpackten Code für die Knoten, die ihn auf der Grundlage der zu verarbeitenden Daten parallel verarbeiten.
spark3/sparkdir3/file3.txt
Dieser Ansatz nutzt die Vorteile der Datenlokalität, indem die Knoten die Daten, auf die sie Zugriff haben, so manipulieren, dass der Datensatz schneller und effizienter verarbeitet werden kann als in einer herkömmlichen Supercomputer-Architektur, die auf einem parallelen Dateisystem basiert, in dem Berechnungen und Daten über Hochgeschwindigkeitsnetzwerke verteilt sind.
Schreiben Sie nun einen Spark-Code in Scala, der all diese drei Dateien aus hdfs lädt und die Wortanzahl durch Filtern der folgenden Wörter ermittelt. Das Ergebnis sollte nach Wortanzahl in umgekehrter Reihenfolge sortiert werden.
Filterwörter ("ein", "die", "ein", "als", "ein", "mit", "dies", "diese", "ist", "sind", "in", "für",
"zu", "und", "der", "von")
Stellen Sie außerdem sicher, dass Sie alle drei Dateien als ein einziges RDD laden (alle drei Dateien müssen mit einem einzigen API-Aufruf geladen werden).
Sie haben auch folgenden Codec erhalten
importieren org.apache.hadoop.io.compress.GzipCodec
Bitte verwenden Sie den oben genannten Codec zum Komprimieren der Datei, während Sie sie in hdfs speichern.

NO.42 RICHTIGER TEXT
Problemszenario 13: Sie haben die folgenden mysql-Datenbankdetails sowie weitere Informationen erhalten.
user=retail_dba
passwort=cloudera
database=retail_db
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
Bitte führen Sie Folgendes durch.
1. Erstellen Sie eine Tabelle in retailedb mit folgender Definition.
CREATE table departments_export (department_id int(11), department_name varchar(45), created_date T1MESTAMP DEFAULT NOWQ);
2. Importieren Sie nun die Daten aus dem folgenden Verzeichnis in die Tabelle departments_export,
/benutzer/cloudera/abteilungen neu

NO.43 RICHTIGER TEXT
Problemszenario 35: Sie haben eine Datei namens spark7/Mitarbeitername.csv erhalten.
(id,name).
Mitarbeitername.csv
E01,Lokesh
E02,Bhupesh
E03,Amit
E04,Ratan
E05,Dinesh
E06,Pavan
E07,Tejas
E08,Sheela
E09,Kumar
E10,Venkat
1. Laden Sie diese Datei aus hdfs, sortieren Sie sie nach Namen und speichern Sie sie als (id,name) im Ergebnisverzeichnis. Vergewissern Sie sich jedoch beim Speichern, dass die Datei in eine einzige Datei geschrieben werden kann.

NR. 44 RICHTIGER TEXT
Problemszenario 64: Sie haben das folgende Codeschnipsel erhalten.
val a = sc.parallelize(List("Hund", "Lachs", "Lachs", "Ratte", "Elefant"), 3) val b = a.keyBy(_.length) val c = sc.parallelize(Ust("Hund", "Katze", "Gnu", "Lachs", "Kaninchen", "Truthahn", "Wolf", "Bär", "Biene"), 3) val d = c.keyBy(_.length) operation1
Schreiben Sie einen korrekten Codeschnipsel für operationl, der die gewünschte Ausgabe erzeugt (siehe unten).
Array[(lnt, (Option[String], String))] = Array((6,(Some(salmon),salmon)),
(6,(Einige(Lachs),Kaninchen}}, (6,(Einige(Lachs),Truthahn)), (6,(Einige(Lachs),Lachs)),
(6,(Einige(Lachs),Kaninchen)), (6,(Einige(Lachs),Truthahn)), (3,(Einige(Hund),Hund)),
(3,(Einige(Hund),Katze)), (3,(Einige(Hund),Gnu)), (3,(Einige(Hund),Biene)), (3,(Einige(Ratte),
(3,(Some(rat),cat)), (3,(Some(rat),gnu)), (3,(Some(rat),bee)), (4,(None,wo!f)),
(4,(None,bear)))

NR. 45 RICHTIGER TEXT
Problemszenario 27 : Sie müssen zeitnahe Lösungen für die Erfassung von Informationen implementieren, die in einer Datei mit den folgenden Informationen eingereicht werden.
Daten
echo "IBM,100,20160104" >> /tmp/spooldir/bb/.bb.txt
echo "IBM,103,20160105" >> /tmp/spooldir/bb/.bb.txt
mv /tmp/spooldir/bb/.bb.txt /tmp/spooldir/bb/bb.txt
Nach wenigen Minuten
echo "IBM,100.2,20160104" >> /tmp/spooldir/dr/.dr.txt
echo "IBM,103.1,20160105" >> /tmp/spooldir/dr/.dr.txt
mv /tmp/spooldir/dr/.dr.txt /tmp/spooldir/dr/dr.txt
Anforderungen:
Sie haben das folgende Verzeichnis erhalten (falls nicht vorhanden, erstellen Sie es) /tmp/spooldir .
Sie haben ein finanzielles Abonnement, um Aktienkurse von BloomBerg zu erhalten, sowie
Reuters und mit ftp laden Sie jede Stunde neue Dateien von der jeweiligen ftp-Site in die Verzeichnisse /tmp/spooldir/bb bzw. /tmp/spooldir/dr herunter.
Sobald eine Datei, die in hdfs verfügbar sein muss, in diesem Verzeichnis in
/tmp/flume/finance in einem einzigen Verzeichnis zu speichern.
Schreiben Sie eine Flume-Konfigurationsdatei mit dem Namen flume7.conf und verwenden Sie diese, um Daten in hdfs mit folgenden zusätzlichen Eigenschaften zu laden.
1 . Spoolen von /tmp/spooldir/bb und /tmp/spooldir/dr
2 . Das Dateipräfix in hdfs sollte Ereignisse sein
3 . Die Dateiendung sollte .log lauten
4 . Wenn die Datei nicht übertragen wurde und in Gebrauch ist, sollte sie _ als Präfix haben.
5 . Daten sollten als Text in hdfs geschrieben werden

NR. 46 RICHTIGER TEXT
Problemszenario 21: Sie haben einen Dienst zur Erstellung von Protokollen (siehe unten) erhalten.
startjogs (Es werden fortlaufende Protokolle erstellt)
tailjogs (Sie können überprüfen, welche Protokolle erzeugt werden)
stopjogs (stoppt den Protokolldienst)
Pfad, in dem die Protokolle mit dem oben genannten Dienst erstellt werden: /opt/gen_logs/logs/access.log
Schreiben Sie nun eine Flume-Konfigurationsdatei mit dem Namen flumel.conf. Mit dieser Konfigurationsdatei werden die Protokolle im HDFS-Dateisystem in einem Verzeichnis namens flumel abgelegt. Der Flume-Kanal sollte auch die folgenden Eigenschaften haben. Nach jeweils 100 Nachrichten sollte ein Commit erfolgen. Verwenden Sie einen nicht dauerhaften/schnellen Kanal, der maximal 1000 Ereignisse aufnehmen kann.
Lösung:
Schritt 1: Erstellen Sie eine Konfigurationsdatei mit der folgenden Konfiguration für Quelle, Senke und Kanal.
#Definieren Sie Quelle, Senke, Kanal und Agent,
agent1 .sources = Quelle1
agent1 .sinks = sink1
agent1.channels = channel1
# Beschreiben/Konfigurieren von Quelle1
agent1 .sources.source1.type = exec
agent1.sources.source1.command = tail -F /opt/gen logs/logs/access.log
## Beschreiben Sie sinkl
agentl .sinks.sinkl.channel = memory-channel
agentl .sinks.sinkl .type = hdfs
agentl .sinks.sink1.hdfs.path = flumel
agentl .sinks.sinkl.hdfs.fileType = Datenstrom
# Jetzt müssen wir die Eigenschaft kanalisieren definieren.
agent1.channels.channel1.type = Speicher
agent1.channels.channell.capacity = 1000
agent1.channels.channell.transactionCapacity = 100
# Binden Sie die Quelle und die Senke an den Kanal
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1
Schritt 2: Führen Sie den folgenden Befehl aus, der diese Konfigurationsdatei verwendet und Daten in hdfs anhängt.
Starten Sie den Protokolldienst mit: startjogs
Starten Sie den Kanaldienst:
flume-ng agent -conf /home/cloudera/flumeconf -conf-file
/home/cloudera/flumeconf/flumel.conf-Dflume.root.logger=DEBUG,INFO,console
Warten Sie ein paar Minuten und beenden Sie dann den Protokolldienst.
Stop_Logs

NR. 47 RICHTIGER TEXT
Problemszenario 31 : Sie haben folgende zwei Dateien erhalten
1 . Inhalt.txt: Enthält eine große Textdatei mit durch Leerzeichen getrennten Wörtern.
2 . Entfernen.txt: Alle in dieser Datei angegebenen Wörter ignorieren/filtern (durch Komma getrennt).
Schreiben Sie ein Spark-Programm, das die Datei Content.txt liest, als RDD lädt und alle Wörter aus einer Broadcast-Variablen entfernt (die als RDD von Wörtern aus Remove.txt geladen wird).
Zählen Sie die Vorkommen der einzelnen Wörter und speichern Sie sie als Textdatei im HDFS.
Inhalt.txt
Hallo, hier ist ABCTech.com
Dies ist TechABY.com
Apache Spark-Schulung
Dies ist Spark Learning Session
Spark ist schneller als MapReduce
Entfernen.txt
Hallo, ist, dies, die

NR. 48 RICHTIGER TEXT
Problem-Szenario 95 : Sie müssen Ihre Spark-Anwendung auf Garn mit jedem Executor ausführen
Die maximale Heap-Größe soll 512 MB betragen und die Anzahl der Prozessorkerne, die jedem Executor zugewiesen werden sollen, soll 1 betragen. Ihre Hauptanwendung benötigt drei Werte als Eingabeargumente V1
V2 V3.
Bitte ersetzen Sie XXX, YYY, ZZZ
./bin/spark-submit -class com.hadoopexam.MyTask -master yarn-cluster-num-executors 3
-driver-memory 512m XXX YYY lib/hadoopexam.jarZZZ

NR. 49 RICHTIGER TEXT
Problemszenario 19: Sie haben die folgenden mysql-Datenbankdetails sowie weitere Informationen erhalten.
user=retail_dba
passwort=cloudera
database=retail_db
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
Führen Sie nun folgende Aktivitäten durch.
1. Importieren Sie die Tabelle departments von mysql in hdfs als Textdatei in das Verzeichnis departments_text.
2. Importieren Sie die Tabelle departments von mysql in hdfs als sequncefile im Verzeichnis departments_sequence.
3. Importieren Sie die Abteilungs-Tabelle von mysql nach hdfs als avro-Datei in das Verzeichnis departments avro.
4. Importieren Sie die Tabelle departments von mysql in hdfs als Parquet-Datei im Verzeichnis departments_parquet.

NO.50 RICHTIGER TEXT
Problem-Szenario 1:
Sie haben eine MySQL-DB mit den folgenden Details erhalten.
user=retail_dba
passwort=cloudera
database=retail_db
table=retail_db.categories
jdbc URL = jdbc:mysql://quickstart:3306/retail_db
Bitte führen Sie folgende Aktivitäten durch.
1 . Verbinden Sie MySQL DB und überprüfen Sie den Inhalt der Tabellen.
2 . Kopieren Sie die Tabelle "retaildb.categories" nach hdfs, ohne den Verzeichnisnamen anzugeben.
3 . Kopieren Sie die Tabelle "retaildb.categories" nach hdfs in ein Verzeichnis mit dem Namen "categories_target".
4 . Kopieren Sie die Tabelle "retaildb.categories" nach hdfs, in ein Lagerverzeichnis
"Kategorien_Lager".

NR. 51 RICHTIGER TEXT
Problemszenario 52: Sie haben das folgende Codeschnipsel erhalten.
val b = sc.parallelize(List(1,2,3,4,5,6,7,8,2,4,2,1,1,1,1,1))
Operation_xyz
Schreiben Sie einen korrekten Codeschnipsel für Operation_xyz, der die folgende Ausgabe erzeugt.
scalaxollection.Map[lnt,Long] = Map(5 -> 1, 8 -> 1, 3 -> 1, 6 -> 1, 1 -> S, 2 -> 3, 4 -> 2, 7 ->
1)

NR. 52 RICHTIGER TEXT
Problemszenario 93: Sie müssen Ihre Spark-Anwendung mit lokal 8 Threads oder lokal auf 8 Kernen ausführen. Ersetzen Sie XXX durch die richtigen Werte.
spark-submit -class com.hadoopexam.MyTask XXX -deploy-mode cluster
SSPARK_HOME/lib/hadoopexam.jar 10