Machen Sie sich bereit, die Prüfung zum Associate-Developer-Apache-Spark mit Databricks Latest Practice Exam [Q51-Q65]

27. Juni 2022 Associate-Entwickler-Apache-Spark, Datenbausteine 0 Kommentare

Machen Sie sich bereit, die Associate-Developer-Apache-Spark-Prüfung mit Databricks Latest Practice Exam [Q51-Q65] zu bestehen.

Diesen Beitrag bewerten

Machen Sie sich bereit, die Associate-Developer-Apache-Spark-Prüfung mit Databricks Latest Practice Exam zu bestehen

Bereiten Sie sich auf Ihre Associate-Developer-Apache-Spark-Prüfung mit dem aktuellen Databricks Study Guide vor!

NEUE FRAGE 51
Welcher der folgenden Punkte beschreibt einen Unterschied zwischen dem Cluster- und dem Client-Ausführungsmodus von Spark?

Im Clustermodus befindet sich der Clustermanager auf einem Arbeitsknoten, während er im Clientmodus auf einem Randknoten liegt.

Im Clustermodus laufen die Executor-Prozesse auf Worker-Knoten, während sie im Client-Modus auf Gateway-Knoten laufen.

Im Clustermodus befindet sich der Treiber auf einem Arbeitsknoten, während er sich im Clientmodus auf einem Edge-Knoten befindet.

Im Clustermodus wird der Treiber von einem Gateway-Rechner gehostet, während er sich im Client-Modus zusammen mit dem Executor befindet.

Im Clustermodus ist der Spark-Treiber nicht mit dem Clustermanager verbunden, während er im Clientmodus mit ihm verbunden ist.

Erläuterung
Im Clustermodus befindet sich der Treiber auf einem Arbeitsknoten, während er sich im Clientmodus auf einem Edge-Knoten befindet.
Richtig. Die Idee des Client-Modus von Spark ist, dass Arbeitslasten von einem Edge-Knoten, auch Gateway-Maschine genannt, von außerhalb des Clusters ausgeführt werden können. Die häufigste Art, Spark auszuführen, ist jedoch der Clustermodus, bei dem sich der Treiber auf einem Arbeitsknoten befindet.
In der Praxis ist die Datenübertragungsgeschwindigkeit im Client-Modus im Vergleich zur Datenübertragungsgeschwindigkeit zwischen den Arbeitsknoten des Clusters stark eingeschränkt. Außerdem schlägt jeder Auftrag, der im Client-Modus ausgeführt wird, fehl, wenn der Edge-Node ausfällt. Aus diesen Gründen wird der Client-Modus in der Regel nicht in einer Produktionsumgebung verwendet.
Im Clustermodus befindet sich der Clustermanager auf einem Arbeitsknoten, während er sich im Client-Ausführungsmodus auf einem Randknoten befindet.
Nein. In beiden Ausführungsmodi kann sich der Clustermanager auf einem Arbeitsknoten befinden, jedoch nicht auf einem Edge-Knoten im Client-Modus.
Im Clustermodus laufen die Executor-Prozesse auf Worker-Knoten, während sie im Client-Modus auf Gateway-Knoten laufen.
Dies ist falsch. Auf Gateway-Knoten (auch als "Edge Nodes" bezeichnet) läuft nur der Treiber im Client-Modus, nicht aber die Executor-Prozesse.
Im Clustermodus ist der Spark-Treiber nicht mit dem Clustermanager verbunden, während er im Clientmodus mit ihm verbunden ist.
Nein, im Client-Modus befindet sich der Spark-Treiber nicht zusammen mit dem Treiber. Der Sinn des Client-Modus besteht darin, dass sich der Treiber außerhalb des Clusters befindet und nicht mit der Ressource verbunden ist, die den Cluster verwaltet (der Rechner, auf dem der Cluster-Manager läuft).
Im Clustermodus wird der Treiber von einem Gateway-Rechner gehostet, während er sich im Client-Modus zusammen mit dem Executor befindet.
Nein, es ist genau das Gegenteil der Fall: Im Clustermodus gibt es keine Gateway-Rechner, aber im Clientmodus hosten sie den Treiber.

NEUE FRAGE 52
Welche der folgenden Möglichkeiten gibt es, die Leistung von Spark bei der Verarbeitung großer Datenmengen zu verbessern, wenn nur eine einzige Anwendung auf dem Cluster läuft?

Erhöhung der Werte für die Eigenschaften spark.default.parallelism und spark.sql.shuffle.partitions

Verringern Sie die Werte für die Eigenschaften spark.default.parallelism und spark.sql.partitions

Werte für die Eigenschaften spark.sql.parallelism und spark.sql.partitions erhöhen

Erhöhung der Werte für die Eigenschaften spark.sql.parallelism und spark.sql.shuffle.partitions

Erhöhung der Werte für die Eigenschaften spark.dynamicAllocation.maxExecutors, spark.default.parallelism und spark.sql.shuffle.partitions

NEUE FRAGE 53
Welcher der folgenden Codeblöcke gibt einen DataFrame zurück, bei dem die Spalten predError und productId aus dem DataFrame transactionsDf entfernt wurden?
Beispiel für DataFrame TransaktionenDf:
1.+————-+———+—–+——-+———+—-+
2.|transactionId|predError|value|storeId|productId|f |
3.+————-+———+—–+——-+———+—-+
4.|1 |3 |4 |25 |1 |null|
5.|2 |6 |7 |2 |2 |null|
6.|3 |3 |null |25 |3 |null|
7.+————-+———+—–+——-+———+—-+

transactionsDf.withColumnRemoved("predError", "productId")

transactionsDf.drop(["predError", "productId", "associateId"])

transactionsDf.drop("predError", "productId", "associateId")

transactionsDf.dropColumns("predError", "productId", "associateId")

transactionsDf.drop(col("predError", "productId"))

NEUE FRAGE 54
Der unten angezeigte Codeblock enthält einen Fehler. Der Codeblock sollte Daten aus den DataFrames itemsDf und transactionsDf kombinieren und alle Zeilen des DataFrame itemsDf anzeigen, die einen übereinstimmenden Wert in der Spalte itemId mit einem Wert in der Spalte transactionsId des DataFrame transactionsDf haben. Finden Sie den Fehler.
Code-Block:
itemsDf.join(itemsDf.itemId==transactionsDf.transactionId)

Die Join-Anweisung ist unvollständig.

Anstelle von join sollte die union-Methode verwendet werden.

Die Verknüpfungsmethode ist ungeeignet.

Anstelle von join sollte die Methode merge verwendet werden.

Der Verknüpfungsausdruck ist falsch geformt.

NEUE FRAGE 55
Welche der folgenden Aussagen beschreibt die Rolle von Aufgaben in der Ausführungshierarchie von Spark?

Tasks sind das kleinste Element in der Ausführungshierarchie.

Innerhalb einer Aufgabe sind die Slots die Arbeitseinheit, die für jede Partition der Daten geleistet wird.

Tasks sind das zweitkleinste Element in der Ausführungshierarchie.

Etappen mit engen Abhängigkeiten können zu einer Aufgabe zusammengefasst werden.

Aufgaben mit weitreichenden Abhängigkeiten können in einer Phase zusammengefasst werden.

NEUE FRAGE 56
Welcher der folgenden Codeblöcke gibt eine Kopie des DataFrame transactionsDf zurück, der nur die Spalten transactionId, storeId, productId und f enthält?
Beispiel für DataFrame TransaktionenDf:
1.+————-+———+—–+——-+———+—-+
2.|transactionId|predError|value|storeId|productId| f|
3.+————-+———+—–+——-+———+—-+
4.| 1| 3| 4| 25| 1|null|
5.| 2| 6| 7| 2| 2|null|
6.| 3| 3| null| 25| 3|null|
7.+————-+———+—–+——-+———+—-+

transactionsDf.drop(col("value"), col("predError"))

transactionsDf.drop("predError", "Wert")

transactionsDf.drop(wert, predError)

transactionsDf.drop(["predError", "value"])

transactionsDf.drop([col("predError"), col("value")])

NEUE FRAGE 57
Welcher der folgenden Codeblöcke verkettet Zeilen der DataFrames transactionsDf und transactionsNewDf und lässt dabei alle Duplikate aus?

TransaktionenDf.concat(TransaktionenNeuDf).unique()

TransaktionenDf.union(TransaktionenNeuDf).distinct()

spark.union(TransaktionenDf, TransaktionenNeuDf).distinct()

transactionsDf.join(transactionsNewDf, how="union").distinct()

TransaktionenDf.union(TransaktionenNeuDf).unique()

NEUE FRAGE 58
Welcher der folgenden Codeblöcke liest die JSON-Datei imports.json in einen DataFrame?

spark.read().mode("json").path("/FileStore/imports.json")

spark.read.format("json").path("/FileStore/imports.json")

spark.read("json", "/FileStore/imports.json")

spark.read.json("/FileStore/imports.json")

spark.read().json("/FileStore/imports.json")

NEUE FRAGE 59
Welcher der folgenden Codeblöcke entfernt die zuvor zwischengespeicherten DataFrame-TransaktionenDf sofort aus dem Speicher und von der Festplatte?

array_remove(transactionsDf, "*")

transactionsDf.unpersist()
(Richtig)

del TransaktionenDf

transactionsDf.clearCache()

transactionsDf.persist()

NEUE FRAGE 60
Der unten angezeigte Codeblock enthält einen Fehler. Der Codeblock sollte den Durchschnitt der Zeilen in der Spalte value gruppiert nach eindeutiger storeId zurückgeben. Finden Sie den Fehler.
Code-Block:
transactionsDf.agg("storeId").avg("value")

Anstelle von avg("Wert") sollte avg(col("Wert")) verwendet werden.

Der avg("Wert") sollte als zweites Argument für agg() angegeben werden, anstatt an dieses angehängt zu werden.

Alle Spaltennamen sollten in col()-Operatoren eingeschlossen werden.

agg sollte durch groupBy ersetzt werden.

"storeId" und "value" sollten vertauscht werden.

NEUE FRAGE 61
Welcher der folgenden Codeblöcke gibt einen DataFrame mit ca. 1.000 Zeilen aus dem 10.000 Zeilen umfassenden DataFrame itemsDf zurück, ohne Duplikate, und gibt dieselben Zeilen zurück, selbst wenn der Codeblock zweimal ausgeführt wird?

itemsDf.sampleBy("row", fractions={0: 0.1}, seed=82371)

itemsDf.sample(fraction=0.1, seed=87238)

itemsDf.sample(fraction=1000, seed=98263)

itemsDf.sample(withReplacement=True, fraction=0.1, seed=23536)

itemsDf.sample(fraction=0.1)

Erläuterung
itemsDf.sample(fraction=0.1, seed=87238)
Richtig. Wenn itemsDf 10.000 Zeilen hat, gibt dieser Codeblock etwa 1.000 Zeilen zurück, da DataFrame.sample() garantiert nie eine genaue Anzahl von Zeilen zurückgibt. Um sicherzustellen, dass Sie keine Duplikate zurückgeben, sollten Sie den Parameter withReplacement auf False belassen, was der Standardwert ist. Da die Frage besagt, dass dieselben Zeilen zurückgegeben werden sollen, auch wenn der Codeblock zweimal ausgeführt wird, müssen Sie einen Seed angeben. Die im Seed übergebene Zahl spielt keine Rolle, solange es sich um eine Ganzzahl handelt.
itemsDf.sample(withReplacement=True, fraction=0.1, seed=23536)
Falsch. Obwohl dieser Codeblock fast alle Anforderungen erfüllt, kann er Duplikate zurückgeben. Dies liegt daran, dass withReplacement auf True gesetzt ist.
Im Folgenden wird erläutert, was Ersetzen bedeutet: Stellen Sie sich vor, Sie haben einen Eimer mit 10.000 nummerierten Kugeln und müssen 1.000 Kugeln nach dem Zufallsprinzip aus dem Eimer nehmen (ähnlich wie bei dem Problem in der Frage). Wenn Sie nun diese Kugeln mit Ersatz nehmen würden, würden Sie eine Kugel nehmen, ihre Nummer notieren und sie zurück in den Eimer legen, d. h., wenn Sie das nächste Mal eine Kugel aus dem Eimer nehmen, bestünde die Chance, dass Sie genau dieselbe Kugel wieder nehmen. Wenn du die Kugeln ohne Ersatz nimmst, lässt du die Kugel außerhalb des Eimers liegen und legst sie nicht wieder hinein, wenn du die nächsten 999 Kugeln nimmst.
itemsDf.sample(fraction=1000, seed=98263)
Falsch. Der Parameter fraction muss einen Wert zwischen 0 und 1 haben. In diesem Fall sollte er 0,1 sein, da
1,000/10,000 = 0.1.
itemsDf.sampleBy("row", fractions={0: 0.1}, seed=82371)
Nein, DataFrame.sampleBy() ist für geschichtete Stichproben gedacht. Das bedeutet, dass Sie auf der Grundlage der Werte in einer Spalte in einem DataFrame einen bestimmten Anteil der Zeilen, die diese Werte enthalten, aus dem DataFrame ziehen können (weitere Einzelheiten siehe unten). Im vorliegenden Szenario ist sampleBy nicht der richtige Operator, da Sie keine Informationen über eine Spalte haben, von der die Stichprobe abhängen soll.
itemsDf.sample(fraction=0.1)
Falsch. Dieser Codeblock erfüllt alle Anforderungen, außer dass er nicht sicherstellt, dass bei einer zweiten Ausführung genau dieselben Zeilen zurückgegeben werden. Um dies zu erreichen, müssten Sie einen Seed angeben.
Mehr Informationen:
- pyspark.sql.DataFrame.sample - PySpark 3.1.2 Dokumentation
- pyspark.sql.DataFrame.sampleBy - PySpark 3.1.2 Dokumentation
- Arten von Stichproben in PySpark 3. Die Erläuterungen zu den Stichproben... | von Pinar Ersoy | Towards Data Science

NEUE FRAGE 62
Welche der folgenden Aussagen beschreibt einen Shuffle?

Ein Shuffle ist ein Prozess, der während eines Broadcast Hash Join ausgeführt wird.

Ein Shuffle ist ein Prozess, der Daten zwischen Executors vergleicht.

Ein Shuffle ist ein Prozess, der Daten zwischen verschiedenen Partitionen vergleicht.

Ein Shuffle ist eine Spark-Operation, die aus DataFrame.coalesce() resultiert.

Ein Shuffle ist ein Prozess, der den Executors Partitionen zuweist.

NEUE FRAGE 63
Welche der folgenden Eigenschaften beschreibt die Spark-Benutzeroberfläche?

Über die Spark-Benutzeroberfläche können Arbeitslasten manuell auf Executors verteilt werden.

Über die Spark-Benutzeroberfläche kann die Ausführungsgeschwindigkeit der Stufe geändert werden.

Die Registerkarte Scheduler zeigt, wie Aufträge, die von mehreren Benutzern parallel ausgeführt werden, über den Cluster verteilt werden.

In der Spark-Benutzeroberfläche gibt es eine Stelle, an der die Eigenschaft spark.executor.memory.

Einige der Registerkarten in der Spark-Benutzeroberfläche heißen Jobs, Stages, Storage, DAGs, Executors und SQL.

NEUE FRAGE 64
Welcher der folgenden Codeblöcke speichert DataFrame transactionsDf am Speicherort /FileStore/transactions.csv als CSV-Datei und gibt einen Fehler aus, wenn am Speicherort bereits eine Datei existiert?

transactionsDf.write.save("/FileStore/transactions.csv")

transactionsDf.write.format("csv").mode("error").path("/FileStore/transactions.csv")

transactionsDf.write.format("csv").mode("ignore").path("/FileStore/transactions.csv")

transactionsDf.write("csv").mode("error").save("/FileStore/transactions.csv")

transactionsDf.write.format("csv").mode("error").save("/FileStore/transactions.csv")

NEUE FRAGE 65
Welcher der folgenden Codeblöcke gibt einen einspaltigen DataFrame zurück, der die Anzahl der Wörter in der Spalte supplier des DataFrame itemsDf anzeigt?
Beispiel für DataFrame itemsDf:
1.+——+—————————–+——————-+
2.|itemId|attributes |supplier |
3.+——+—————————–+——————-+
4.|1 |[blau, winter, gemütlich] |Sports Company Inc.|
5.|2 |[rot, Sommer, frisch, kühlend]|YetiX |
6.|3 |[Grün, Sommer, Reisen] |Sports Company Inc.|
7.+——+—————————–+——————-+

itemsDf.split("lieferant", " ").count()

itemsDf.split("lieferant", " ").size()

itemsDf.select(wort_zahl("lieferant"))

spark.select(size(split(col(Lieferant), " "))))

itemsDf.select(size(split("lieferant", " ")))