Databricksの最新模擬試験[Q51-Q65]でAssociate-Developer-Apache-Spark試験に合格する準備をする

6月 27, 2022 アソシエイト-デベロッパー-Apache-Spark, データブリック 0 コメント

Databricksの最新模擬試験[Q51-Q65]でAssociate-Developer-Apache-Spark試験に合格する準備をしましょう。

この記事を評価する

Databricksの最新模擬試験でAssociate-Developer-Apache-Spark試験に合格する準備をしよう

実際のDatabricks勉強ガイドでAssociate-Developer-Apache-Spark試験の準備をします！

新しい質問 51
次のうち、Sparkのクラスタ実行モードとクライアント実行モードの違いを説明しているものはどれですか？

クラスタモードでは、クラスタマネージャはワーカーノードに常駐し、クライアントモードではエッジノードに常駐する。

クラスタモードでは、エクゼキュータプロセスはワーカーノード上で実行され、クライアントモードではゲートウェイノード上で実行される。

クラスターモードでは、ドライバはワーカーノードに常駐し、クライアントモードではエッジノードに常駐する。

クラスターモードでは、ゲートウェイマシンがドライバーをホストし、クライアントモードでは、ゲートウェイマシンがエクゼキューターと同居する。

クラスターモードでは、Sparkドライバはクラスターマネージャと同居しないが、クライアントモードでは同居する。

説明
クラスターモードでは、ドライバはワーカーノードに常駐し、クライアントモードではエッジノードに常駐する。
正しい。Sparkのクライアントモードのアイデアは、ゲートウェイマシンとも呼ばれるエッジノードから、クラスタ外からワークロードを実行できることだ。しかし、Sparkを実行する最も一般的な方法は、ドライバーをワーカーノードに常駐させるクラスターモードです。
実際には、クライアントモードでは、クラスタ内のワーカーノード間のデータ転送速度に対して、データ転送速度に厳しい制約があります。また、クライアントモードで実行されるジョブは、エッジノードに障害が発生すると失敗します。これらの理由から、クライアントモードは本番環境では通常使用されません。
クラスタモードでは、クラスタマネージャはワーカーノードに常駐し、クライアント実行モードではエッジノードに常駐する。
どちらの実行モードでも、クラスタマネージャはワーカーノードに常駐することができますが、クライアントモードではエッジノードには常駐しません。
クラスタモードでは、エクゼキュータプロセスはワーカーノード上で実行され、クライアントモードではゲートウェイノード上で実行される。
これは正しくない。ゲートウェイノード（「エッジノード」とも呼ばれる）上でクライアントモードで実行されるのはドライバーだけで、エクゼキュータープロセスは実行されない。
クラスターモードでは、Sparkドライバはクラスターマネージャと同居しないが、クライアントモードでは同居する。
いいえ、クライアントモードでは、Sparkドライバはドライバと同居していません。クライアントモードの要点は、ドライバがクラスタの外にあり、クラスタを管理するリソース（クラスタマネージャを実行するマシン）に関連付けられていないことです。
クラスターモードでは、ゲートウェイマシンがドライバーをホストし、クライアントモードでは、ゲートウェイマシンがエクゼキューターと同居する。
いや、正反対だ：クラスターモードではゲートウェイマシンは存在しないが、クライアントモードではゲートウェイマシンがドライバをホストする。

新しい質問 52
クラスタ上で実行されているアプリケーションが1つだけであることを前提に、大量のデータを処理する際のSparkのパフォーマンスを向上させる有効な方法は、次のうちどれでしょうか？

プロパティspark.default.parallelismとspark.sql.shuffle.partitionsの値を増やします。

プロパティspark.default.parallelismとspark.sql.partitionsの値を小さくします。

プロパティspark.sql.parallelismおよびspark.sql.partitionsの値を増やします。

プロパティspark.sql.parallelismおよびspark.sql.shuffle.partitionsの値を増やします。

プロパティspark.dynamicAllocation.maxExecutors、spark.default.parallelism、spark.sql.shuffle.partitionsの値を増やします。

新しい質問 53
次のコードブロックのどれが、DataFrame transactionsDfから列predErrorとproductIdが削除されたDataFrameを返すか？
DataFrame transactionsDf のサンプル：
1.+————-+———+—–+——-+———+—-+
2.|transactionId|predError|value|storeId|productId|f｜｜トランザクションID
3.+————-+———+—–+——-+———+—-+
4.|1.|3.|4.|25.|1.|null||の
5.|2.|6.|7.|2.|2.|null||。
6.
7.+————-+———+—–+——-+———+—-+

トランザクションDf.withColumnRemoved("predError", "productId")

transactionsDf.drop(["predError", "productId", "associateId"])

transactionsDf.drop("predError", "productId", "associateId")。

transactionsDf.dropColumns("predError", "productId", "associateId")

transactionsDf.drop(col("predError", "productId"))

新しい質問 54
以下のコード・ブロックにエラーがあります。このコードブロックは、DataFrame itemsDf と transactionsDf のデータを結合し、DataFrame itemsDf のうち、itemId 列の値が transactionsDf の transactionsId 列の値と一致するすべての行を表示する必要があります。エラーを見つける。
コードブロック：
itemsDf.join(itemsDf.itemId==transactionsDf.transactionId)

ジョイン声明は不完全だ。

joinの代わりにunionメソッドを使うべきである。

ジョイン方式は不適切だ。

joinの代わりにmergeメソッドを使うべきである。

結合式が不正です。

新しい質問 55
Sparkの実行階層におけるタスクの役割は、次のうちどれですか？

タスクは実行階層の最小要素である。

1つのタスクの中で、スロットはデータのパーティションごとに行われる作業の単位である。

タスクは実行階層の中で2番目に小さい要素である。

依存関係の狭いステージは、1つのタスクにまとめることができる。

幅広い依存関係を持つタスクは、1つのステージにまとめることができる。

新しい質問56
次のコードブロックのうち、transactionId、storeId、productId、f列のみを含むDataFrame transactionsDfのコピーを返すものはどれですか？
DataFrame transactionsDf のサンプル：
1.+————-+———+—–+——-+———+—-+
2.|transactionId|predError|value|storeId|productId|f|。
3.+————-+———+—–+——-+———+—-+
4.|1|3|4|25|1|null|｜。
5.|2|6|7|2|2|null|｜。
6.| 3| 3| null| 25| 3| null|
7.+————-+———+—–+——-+———+—-+

transactionDf.drop(col("value", col("predError"))

transactionsDf.drop("predError", "value")

transactionDf.drop(value, predError)

transactionsDf.drop(["predError", "value"])

transactionsDf.drop([col("predError", col("value")])

新しい質問 57
DataFramesのtransactionsDfとtransactionsNewDfの行を、重複を省いて連結するコードブロックはどれか。

transactionsDf.concat(transactionsNewDf).unique()

transactionsDf.union(transactionsNewDf).distinct()

spark.union(transactionsDf, transactionsNewDf).distinct()

transactionsDf.join(transactionsNewDf, how="union").distinct()

transactionsDf.union(transactionsNewDf).unique()

新しい質問 58
次のコードブロックのどれが、JSONファイルimports.jsonをDataFrameに読み込みますか？

spark.read().mode("json").path("/FileStore/imports.json")

spark.read.format("json").path("/FileStore/imports.json")

spark.read("json", "/FileStore/imports.json")

spark.read.json("/FileStore/imports.json")

spark.read().json("/FileStore/imports.json")

新しい質問 59
次のコードブロックのどれが、以前にキャッシュされたDataFrame transactionsDfをメモリとディスクから直ちに削除しますか？

array_remove(transactionsDf, "*")

トランザクションDf.unpersist()
正解

del transactionsDf

トランザクションDf.clearCache()

トランザクションDf.persist()

新しい質問 60
以下のコード・ブロックにエラーがあります。このコードブロックは、一意の storeId でグループ化された列 value の行の平均を返す必要があります。エラーを見つけてください。
コードブロック：
transactionsDf.agg("storeId").avg("value")

avg("値")の代わりにavg(col("値"))を使うべきである。

avg("値")は、agg()に付加するのではなく、agg()の第2引数として指定すべきである。

列名はすべてcol()演算子でラップする。

aggはgroupByに置き換えるべきである。

"storeId "と "value "は入れ替えるべきである。

新しい質問 61
次のコードブロックのうち、10,000行のDataFrame itemsDfから約1,000行のDataFrameを重複なく返し、コードブロックを2回実行しても同じ行を返すものはどれですか？

itemsDf.sampleBy("row", fractions={0: 0.1}, seed=82371)

itemsDf.sample(fraction=0.1, seed=87238)

itemsDf.sample(fraction=1000, seed=98263)

itemsDf.sample(withReplacement=True, fraction=0.1, seed=23536)

itemsDf.sample(fraction=0.1)

説明
itemsDf.sample(fraction=0.1, seed=87238)
正しい。DataFrame.sample()は正確な行数を返すことを保証していないからです。重複行を返さないようにするには、withReplacementパラメータをデフォルトのFalseのままにしておく必要があります。質問では、コードブロックを2回実行しても同じ行が返されることを指定しているので、seedを指定する必要があります。seedに渡す数値は整数であれば問題ありません。
itemsDf.sample(withReplacement=True, fraction=0.1, seed=23536)
正しくない。このコードブロックはほとんどすべての要件を満たしていますが、重複を返すことがあります。これはwithReplacementがTrueに設定されているためです。
ここで、置換の意味を理解しよう：10,000個の番号のついたボールが入ったバケツがあり、その中からランダムに1,000個のボールを取る必要があるとします（設問の問題と同じです）。ここで，もしボールを取り替えて取るとしたら，あなたはボールを取り，その番号を記録し，バケツに戻すことになる．つまり，次にバケツからボールを取るときには，まったく同じボールを取る可能性があるということだ．つまり、次にバケツからボールを取るときには、まったく同じボールを取る可能性があるということだ。交換なしでボールを取った場合は、そのボールをバケツの外に置いたままにして、次の999個のボールを取るときにバケツに戻さないことになる。
itemsDf.sample(fraction=1000, seed=98263)
間違いです。fractionパラメータは0と1の間の値を持つ必要がある。
1,000/10,000 = 0.1.
itemsDf.sampleBy("row", fractions={0: 0.1}, seed=82371)
いいえ、DataFrame.sampleBy() は、層化サンプリングのためのものです。つまり、DataFrameのある列の値に基づいて、その値を含む行の一定割合をDataFrameから抽出することができます（詳細は後述します）。今回のシナリオでは、サンプリングの対象となるカラムに関する情報がないため、sampleByは適切な演算子ではありません。
itemsDf.sample(fraction=0.1)
正しくない。このコード・ブロックは、2回目に実行したときにまったく同じ行が返されることを保証していないことを除いて、すべてのチェックボックスをチェックしています。これを実現するには、シードを指定する必要があります。
詳細はこちら：
- pyspark.sql.DataFrame.sample - PySpark 3.1.2 documentation
- pyspark.sql.DataFrame.sampleBy - PySpark 3.1.2 documentation
- PySparkにおけるサンプリングの種類 3.サンプリングの説明... ｜ Pinar Ersoy｜データサイエンスに向けて

新しい質問 62
シャッフルを説明するものは次のうちどれ？

シャッフルは、ブロードキャスト・ハッシュ結合時に実行される処理である。

シャッフルは、エクゼキュータ間でデータを比較する処理である。

シャッフルとは、パーティション間でデータを比較する処理である。

シャッフルは、DataFrame.coalesce() の結果の Spark 処理です。

シャッフルは、パーティションをエクゼキュータに割り当てる処理である。

新しい質問 63
Spark UIの特徴について説明しているのは、次のうちどれですか？

Spark UIを介して、ワークロードを手動でエクゼキュータに分散させることができる。

Spark UIを介して、ステージの実行速度を変更することができる。

Schedulerタブは、複数のユーザーによって並列実行されるジョブがクラスタ全体にどのように分散されるかを示します。

Spark UIには、プロパティspark.executor.memoryを表示する場所があります。

Spark UIには、Jobs、Stages、Storage、DAGs、Executors、SQLという名前のタブがあります。

新しい質問 64
次のコードブロックのどれが、/FileStore/transactions.csvの場所にDataFrame transactionsDfをCSVファイルとして保存し、その場所にすでにファイルが存在する場合はエラーをスローしますか？

transactionsDf.write.save("/FileStore/transactions.csv")

transactionsDf.write.format("csv").mode("error").path("/FileStore/transactions.csv")

transactionsDf.write.format("csv").mode("ignore").path("/FileStore/transactions.csv")

transactionsDf.write("csv").mode("error").save("/FileStore/transactions.csv")

transactionsDf.write.format("csv").mode("error").save("/FileStore/transactions.csv")

新しい質問65
次のコードブロックのどれが、DataFrame itemsDfの列サプライヤの単語数を示す単一列のDataFrameを返しますか？
DataFrameのサンプル itemsDf：
1.+——+—————————–+——————-+
2.itemId|属性|サプライヤー|サプライヤー
3.+——+—————————–+——————-+
4.|1｜[青, 冬, 居心地]｜株式会社スポーツカンパニー
5.|2｜[赤, 夏, フレッシュ, 清涼]｜YetiX｜イエティックス
6.|3｜[グリーン,サマー,トラベル]｜株式会社スポーツカンパニー
7.+——+—————————–+——————-+

itemsDf.split("supplier", " ").count()

itemsDf.split("supplier", " ").size()

itemsDf.select(word_count("supplier"))

spark.select(size(split(col(supplier), " ")))

itemsDf.select(size(split("supplier", " ")))