新しい質問 48
正しいテキスト
問題シナリオ 57 : 以下のコード・スニペットが与えられている。
val a = sc.parallelize(1 to 9, 3) operationl
以下に示すように、望ましい出力を生成するoperationlの正しいコード・スニペットを書きなさい。
Array[(String, Seq[lnt])] = Array((even,ArrayBuffer(2,4,G,8)),(odd,ArrayBuffer(1,3,5,7.))、
9)))

新しい質問 49
正しいテキスト
問題シナリオ 39 : 次の2つのファイルが与えられた。
spark16/file1.txt
1,9,5
2,7,4
3,8,3
spark16/file2.txt
1,g,h
2 ,i,j
3 ,k,l
これらの2つのタイルをSpark RDDとしてロードし、以下の結果を生成するためにそれらを結合する。
(l,((9,5),(g,h)))
(2, ((7,4), (i,j)) (3, ((8,3), (k,l)))
そして、上記の結合結果の2列目（5+4+3）を合計するコード・スニペットを書く。

新しい質問50
正しいテキスト
問題シナリオ 85 : 前問の続きで、以下の活動を達成してください。
1.productID AS ID code AS Code name AS Description price AS 'Unit Price' 以下のように出力ヘッダーを持つ商品テーブルからすべての列を選択する。
2.選択コードと名前は「-」で区切り、ヘッダー名はProductとする。
説明」。
3.すべての価格を選択してください。
4 .価格と名称の組み合わせを選択します。
5 .コードとproductIDの組み合わせでソートされたすべての価格データを選択します。
6 . 製品の数を数える。
7 .各コードの製品数を数える。

新しい質問 51
正しいテキスト
問題シナリオ 61 : 以下のコード・スニペットが与えられている。
val a = sc.parallelize(List("dog", "salmon", "rat", "elephant"), 3) val b = a.keyBy(_.length) val c = sc.parallelize(List("dog", "cat", "gnu", "salmon", "rabbit", "turkey", "wolf", "bear", "bee"), 3) val d = c.keyBy(_.length) operationl
以下に示すように、望ましい出力を生成するoperationlの正しいコード・スニペットを書きなさい。
Array[(lnt, (String, Option[String]}}] = Array((6,(salmon,Some(salmon)))、
(6,(salmon,Some(rabbit)))、
(6,(salmon,Some(turkey)), (6,(salmon,Some(salmon)), (6,(salmon,Some(rabbit))、
(6,(salmon,Some(turkey)), (3,(dog,Some(dog)), (3,(dog,Some(cat)))、
(3,(dog,Some(dog)), (3,(dog,Some(bee)), (3,(rat,Some(doggg)), (3,(rat,Some(cat)j)、
(3,(rat.Some(gnu)). (3,(rat,Some(bee)), (8,(elephant,None)))

新しい質問 52
正しいテキスト
問題シナリオ 86 : 前問の続きで、以下の活動を達成してください。
1 .最大値、最小値、平均値、標準偏差、合計数量を選択します。
2 .各商品コードの最低価格と最高価格を選択します。
3.各商品コードの最大値、最小値、平均値、標準偏差、合計数量を選択し、平均値と標準偏差の小数点以下が最大2桁になるようにします。
4.商品数が3以上の場合のみ、すべての商品コードと平均価格を選択します。
5.各コードについて、全商品の最大、最小、平均、合計を選択する。また、すべての製品にわたって同じものを作成する。

新しい質問 53
正しいテキスト
問題シナリオ12 : 以下のmysqlデータベースの詳細とその他の情報が与えられている。
ユーザー=retail_dba
パスワード=cloudera
データベース=retail_db
jdbcURL=jdbc:mysql://クイックスタート:3306/retail_db
以下のことを実行してください。
1.retailedb に以下の定義でテーブルを作成する。
CREATE table departments_new (department_id int(11), department_name varchar(45), created_date T1MESTAMP DEFAULT NOW())；
2 .departmentsテーブルからdepartments_newにレコードを挿入する。
3 .departments_newテーブルのデータをhdfsにインポートする。
4 .departmentsnewテーブルに以下の5つのレコードを挿入する。departments_new values(110, "Civil" , null) に挿入; departments_new values(111, "Mechanical" , null) に挿入；
departments_new values(112, "Automobile" , null); departments_new values(113, "Pharma" , null) に挿入します；
departments_new values(114, "Social Engineering" , null)に挿入します；
5.次に、created_dateカラムに基づいて増分インポートを行う。

新しい質問 54
正しいテキスト
問題シナリオ23 : あなたは以下のようなログ生成サービスを与えられている。
Start_logs (継続的にログを生成します)
Tail_logs (どのようなログが生成されているかを確認できます)
Stop_logs（ログサービスを停止する）
上記のサービスを使用してログが生成されるパス：/opt/gen_logs/logs/access.log
ここで、flume3.confという名前のflume設定ファイルを書き、その設定ファイルを使って、flumeflume3/%Y/%m/%d/%H/%MというディレクトリのHDFSファイルシステムにログをダンプする。
つまり、1分ごとに新しいディレクトリを作成する必要があります）。メッセージのヘッダにヘッダ情報がない場合は、インターセプターがタイムスタンプ情報を提供するようにしてください。
また、メッセージにタイムスタンプが含まれている場合は、既存のタイムスタンプを保持する必要があることにも注意してください。Flumeチャンネルには、次のようなプロパティも必要です。100メッセージごとにコミットし、耐久性のない、より高速なチャネルを使用し、最大1000イベントを保持できるようにする。

新しい質問 55
正しいテキスト
問題シナリオ 31 ：次の2つのファイルがある
1 .Content.txt：スペースで区切られた単語を含む巨大なテキストファイル。
2 .Remove.txt：このファイルで指定されたすべての単語を無視/フィルタリングします (カンマ区切り)。
Content.txtファイルを読み込み、RDDとしてロードし、ブロードキャスト変数（Remove.txtから単語のRDDとしてロードされる）からすべての単語を削除するSparkプログラムを書く。
そして各単語の出現回数をカウントし、テキストファイルとしてHDFSに保存する。
コンテンツ.txt
こんにちは、ABCTech.comです。
こちらTechABY.com
Apache Sparkトレーニング
スパーク・ラーニング・セッション
スパークはMapReduceより速い
削除.txt
ハロー、これは

新しい質問56
正しいテキスト
問題シナリオ17 : 以下のmysqlデータベースの詳細とその他の情報が与えられている。
ユーザー=retail_dba
パスワード=cloudera
データベース=retail_db
jdbcURL=jdbc:mysql://クイックスタート:3306/retail_db
以下の課題を達成してください。
1.ハイブに以下のようにテーブルを作成します。create table departments_hiveOl(department_id int, department_name string, avg_salary int)；
2.以下のステートメントを使用して、mysql に別のテーブルを作成します CREATE TABLE IF NOT EXISTS departments_hive01(id int, department_name varchar(45), avg_salary int)；
3.departments_hive01 に挿入する select a.*, null from departments a. を使用して、departments テーブルから departments_hive01 にすべてのデータをコピーします；
また、以下のレコードを挿入する。
departments_hive01 values(777, "Not known",1000) に挿入します；
departments_hive01 values(8888, null,1000) に挿入します；
departments_hive01 values(666, null,1100) に挿入します；
4.mysqlのdepartments_hive01テーブルからこのハイブテーブルにデータをインポートします。以下のハイブコマンドを使用して、データが表示されていることを確認してください。また、インポート中にdepartment_nameカラムにNULL値が見つかった場合は""(空文字列)に、idカラムには-999を指定してください；

新しい質問 57
正しいテキスト
問題シナリオ 4: MySQL DB を次のような内容で与えられた。
ユーザー=retail_dba
パスワード=cloudera
データベース=retail_db
テーブル=retail_db.categories
jdbcURL=jdbc:mysql://クイックスタート:3306/retail_db
以下の活動をお願いします。
シングルテーブルのカテゴリ（サブセットデータ}をハイブ管理テーブルにインポートします。

新しい質問 58
正しいテキスト
問題シナリオ62 : 以下のコード・スニペットが与えられている。
val a = sc.parallelize(List("dogM, "tiger", "lion", "cat", "panther", "eagle"), 2) val b = a.map(x => (x.length, x)) operation1
以下に示すように、望ましい出力を生成するoperationlの正しいコード・スニペットを書きなさい。
Array[(lnt, String)] = Array((3,xdogx), (5,xtigerx), (4,xlionx), (3,xcatx), (7,xpantherx)、
(5,xeaglex))

新しい質問 59
正しいテキスト
問題シナリオ 58 ：以下のコード・スニペットが与えられています。
val a = sc.parallelize(List("dog", "tiger", "lion", "cat", "spider", "eagle"), 2) val b = a.keyBy(_.length) operation1
以下に示すように、望ましい出力を生成するoperationlの正しいコード・スニペットを書きなさい。
Array[(lnt, Seq[String])] = Array((4,ArrayBuffer(lion)), (6,ArrayBuffer(spider))、
(3,ArrayBuffer(犬, 猫)), (5,ArrayBuffer(虎, 鷲}}}。

新しい質問 60
正しいテキスト
問題シナリオ 68 ：次のようなファイルがある。
spark75/f ile1.txt
ファイルにはいくつかのテキストが含まれています。以下に示すように
spark75/file1.txt
Apache Hadoopは、Javaで書かれたオープンソースのソフトウェアフレームワークで、コモディティハードウェアで構築されたコンピュータクラスタ上で超大規模データセットの分散ストレージと分散処理を行うためのものである。Hadoopのすべてのモジュールは、ハードウェアの障害は一般的であり、フレームワークによって自動的に処理されるべきであるという基本的な前提に基づいて設計されている。
Apache Hadoopのコアは、Hadoop Distributed File（Hadoop分散ファイル）と呼ばれるストレージ部分で構成されています。
システム（HDFS）と、MapReduceと呼ばれる処理部分だ。Hadoopはファイルを大きなブロックに分割し、クラスタ内のノードに分散する。データを処理するために、Hadoopは処理が必要なデータに基づいてノードが並列処理するようにパッケージ化されたコードを転送する。
このアプローチでは、データの局所性を利用するノードがアクセスできるデータを操作することで、計算とデータが高速ネットワーク経由で分散される並列ファイルシステムに依存する従来のスーパーコンピュータ・アーキテクチャよりも高速かつ効率的にデータセットを処理することができる。
もう少し複雑なタスクとして、文書の文を単語のビグラムに分割してみよう。ビッグラムとは、ある連続したトークンのペアである。
各文中の単語の並びからビグラムを構築し、最も頻出する単語を見つけようとする。
最初の問題は、初期RDDの各パーティションの値が、センテンスではなくファイルの行を記述していることだ。文章は複数の行に分割されることがあります。glom()RDDメソッドを使用して、すべての行のリストを含む1つのエントリを各ドキュメントに作成します。その後、行を結合し、". "をセパレーターとして使用してセンテンスに再分割し、flatMapを使用して、RDD内のすべてのオブジェクトがセンテンスになるようにします。
ビグラムとは、ある連続したトークンのペアである。各文中の単語の並びからビッグラムを作り、最も頻出するものを探してみてください。

新しい質問 61
正しいテキスト
問題シナリオ 47 : 以下のコード・スニペットと中間出力が与えられている。
val z = sc.parallelize(List(1,2,3,4,5,6), 2)
// まず、RDDの内容をパーティション・ラベル付きで出力してみよう。
def myfunc(index：int, iter: lterator[(lnt)]): lterator[String] = {.
iter.toList.map(x => "[partID:" + index + ", val: " + x + "]").iterator
}
//問題を解いている間は、以下の出力だけを想定する。
z.mapPartitionsWithlndex(myfunc).collect
res28: Array[String] = Array([partlD:0, val: 1], [partlD:0, val: 2], [partlD:0, val: 3], [partlD:1, val: 4], [partlD:1, val: S], [partlD:1, val: 6])
ここでRDD zに集約法を適用する。2つのreduce関数で、1つ目は各パーティションの最大値を選択し、2つ目は全パーティションの最大値を加算する。
したがって、期待される出力は16となる。

新しい質問 62
正しいテキスト
問題シナリオ15 : 以下のmysqlデータベースの詳細とその他の情報が与えられている。
ユーザー=retail_dba
パスワード=cloudera
データベース=retail_db
jdbcURL=jdbc:mysql://クイックスタート:3306/retail_db
以下の活動をお願いします。
1.mysqlのdepartmentsテーブルに以下のレコードを挿入してください。departments values(9999, '"Data Science "1) に挿入してください；
2.さて、このファイルのダンプを処理するダウンストリーム・システムがある。しかし、このシステムは、フィールドが(')シングルクオートで囲まれ、フィールドの区切りが(-})であり、行の終端が:(コロン)でなければならないファイルしか処理できないように設計されている。
3.データ自体に"(ダブルクォート)が含まれている場合は、.でエスケープする。
4.departments_enclosedby というディレクトリに departments テーブルをインポートしてください。

新しい質問 63
正しいテキスト
問題シナリオ 82 : Hive に以下の構造を持つテーブルが与えられました（前回の演習で作成したものです）。
productid int code string name string quantity int price float
SparkSQLを使用して、以下の活動を行う。
1 .数量 <= 2000 の商品名と数量をすべて選択する。
2 .コードが「PEN」である商品名と価格を選択する。
3 .名前が PENCIL で始まる製品をすべて選択する。
4 .名前」が'P'で始まり、任意の2文字が続き、スペースが続き、0文字以上が続く製品をすべて選択する。

新しい質問 64
正しいテキスト
問題シナリオ 74 : MySQL DBが与えられており、その詳細は以下のとおりである。
ユーザー=retail_dba
パスワード=cloudera
データベース=retail_db
テーブル=retail_db.orders
テーブル=retail_db.order_items
jdbcURL=jdbc:mysql://クイックスタート:3306/retail_db
注文テーブルのカラム : (orderjd, order_date, ordercustomerid, order status}.
orderjtemsテーブルのカラム : (order_item_td , order_item_order_id 、
order_item_product_id、
order_item_quantity,order_item_subtotal,order_item_product_price)。
以下の活動をお願いします。
1."retaildb.orders "テーブルと "retaildb.orderjtems "テーブルをそれぞれのディレクトリp89_ordersとp89_order_itemsのhdfsにコピーする。
2.SparkとPythonでorderjdを使ってこれらのデータを結合する。
3.結合されたデータから選択されたカラムを取得します Orderld, Order date and amount collected on this order.
4.各日付の注文の合計を計算し、日付順にソートして出力する。

新しい質問65
正しいテキスト
問題シナリオ2 ：
ABCグループ "という親会社があり、"Tech Inc "と "MPTech "という2つの子会社がある。
両社の従業員情報は以下のように2つのテキストファイルに分かれています。従業員の詳細については、以下の作業を行ってください。
テック・インク.txt
1,アロック,ハイデラバード
2,クリシュ,香港
3、ジョティ、ムンバイ
4、アトゥール、バングロール
5、グルガオン、イシャン
MPTech.txt
6,ジョン,ニューヨーク
7,alp2004,カリフォルニア
8、ムンバイ
9、ガガン21、プネー
1 0,Mukesh,Chennai
1 .HDFSで利用可能なすべてのコマンドラインオプションを確認するには、どのコマンドを使用し、どのように個々のコマンドのヘルプを取得します。
2.コマンドラインを使用して、Employeeという名前の空のディレクトリを新規作成する。また、その中にTechinc.txtという名前の空のファイルを作成する。
3.Employeeディレクトリに両社の従業員データをロードする（HDFSの既存ファイルを上書きする方法）。
4.MergedEmployee.txtと呼ばれる単一のタイルに両方の従業員データをマージし、マージされたタイルは、各ファイルのコンテンツの最後に改行文字を持っている必要があります。
5.HDFS上にマージされたファイルをアップロードし、HDFSのマージされたファイルのパーミッションを変更する。
6.個々のファイルとディレクトリ全体をHDFSからローカルファイルシステムにエクスポートするコマンドを書いてください。

新しい質問 66
正しいテキスト
問題シナリオ 35 : spark7/EmployeeName.csvというファイルが与えられた。
(id,name)とする。
従業員名.csv
E01,ロケシュ
E02,ブペシュ
E03,アミット
E04,ラタン
E05,ディネシュ
E06,パヴァン
E07,テジャス
E08,シェエラ
E09,クマール
E10,ヴェンカット