第38位 正しいテキスト
問題シナリオ 68 ：次のようなファイルがある。
spark75/f ile1.txt
ファイルにはいくつかのテキストが含まれています。以下に示すように
spark75/file1.txt
Apache Hadoopは、Javaで書かれたオープンソースのソフトウェアフレームワークで、コモディティハードウェアで構築されたコンピュータクラスタ上で超大規模データセットの分散ストレージと分散処理を行うためのものである。Hadoopのすべてのモジュールは、ハードウェアの障害は一般的であり、フレームワークによって自動的に処理されるべきであるという基本的な前提に基づいて設計されている。
Apache Hadoopのコアは、Hadoop Distributed File（Hadoop分散ファイル）と呼ばれるストレージ部分で構成されています。
システム（HDFS）と、MapReduceと呼ばれる処理部分だ。Hadoopはファイルを大きなブロックに分割し、クラスタ内のノードに分散する。データを処理するために、Hadoopは処理が必要なデータに基づいてノードが並列処理するようにパッケージ化されたコードを転送する。
このアプローチでは、データの局所性を利用するノードがアクセスできるデータを操作することで、計算とデータが高速ネットワーク経由で分散される並列ファイルシステムに依存する従来のスーパーコンピュータ・アーキテクチャよりも高速かつ効率的にデータセットを処理することができる。
もう少し複雑なタスクとして、文書の文を単語のビグラムに分割してみよう。ビッグラムとは、ある連続したトークンのペアである。
各文中の単語の並びからビグラムを構築し、最も頻出する単語を見つけようとする。
最初の問題は、初期RDDの各パーティションの値が、センテンスではなくファイルの行を記述していることだ。文章は複数の行に分割されることがあります。glom()RDDメソッドを使用して、すべての行のリストを含む1つのエントリを各ドキュメントに作成します。その後、行を結合し、". "をセパレーターとして使用してセンテンスに再分割し、flatMapを使用して、RDD内のすべてのオブジェクトがセンテンスになるようにします。
ビグラムとは、ある連続したトークンのペアである。各文中の単語の並びからビッグラムを作り、最も頻出するものを探してみてください。

NO.39 正しいテキスト
問題シナリオ75 : MySQL DBが与えられており、その詳細は以下のとおりである。
ユーザー=retail_dba
パスワード=cloudera
データベース=retail_db
テーブル=retail_db.orders
テーブル=retail_db.order_items
jdbcURL=jdbc:mysql://クイックスタート:3306/retail_db
以下の活動をお願いします。
1.retail_db.order_items "テーブルをp90_order_itemsディレクトリのhdfsにコピーする。
2.pyspark を使用して、この表の収益全体の合計を計算します。
3.収益の最大値と最小値も求める。
4.平均収益の計算
ordeMtemsテーブルのカラム : (order_item_id , order_item_order_id 、
order_item_product_id、order_item_quantity、order_item_subtotal、order_item_product_id。
item_subtotal,order_item_product_price)

40位 正しいテキスト
問題シナリオ81 : MySQL DBに以下の詳細が与えられている。次の product.csv ファイルが与えられています。 product.csv productID,productCode,name,quantity,price
1001,PEN,ペン赤,5000,1.23
1002,PEN,ペンブルー,8000,1.25
1003,PEN,ペンブラック,2000,1.25
1004,PEC,鉛筆2B,10000,0.48
1005,PEC,鉛筆2H,8000,0.49
1006,PEC,鉛筆HB,0,9999.99
次に、以下の活動を行う。
1 .SparkSqlを使用してHive ORCテーブルを作成する
2 .このデータをHiveテーブルにロードします。
3 .SparkSQLを使用してHiveパーケットテーブルを作成し、そこにデータをロードします。

NO.41 正しいテキスト
問題シナリオ32 : 以下の3つのファイルが与えられている。
spark3/sparkdir1/ファイル1.txt
spark3/sparkd ir2ffile2.txt
spark3/sparkd ir3Zfile3.txt
各ファイルにはテキストが含まれている。
spark3/sparkdir1/ファイル1.txt
Apache Hadoopは、Javaで書かれたオープンソースのソフトウェアフレームワークであり、コモディティハードウェアで構築されたコンピュータクラスタ上で超大規模データセットの分散ストレージと分散処理を行うためのものである。Hadoopのすべてのモジュールは、ハードウェアの障害は一般的であり、フレームワークによって自動的に処理されるべきであるという基本的な前提で設計されている spark3/sparkdir2/file2.txt
Apache Hadoopのコアは、Hadoop Distributed File（Hadoop分散ファイル）と呼ばれるストレージ部分で構成されています。
システム（HDFS）と、MapReduceと呼ばれる処理部分だ。Hadoopはファイルを大きなブロックに分割し、クラスタ内のノードに分散する。データを処理するために、Hadoopは処理が必要なデータに基づいてノードが並列処理するようにパッケージ化されたコードを転送する。
spark3/sparkdir3/ファイル3.txt
このアプローチでは、データの局所性を利用するノードがアクセスできるデータを操作することで、計算とデータが高速ネットワーク経由で分散される並列ファイルシステムに依存する従来のスーパーコンピュータ・アーキテクチャよりも高速かつ効率的にデータセットを処理することができる。
では、これら3つのファイルをhdfsからロードし、以下の単語をフィルタリングして単語数をカウントするSparkコードをscalaで書いてみよう。そして、結果は逆順に単語数でソートされなければならない。
フィルター語（「a」、「the」、「an」、「as」、「a」、「with」、「this」、「these」、「is」、「are」、「in」、「for」、
「to", "and", "The", "of")
また、3つのファイルすべてを1つのRDDとしてロードしてください（3つのファイルすべてを1つのAPIコールでロードする必要があります）。
また、以下のコーデックも与えられている。
import org.apache.hadoop.io.compress.GzipCodec
hdfsに保存するときは、上記のコーデックを使ってファイルを圧縮してください。

NO.42 正しいテキスト
問題シナリオ13 : 以下のmysqlデータベースの詳細とその他の情報が与えられている。
ユーザー=retail_dba
パスワード=cloudera
データベース=retail_db
jdbcURL=jdbc:mysql://クイックスタート:3306/retail_db
以下のことを実行してください。
1.retailedb に以下の定義でテーブルを作成する。
CREATE table departments_export (department_id int(11), department_name varchar(45), created_date T1MESTAMP DEFAULT NOWQ)；
2.以下のディレクトリから departments_export テーブルにデータをインポートする、
/user/cloudera/departments new

NO.43 正しいテキスト
問題シナリオ 35 : spark7/EmployeeName.csvというファイルが与えられた。
(id,name)とする。
従業員名.csv
E01,ロケシュ
E02,ブペシュ
E03,アミット
E04,ラタン
E05,ディネシュ
E06,パヴァン
E07,テジャス
E08,シェエラ
E09,クマール
E10,ヴェンカット
1.このファイルをhdfsからロードし、名前でソートして(id,name)としてresultsディレクトリに保存する。ただし、保存の際には1つのファイルに書き込めるようにしておくこと。

NO.44 正しいテキスト
問題シナリオ 64 : 以下のコード・スニペットが与えられている。
val a = sc.parallelize(List("dog", "salmon", "rat", "elephant"), 3) val b = a.keyBy(_.length) val c = sc.parallelize(Ust("dog", "cat", "gnu", "salmon", "rabbit", "turkey", "wolf", "bear", "bee"), 3) val d = c.keyBy(_.length) operation1
以下に示すように、望ましい出力を生成するoperationlの正しいコード・スニペットを書きなさい。
Array[(lnt, (Option[String], String)] = Array((6,(Some(salmon),salmon))、
(6,(Some(salmon),rabbit}}, (6,(Some(salmon),turkey)), (6,(Some(salmon),salmon))、
(6,(Some(salmon),rabbit), (6,(Some(salmon),turkey), (3,(Some(dog),dog))、
(3,(Some(dog),cat))、(3,(Some(dog),gnu))、(3,(Some(dog),bee))、(3,(Some(rat)、
(3,(Some(rat),cat), (3,(Some(rat),gnu)), (3,(Some(rat),bee)), (4,(None,wo!f))、
(4,(None,bear)))

NO.45 正しいテキスト
問題シナリオ 27 ：以下の情報を含むファイルが提出された場合、情報を収集するためのほぼリアルタイムのソリューションを実装する必要があります。
データ
echo "IBM,100,20160104" >> /tmp/spooldir/bb/.bb.txt
echo "IBM,103,20160105" >> /tmp/spooldir/bb/.bb.txt
mv /tmp/spooldir/bb/.bb.txt /tmp/spooldir/bb/bb.txt
数分後
echo "IBM,100.2,20160104" >> /tmp/spooldir/dr/.dr.txt
echo "IBM,103.1,20160105" >> /tmp/spooldir/dr/.dr.txt
mv /tmp/spooldir/dr/.dr.txt /tmp/spooldir/dr/dr.txt
必要条件
以下のディレクトリが指定されています（ない場合は作成してください）/tmp/spooldir .
BloomBergから株価を取得するための金銭的なサブスクリプションがあります。
ロイターとftpを使って、それぞれのftpサイトから新しいファイルを1時間ごとに/tmp/spooldir/bbと/tmp/spooldir/drというディレクトリにダウンロードする。
このディレクトリにコミットされたファイルが、hdfsの
/tmp/flume/financeを単一ディレクトリに置く。
flume7.confという名前のflume設定ファイルを書き、それを使って、以下のプロパティを追加してhdfsにデータをロードする。
1 .スプール /tmp/spooldir/bb と /tmp/spooldir/dr
2 .hdfsのファイルプレフィックスはイベントでなければならない
3 .ファイルの接尾辞は .log でなければならない
4 .ファイルがコミットされておらず、使用中である場合は、プレフィックスとして_を付ける必要があります。
5 .データはテキストとして hdfs に書き込まれる。

NO.46 正しいテキスト
問題シナリオ21：あなたは、以下のようなログ生成サービスを与えられている。
startjogs (連続ログを生成します)
tailjogs (どのようなログが生成されているか確認できます)
stopjogs（ログサービスを停止します）
上記のサービスを使用してログが生成されるパス：/opt/gen_logs/logs/access.log
ここで、flumel.confという名前のflume設定ファイルを書き、その設定ファイルを使って、flumelというディレクトリのHDFSファイルシステムにログをダンプする。Flumeチャンネルは以下のプロパティも持つ必要がある。100メッセージごとにコミットされ、耐久性がなく高速なチャネルを使用し、最大1000イベントを保持できること。
解決策：
ステップ1：ソース、シンク、チャンネルに以下のコンフィギュレーションを設定し、フルーム・コンフィギュレーション・ファイルを作成する。
1TP5ソース、シンク、チャネル、エージェントを定義します、
エージェント1 .ソース = ソース1
エージェント1 .sinks = sink1
agent1.channels = channel1
# ソース1の説明/構成
agent1 .sources.source1.type = exec
agent1.sources.source1.command = tail -F /opt/gen logs/logs/access.log
## sinklを記述する。
Agentl .sinks.sinkl.channel = メモリー・チャンネル
agentl .sinks.sinkl .type = hdfs
agentl .sinks.sink1.hdfs.path = flumel
agentl .sinks.sinkl.hdfs.fileType = データストリーム
#次に、チャンネル・プロパティを定義する必要がある。
agent1.channels.channel1.type = メモリ
agent1.channels.channell.capacity = 1000
agent1.channels.channell.transactionCapacity = 100
# ソースとシンクをチャンネルにバインドする
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1
ステップ2：以下のコマンドを実行すると、この設定ファイルを使用してhdfsにデータを追加する。
startjogsを使用してログサービスを開始する。
フルームサービスを開始する：
flume-ng agent -conf /home/cloudera/flumeconf -conf-file
/home/cloudera/flumeconf/flumel.conf-Dflume.root.logger=DEBUG,INFO,console
数分待ってからログサービスを停止する。
ストップ・ログ

NO.47 正しいテキスト
問題シナリオ 31 ：次の2つのファイルがある
1 .Content.txt：スペースで区切られた単語を含む巨大なテキストファイル。
2 .Remove.txt：このファイルで指定されたすべての単語を無視/フィルタリングします (カンマ区切り)。
Content.txtファイルを読み込み、RDDとしてロードし、ブロードキャスト変数（Remove.txtから単語のRDDとしてロードされる）からすべての単語を削除するSparkプログラムを書く。
そして各単語の出現回数をカウントし、テキストファイルとしてHDFSに保存する。
コンテンツ.txt
こんにちは、ABCTech.comです。
こちらTechABY.com
Apache Sparkトレーニング
スパーク・ラーニング・セッション
スパークはMapReduceより速い
削除.txt
ハロー、これは

NO.48 正しいテキスト
問題シナリオ95 ：Yarn上でSparkアプリケーションを各エグゼキューターで実行する。
最大ヒープ・サイズは512MB、各エグゼキュータに割り当てるプロセッサ・コア数は1、メイン・アプリケーションは入力引数V1として次の3つの値を必要とした。
V2 V3
XXX、YYY、ZZZを置き換えてください。
./bin/spark-submit -class com.hadoopexam.MyTask -master yarn-cluster-num-executors 3
-driver-memory 512m XXX YYY lib/hadoopexam.jarZZZ

49位 正しいテキスト
問題シナリオ19 : 以下のmysqlデータベースの詳細とその他の情報が与えられている。
ユーザー=retail_dba
パスワード=cloudera
データベース=retail_db
jdbcURL=jdbc:mysql://クイックスタート:3306/retail_db
次に、以下の活動を行う。
1.departments テーブルを mysql から hdfs にテキストファイルとして departments_text ディレクトリにインポートする。
2.departments テーブルを mysql から hdfs に sequncefile として departments_sequence ディレクトリにインポートする。
3.departments テーブルを mysql から hdfs に avro ファイルとして departments avro ディレクトリにインポートする。
4.departmentsテーブルをmysqlからhdfsにparquetファイルとしてdepartments_parquetディレクトリにインポートする。

NO.50 正しいテキスト
問題のシナリオ1：
MySQLのDBは次のような内容で提供されています。
ユーザー=retail_dba
パスワード=cloudera
データベース=retail_db
テーブル=retail_db.categories
jdbcURL=jdbc:mysql://クイックスタート:3306/retail_db
以下の活動をお願いします。
1 .MySQL DBに接続し、テーブルの内容を確認する。
2 .ディレクトリ名を指定せずに、"retaildb.categories "テーブルをhdfsにコピーする。
3 ."retaildb.categories "テーブルをhdfsの "categories_target "ディレクトリにコピーする。
4 ."retaildb.categories "テーブルをhdfsにコピーする。
「categories_warehouse」。