1: スパークのコンパイル
SparkはSBTまたはMavenでコンパイルすることができ、公式のバイナリインストールファイルはMavenでコンパイルされます、YARNクラスタ上で実行したい場合は、SBTでコンパイルする必要があり、YARNクライアント側の使用のjarパッケージを生成します。jarパッケージのYARNクライアント側の使用をコンパイルして生成するために、ソースコード上で直接SBTを使用するのが最善です。筆者のテストプロセスでは、MavenがコンパイルしたSpark SBTの2番目のコンパイルで、エラーが発生した場合の例の実行部分で。
A: Mavenのコンパイル
私は環境がHadoop2.2.0をコンパイルされている使用するので、私はMavenのコンパイルプロセスは、スパークは、基盤となるソフトウェアのいくつかで使用されるHadoop2.2.0をコンパイルする必要はありませんことを確認していません。ネットワークのダウンロードに加えて、強力で、常に中止され、その後、再コンパイルし、時間のほぼ1日を費やしていない、コンパイルプロセスは非常にスムーズです。
mavenがコンパイルされると、まず最初にMavenが使用するメモリ項目の設定を行います：
それからMavenでコンパイルします：
