blog

Sparkクラスタのデプロイ

この記事では、仮想マシン環境にSparkクラスタをデプロイする方法を紹介します。クラスタ上にHadoop2.2が正常にデプロイされており、ソフトウェア環境は64-bit LTSです。...

Oct 31, 2015 · 2 min. read
シェア

1.設置環境の簡単な説明

ハードウェア環境:クアッドコアCPU、4G RAM、500Gハードドライブ搭載の仮想マシン2台。

ソフトウェア環境:64-bit Ubuntu 12.04 LTS、ホスト名はspark1とspark2、IPアドレスは1**.1**。**.***/***Hadoop2.2はクラスタ上に正常にデプロイされており、詳細なデプロイプロセスは別のドキュメントYarnのインストールとデプロイに記載されています。

2.Scala2.9.3のインストール

1) /home/test/spark ディレクトリ配下で wget http://を実行します。 -.////-....gzコマンドでscalaのバイナリパッケージをダウンロードします。

2) ダウンロードしたファイルを解凍し、環境変数を設定します:

export SCALA_HOME=/home/test/spark/scala/scala-2.9.3 
export PATH=$SCALA_HOME/bin 

3) source /etc/profileを実行して、環境変数の変更を即座に有効にします。同じ操作をspark2でも行い、scalaをインストールします。

3.コンパイルしたsparkファイルをダウンロードします。---ダウンロード後、解凍してください。

4.conf/spark-env.sh環境変数に以下を追加して設定します:

export SCALA_HOME=/home/test/spark/scala/scala-2.9.3 

5.etc/profileにSPARK_EXAMPLES_JARとspark環境変数を設定します:

export SPRAK_EXAMPLES_JAR=/home/test/spark/spark-0.8.1-incubating-bin-hadoop2/examples/target/scala-2.9.3/spark-examples_2.9.3-assembly-0.8.1-incubating.jar 
export SPARK_HOME=/home/test/spark/spark-0.8.1-incubating-bin-hadoop2 
export PATH=$SPARK_HOME/bin 

6./conf/slavesファイルに以下を追加して修正します:

spark1 
spark2 

7.scpコマンドを使用して、上記のファイルを同じパスのsparkノードにコピーします scp -rspark-0.8.1-incubating-bin-hadoop2 test@spark2:/home/test/spark:

8.spark1上でsparkクラスタを起動し、プロセスが正常に起動したか確認します。以下のマスターとワーカーが正常に起動しました。

ブラウザでhttp://1** を開いてください。**.**.***以下のように表示されます:



クラスタ内の2つのスレーブノードが正常に起動したことがわかります。

ウェブ・インターフェースでは、以下のように実行したジョブを見ることができます:

Read next

効率的な人々のための必需品:10 Chromeの拡張機能

Google Chromeは、その高速なコア、シンプルなインターフェイス、Googleアカウントとの深い統合のおかげで、多くのファンを魅了してきました。ここでは、ウェブサイトBUSINESS INSIDERが選んだ、効率的な人々の必需品である10のChrome拡張機能を紹介します。

Oct 30, 2015 · 4 min read