blog

YARN上で動作するコンピューティング・フレームワーク

YARNが成熟し安定するにつれ、YARNを中心としたエコシステムが形成され、あらゆるコンピューティング関連のフレームワークが単一のYARNクラスタで実行できるようになるでしょう。この方向の技術と開発動...

Sep 25, 2016 · 3 min. read
シェア

YARNが成熟し安定するにつれて、YARNを中心としたエコシステムが形成されるでしょう。このような方向で技術や開発の動向を見守るために、本ブログでは「YARNで動くフレームワーク」というコラムを開設していますので、ぜひご一読ください。本コラムの***記事として、このモデルの利点と、YARN上で動作する比較的成熟したコンピューティング・フレームワークを紹介します。

1.YARN上でフレームワークを実行するメリット

YARNの成熟と安定性により、さまざまなアプリケーションがYARNクラスタ内で実行され、統一されたリソース管理とスケジューリングが可能になり、次のような変化がもたらされます:

アプリケーションの展開が容易に

管理者はYARNのサービスをデプロイするだけでよく、もはやあらゆる種類のアプリケーションフレームワークは、デプロイを実装する必要なく、独自のサービスとともに提供されるのではなく、様々なノードに分散されたYARNが提供する分散キャッシュメカニズムによって分散されたクライアントサイドのプログラミングライブラリになっています;

サービス展開が容易に

ユーザーは、アプリケーションを実行することができますStormサービスなどのサービスのセットをデプロイする限り、jarパッケージのコピーやその他の作業、完全にYARNによって自動化され、デプロイが完了すると、通常のStormクラスタの使用のようなユーザーは、Storm-On-YARNとして

複数のバージョンでクラスタリソースを共有

YARNはリソースの管理とスケジューリングのみを担当し、どのようなアプリケーションやサービスをYARN上で実行するかは完全にユーザの判断に任されているため、ユーザはYARN上で同じタイプのサービスの複数のインスタンスを実行することができます。例えば、異なるタイプのアプリケーションに対して複数のStormインスタンスを実行することができ、YARNはこれらのインスタンスに対して分離メカニズムを提供することができます。YARNはこれらのインスタンスに分離メカニズムを提供することができます。 YARNを使えば、ユーザーはリソースの分離を考慮することなく、新しいフレームワークやアプリケーションを開発することができます。

資源の回復力管理

オフライン・コンピューティング、リアルタイム・コンピューティング、DAGコンピューティングなど、複数のタイプのアプリケーションがYARNクラスタで実行されるため、YARNは異なるタイプのアプリケーションの圧力状況に応じて対応するリソースの使用量を調整し、リソースの弾力性管理を実現します。

2.YARNで現在利用可能なコンピューティングフレームワーク

MapReduce-On-YARN:YARN上のオフライン・コンピューティング。この実装はYARNディストリビューションに付属しており、YARNがMRv1ランタイムでより安定するにつれて廃止されます;

Spark-On-YARN: YARN上でのインメモリ・コンピューティング;

Storm-On-YARN: YARN上でのリアルタイム/ストリーミング・コンピューティング;

Tez-On-YARN: YARN上でのDAGコンピューティング

3.その他の関連記事

同じような記事を何本も書いていますので、興味のある読者の方は以下の記事をお読みください:

ストーム・オン・ヤーン:-/--rn/

Tez YARNについて:-/ - ss/.

次世代Hadoop YARNによるエラスティック・コンピュート・プラットフォームの構築.

問題領域のトリガーからHadoopエコシステムを理解:-/----ed/.

グーグルのリソース管理システムの解析 Omega:-/-ga/

オメガ/トルカ/メゾス/ヤーン・クラスのシステムの紹介:-/----na//.

複数のクラスターの下での資源共有プログラムの紹介:-/ - es/

Read next

ファーウェイ:SAPと提携してICT市場を拡大する

ファーウェイは最近、SAPとの提携を再び発表し、複数の製品および分野にわたる包括的な協力を通じて、提携とパートナーシップの拡大・深化を図っています。

Sep 24, 2016 · 2 min read