blog

AlinkをFlinkクラスタにデプロイするには?

Flinkクラスタ上にAlinkをデプロイするには、3つのJarパッケージをデプロイする必要があります。 Flinkクラスタ環境が異なると、アプローチが少し異なるので、この記事ではクラスタとクラスタリ...

Sep 13, 2020 · 2 min. read
シェア

FlinkクラスタにAlinkをデプロイするには、3つのJarパッケージをデプロイする必要があります。 アプローチはFlinkクラスタ環境によって多少異なりますが、この記事ではスタンドアロンクラスタとKubernetesクラスタに焦点を当てます。

クラスタ展開のためのJarパッケージの取得

AlinkはJavaとPythonの両方でサブミットできるので、関連するjarパッケージをクラスタデプロイメントと一緒にデプロイすることをお勧めします。Alinkはクラスタデプロイメントのjarパッケージを個別にダウンロードすることはできませんが、必要なjarパッケージはPyAlinkで使用されるものと同じです。そのため、PyAlinkのインストールwhlパッケージから取得できます。以下はその方法です:

PyAlink 1を解凍します。.10 whlパッケージ

github.com/Ali...

2.PyAlink 1.10のwhlパッケージを解凍します。

pyalink/libの下にクラスタデプロイに必要な3つのjarパッケージがあります。

スタンドアロンクラスターへのデプロイ

3つのJarパッケージをFlinkディレクトリにコピーし、Flinkクラスタを起動します。

  • Flinkの設定にclassloaderを追加します。.resolve-order: parent-first

  • flink-[バージョン番号]ディレクトリでbin/start-cluster.shを実行してクラスタを起動します。

  • bin/taskmanager.sh start DockerFileにTM

ci.apache.org/projects/fl...

Kubernetesクラスタへのデプロイ

先ほど取得した3つのJarパッケージをDocker Imageに配置し、DockerFileに以下の3つのコマンドを追加してImageをパッケージ化します。

ADD alink_connector_all-1.1-SNAPSHOT.jar $FLINK_LIB_DIR/alink_connector_all-1.1-SNAPSHOT.jar
ADD alink_core_flink-1.10_2.11-1.1-SNAPSHOT.jar $FLINK_LIB_DIR/alink_core_flink-1.10_2.11-1.1-SNAPSHOT.jar
ADD alink_python-1.1-SNAPSHOT-shaded.jar $FLINK_LIB_DIR/ alink_python-1.1-SNAPSHOT-shaded.jar

ci.apache.org/projects/fl...

Read next

比較プログラミング

ソースコードの前に秘密はない」ということわざは、部分的にしか真実ではありません。目の前に偉大な文学作品があるようなもので、すべての単語を読むことができても、その機微を見抜くことはできないかもしれません。そのためには通常、優れた読者であるか、優れた作家である必要があります。プログラマーとして、ソースコードに含まれる秘密を察知する能力は、プログラミングの能力、プロジェクトの背景に関する知識......に依存します。

Sep 13, 2020 · 2 min read