FlinkクラスタにAlinkをデプロイするには、3つのJarパッケージをデプロイする必要があります。 アプローチはFlinkクラスタ環境によって多少異なりますが、この記事ではスタンドアロンクラスタとKubernetesクラスタに焦点を当てます。
クラスタ展開のためのJarパッケージの取得
AlinkはJavaとPythonの両方でサブミットできるので、関連するjarパッケージをクラスタデプロイメントと一緒にデプロイすることをお勧めします。Alinkはクラスタデプロイメントのjarパッケージを個別にダウンロードすることはできませんが、必要なjarパッケージはPyAlinkで使用されるものと同じです。そのため、PyAlinkのインストールwhlパッケージから取得できます。以下はその方法です:
PyAlink 1を解凍します。.10 whlパッケージ
2.PyAlink 1.10のwhlパッケージを解凍します。
pyalink/libの下にクラスタデプロイに必要な3つのjarパッケージがあります。
スタンドアロンクラスターへのデプロイ
3つのJarパッケージをFlinkディレクトリにコピーし、Flinkクラスタを起動します。
Flinkの設定にclassloaderを追加します。.resolve-order: parent-first
flink-[バージョン番号]ディレクトリでbin/start-cluster.shを実行してクラスタを起動します。
bin/taskmanager.sh start DockerFileにTM
ci.apache.org/projects/fl...
Kubernetesクラスタへのデプロイ
先ほど取得した3つのJarパッケージをDocker Imageに配置し、DockerFileに以下の3つのコマンドを追加してImageをパッケージ化します。
ADD alink_connector_all-1.1-SNAPSHOT.jar $FLINK_LIB_DIR/alink_connector_all-1.1-SNAPSHOT.jar
ADD alink_core_flink-1.10_2.11-1.1-SNAPSHOT.jar $FLINK_LIB_DIR/alink_core_flink-1.10_2.11-1.1-SNAPSHOT.jar
ADD alink_python-1.1-SNAPSHOT-shaded.jar $FLINK_LIB_DIR/ alink_python-1.1-SNAPSHOT-shaded.jar
ci.apache.org/projects/fl...