Construya un clúster de flink usando Docker

Referencia: /article/765741

Configuración de inicio de sesión de contraseña del clúster de Linux, referencia de contraseña bidireccional:

/2020/04/linux_host/? SPM = a2c6h . 12873639 . 0 . yum -y install OpenSSH-client

2 Inicie el servicio sshd

$ /usr/sbin/sshd -D

3. /p> p>

yum -y contraseña de instalación

Contraseña raíz

4. Flinkmaster y flinkworker generan un par de claves.

$ ssh-keygen -t rsa

Después de eso, sigue las indicaciones y entra. ssh, verá dos archivos: id_rsa (clave privada) e id_rsa.pub (clave pública).

6. Copie el archivo de clave pública a los otros dos hosts y use el comando ssh-copy-id.

$ ssh-copia-id -i ~/. ssh/id_ rsa.pub root@flinkworker

7. Verificar inicio de sesión

ssh root@flinkworker

Si no se le solicita una contraseña, se realizará correctamente. .

1. Modificar el archivo de configuración

$ vim. /conf/flink-conf.yaml

Modifique los siguientes parámetros:

administrador de trabajos. Dirección RPC: flink master

jobmanager.rpc.port: 6123.

tamaño del montón de trabajos: 1024 m

tamaño de proceso del administrador de tareas: 1568 m

número de ranuras de tareas. p>Paralelismo. Predeterminado: 2 lt/pre gt;

$vim. /conf/masters

Revisado a:

flinkmaster:8081

$ vim. /conf/worker

Revisado a:

Frinkmaster

2 .Copiar a otras máquinas

scp-r/usr/flink-1.12.2/root @ flink trabajador:/usr/

3. Iniciar el clúster

Ejecutado en Flinxter.

. /bin/start-cluster.sh

4. Visite http://localhost:8081/

2 administradores de tareas, 1 administrador de trabajos es flinkmaster.