一、flink

1.解压

tar -zxvf flink-1.14.0-bin-scala_2.12.tgz -C /opt/module
mv flink-1.14.0 flink

2.修改配置文件

(1)修改flink-conf.yaml配置文件

(2)修改masters配置文件

(3)修改workers配置文件

cd /opt/module/flink/conf
 
vim flink-conf.yaml
jobmanager.rpc.address: node1            ##指向node1节点
jobmanager.rpc.port: 6123
jobmanager.memory.process.size: 1024m        ##定义允许JVM在每个节点上分配的最大主内存量
taskmanager.memory.process.size: 1024m
taskmanager.numberOfTaskSlots: 1
parallelism.default: 1
jobmanager.execution.failover-strategy: region
web.upload.dir: /software/flink-1.14.0/jars       #不能设置为HDFS
env.ssh.opts: -p 22                          ##指定传输端口,默认22时可不设置
 
vim masters
node1:8081
 
vim workers
node1
node2
node3

3.配置环境变量

vim /etc/profile.d/my_env.sh
 
#flink环境变量
export FLINK=/opt/module/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CLASSPATH='hadoop classpath'
export HADOOP_CONF_DIR=/opt/module/hadoop-3.1.4/etc/hadoop
 
生效环境变量
source /etc/profile

4.传输

scp -r /opt/module/flink node2:/opt/module/
scp -r /opt/module/flink node3:/opt/module/
scp -r /etc/profile.d/my_env.sh node2:/etc/profile.d/
scp -r /etc/profile.d/my_env.sh node3:/etc/profile.d/

5.启动flink,查看节点进程

cd /opt/module/flink/bin
./start-cluster.sh
 
只有主节点有StandaloneSessionClusterEntrypoint

6.另

配置flink时,conf下的master端口无需指定端口号,默认使用端口6123

注意:spark worker与flink默认端口为8081,存在端口冲突问题,需要将flink的端口手动改为8082

启动flink后出现这两个进程,视为正确

flink安装成功

二、clickhouse

1.安装clickhouse

(1)上传压缩包

(2)解压压缩包到modul目录下面,解压一个压缩包执行一次命令

tar -zxvf clickhouse-common-static-21.9.4.35.tgz -C  /opt/module/
../module/clickhouse-common-static-21.9.4.35/install/doinst.sh
 
tar -zxvf clickhouse-common-static-dbg-21.9.4.35.tgz -C  /opt/module/
../module/clickhouse-common-static-dbg-21.9.4.35/install/doinst.sh
 
tar -zxvf clickhouse-server-21.9.4.35.tgz -C  /opt/module/
../module/clickhouse-server-21.9.4.35/install/doinst.sh
 
tar -zxvf clickhouse-client-21.9.4.35.tgz -C  /opt/module/
../module/clickhouse-client-21.9.4.35/install/doinst.sh

执行完这个命令 出现这个后直接回车

(3)启动clinkhouse并查看clinkhouse运行的状态

启动
systemctl start clickhouse-server.service
查看
systemctl status clickhouse-server.service

显示 active 就说明安装成功了

2.配置远程访问

(1)打开文件夹

vi /etc/clickhouse-server/config.xml

(2)解除注释

<listen_host>0.0.0.0</listen_host>

(3)将文件里的9000都改为9001

:wq!退出

(4)重启并再次查看clinkhouse运行状态

systemctl restart clickhouse-server.service

systemctl status clickhouse-server.service

clickhouse安装成功

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐