> 文章列表 > 大数据技术——搭建spark集群出现的问题

大数据技术——搭建spark集群出现的问题

大数据技术——搭建spark集群出现的问题

Master启动slave20220802080104时出现的问题:

  • ssh免密登录出现的问题:

报错“WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED”

 

解决方法

1)通过 ssh-keygen 密钥工具更新

  ssh-keygen -f ~/.ssh/known_hosts -R 远程主机IP地址

2)手动清除 ~/.ssh/known_hosts 里面报错主机的公钥信息

vi ~/.ssh/known_hosts

 

 

解决方法

修改spark权限为hadoop

sudo chown -R hadoop:hadoop ./spark/

 

  • Master启动slave20220802080104时提示JAVA_HOME is not set

 

解决方法

该错误是因为spark_env.sh文件中JAVA_HOME环境没有配置

spark-env.sh 中添加jdk 路径
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
如下:

 

启动成功