大数据技术——搭建spark集群出现的问题
Master启动slave20220802080104时出现的问题:
-
ssh免密登录出现的问题:
报错“WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED”
解决方法:
1)通过 ssh-keygen 密钥工具更新
ssh-keygen -f ~/.ssh/known_hosts -R 远程主机IP地址
2)手动清除 ~/.ssh/known_hosts 里面报错主机的公钥信息
vi ~/.ssh/known_hosts
-
出现权限问题
解决方法:
修改spark权限为hadoop
sudo chown -R hadoop:hadoop ./spark/
-
Master启动slave20220802080104时提示JAVA_HOME is not set
解决方法:
该错误是因为spark_env.sh文件中JAVA_HOME环境没有配置
spark-env.sh 中添加jdk 路径
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
如下:
启动成功