Hadoop配置
-
静态IP
vi /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.10.11
NETMASK=255.255.255.0
GATEWAY=192.168.138.2
DNS1=114.114.114.114
DNS2=8.8.8.8
重启网络服务
service network restart
-
修改主机名
hostnamectl set-hostname ‘hadoop01’
-
安装相关软件
安装下载库
yum install -y epel-release
如果是最小化安装,还需安装以下工具:
net-tool:工具包集合,包含ifconfig等命令
yum install -y net-tools
vim:编辑器(可选)
yum install -y vim
-
卸载原生 JDK,最小化安装的无需操作。
rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
-
关闭防火墙
临时关闭防火墙
systemctl stop firewalld
永久关闭防火墙
systemctl disable firewalld
-
克隆,记得关机哈,复制3台
-
修改 hosts 文件,提前添加映射,注意保存退出。(三台都要设置)
vi /etc/hosts
-
免密登录设置
生成公钥和私钥 (三台都要设置)
ssh-keygen,3个电脑都设置
把密码互相告诉对方(三台都要设置)
ssh-copy-id jidian01
ssh-copy-id jidian02
ssh-copy-id jidian03
-
创建softwares文件夹
mkdir softwares
-
把JDK和HADOOPA放在softwares文件夹
jdk-8u212-linux-x64.tar.gz
hadoop-3.1.3.tar.gz
-
时间同步
crontab -e(三个都要做)
-
解压jdk 和hadoop
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /usr/local/
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local/
-
配置环境变量
vim /etc/profile
-
生效环境变量
source /etc/profile
-
配置Hadoop
core-site.xml
hdfs-site.xml
hadoop-env.sh
-
配置workers
vim workers
-
分发
-
格式化集群
hdfs namenode -format
-
启动集群
start-dfs.sh
-
配置本地host
C:\\Windows\\System32\\drivers\\etc