hadoop下载搭建大数据环境hadoop的步骤大数据hadoop安装




hadoop下载搭建大数据环境hadoop的步骤大数据hadoop安装

2022-07-21 2:12:06 网络知识 官方管理员

备份并替换系统的repo文件

cpCentos-7.repo/etc/yum.repos.d/cd/etc/yum.repos.d/mvCentOS-Base.repoCentOS-Base.repo.bakmvCentos-7.repoCentOS-Base.repo

执行yum源更新命令

yumcleanallyummakecacheyumupdate-y

安装常用软件

yuminstall-yopenssh-servervimgccgcc-cglibc-headersbzip2-devellzo-develcurlwgetopenssh-clientszlib-develautoconfautomakecmakelibtoolopenssl-develfuse-develsnappy-develtelnetunzipzipnet-tools.x86_64firewalldsystemd

关闭防火墙

查看防火墙状态:firewall-cmd--state

关闭防火墙:systemctlstopfirewalld.service

禁止防火墙开机启动:systemctldisablefirewalld.service

查看服务是否开机启动:systemctlis-enabledfirewalld.service

关闭SELinux

查看关闭状态

/usr/sbin/sestatus-v

关闭方法

vim/etc/selinux/config

把文件里的SELINUX=disabled

hadoop下载(搭建大数据环境hadoop的步骤)(1)

重启服务器reboot

启动之后用/usr/sbin/sestatus-v查看selinux的修改状态

安装JDK

解压安装完成后,修改/etc/profile

hadoop下载(搭建大数据环境hadoop的步骤)(2)

#使修改生效source/etc/profile#查看系统变量值echo$PATH#检查JDK配置情况java-version

hadoop下载(搭建大数据环境hadoop的步骤)(3)

jdk1.8已成功安装

配置SSH密钥,免密登录

#创建.ssh目录mkdir~/.ssh#生成ssh公私钥ssh-keygen-trsa-f~/.ssh/id_rsa-P''#输出公钥文件内容并且重新输入到~/.ssh/authorized_keys文件中cat~/.ssh/id_rsa.pub>~/.ssh/authorized_keys#给~/.ssh文件加上700权限chmod700~/.ssh#给~/.ssh/authorized_keys加上600权限chmod600~/.ssh/authorized_keys

配置hosts文件

hadoop下载(搭建大数据环境hadoop的步骤)(4)

下载并安装Hadoop

1.下载地址:
https://mirrors.bfsu.edu.cn/apache/hadoop/common/

我本机安装的是hadoop2.10.1版本

hadoop下载(搭建大数据环境hadoop的步骤)(5)

2.解压tar.gztar-zxvfhadoop-2.10.1.tar.gz

我本地的安装路径是:/etc/hadoop-2.10.1/

3.配置hadoop

修改
/etc/hadoop-2.10.1/etc/hadoop/hadoop-env.sh文件的java环境,将java安装路径加进去:

hadoop下载(搭建大数据环境hadoop的步骤)(6)

配置hadoop环境变量

vim/etc/profile

hadoop下载(搭建大数据环境hadoop的步骤)(7)

使之生效:source/etc/profile

配置
/etc/hadoop-2.10.1/etc/hadoop/core-site.xml

hadoop下载(搭建大数据环境hadoop的步骤)(8)

core-site.xml

配置
/etc/hadoop-2.10.1/etc/hadoop/hdfs-site.xml文件

分配配置dfs.name.dir、dfs.data.dir、dfs.replication

hadoop下载(搭建大数据环境hadoop的步骤)(9)

配置yarn:

把mapred-site.xml.template重命名为mapred-site.xml:

mvmapred-site.xml.templatemapred-site.xml

hadoop下载(搭建大数据环境hadoop的步骤)(10)

mapred-site.xml

配置yarn.site.xml:vim
/etc/hadoop-2.10.1/etc/hadoop/yarn.site.xml

端口号默认8088,我修改为8099

hadoop下载(搭建大数据环境hadoop的步骤)(11)

yarn.site.xml

hdfs的启动与停止

第一次启动hdfs需要格式化,之后启动就不需要

cd/etc/hadoop-2.10.1

./bin/hdfsnamenode-format

启动命令:./sbin/start-dfs.sh

停止命令:./sbin/stop-dfs.sh

hadoop下载(搭建大数据环境hadoop的步骤)(12)

访问:http://localhost:50070

hadoop下载(搭建大数据环境hadoop的步骤)(13)

yarn的启动与停止

启动:./sbin/start-yarn.sh

停止:./sbin/stop-yarn.sh

hadoop下载(搭建大数据环境hadoop的步骤)(14)

访问8099端口:我本地虚拟机的ip地址是192.168.78.128

hadoop下载(搭建大数据环境hadoop的步骤)(15)

用jps命令查看启动了什么进程

hadoop下载(搭建大数据环境hadoop的步骤)(16)

发表评论:

最近发表
网站分类
标签列表