【Ubuntu】Hadoop 伪分布式安装

【Ubuntu】Hadoop 伪分布式安装

文章目录

​​一、JDK的安装​​​​二、Hadoop 安装​​​​三、Hadoop 配置​​​​四、启动与测试​​

一、JDK的安装

解压至home目录:​​tar -zxvf jdk-8u281-linux-x64.tar.gz -C /home/​​​

重命名:​​mv jdk1.8.0_161/ java​​​

配置环境变量:​​vi /etc/profile​​

export JAVA_HOME=/home/javaexport PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

使环境变量生效 ​​source /etc/profile​​​

测试是否安装成功:​​java -version​​​

​​返回顶部​​

二、Hadoop 安装

将hadoop安装包解压至指定目录 ​​tar -zxvf hadoop-2.7.6.tar.gz -C /home/​​​

重命名:​​mv hadoop-2.7.6/ hadoop​​​

配置环境变量

export HADOOP_HOME=/home/hadoopexport PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

使环境变量生效 ​​source /etc/profile​​​

测试是否安装成功:​​hadoop version​​​

​​返回顶部​​

三、Hadoop 配置

在hadoop根目录下创建几个文件夹

mkdir tmp 用来指定使用hadoop时产生文件的存放目录mkdir -p hdfs/name 指定hdfs中namenode的存储位置mkdir

然后进入​​/home/hadoop/ets/hadoop/​​目录下进行配置文件的修改：

hadoop运行需要​​jre环境​​，可以直接在/etc/profile中配置，也可以在​​hadoop-env.sh​​和​​yarn-env.sh​​文件中进行单独配置配置，在hadoop-env.sh和yarn-env.sh中可以对JVM虚拟机相关参数进行设置：

修改core-site.xml

fs.defaultFS hdfs://master:9000 // master改成虚拟机系统的ip hadoop.tmp.dir /home/hadoop/tmp

修改hdfs-site.xml

dfs.replication 1 dfs.namenode.name.dir /home/hadoop/hdfs/name dfs.datanode.name.dir /home/hadoop/hdfs/data

修改mapred-site.xml

mapreduce.framework.name yarn

修改yarn-site.xml

yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname master

​​返回顶部​​

四、启动与测试

初始化 ​​namenode:bin/hadoop namenode -format​​​

开启节点:​​/home/hadoop/sbin/start-all.sh​​​

查看进程:​​jps​​​

​​http://192.168.64.100:8088/cluster​​

​​http://192.168.64.100:50070/​​

​​返回顶部​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。