【Ubuntu】Spark 伪分布式安装

【Ubuntu】Spark 伪分布式安装

文章目录

​​Ubuntu下的Spark 伪分布式安装​​

​​一、安装Scala​​​​二、安装Spark​​​​三、配置Spark文件​​​​四、测试​​

Ubuntu下的Spark 伪分布式安装

一、安装Scala

配置环境变量:​​vi /etc/profile​​

export SCALA_HOME=/home/scalaexport PATH=$PATH:$SCALA_HOME/bin

​​返回顶部​​

二、安装Spark

配置环境变量:​​vi /etc/profile​​

export SPARK_HOME=/home/sparkexport PATH=$PATH:$SPARK_HOME/bin

​​返回顶部​​

三、配置Spark文件

# 环境变量配置export JAVA_HOME=/home/javaexport HADOOP_HOME=/home/hadoopexport HADOOPCONF_DIR=/home/hadoop/etc/hadoopexport SCALA_HOME=/home/scalaexport SPARK_MASTER_IP=192.168.64.100export SPARK_MASTER_PORT=7077

​​返回顶部​​

四、测试

测试之前先启动hadoop：​​/home/hadoop/sbin/start-all.sh​​​

启动spark:​​/home/spark/sbin/start-all.sh​​,包含master进程和worker进程

再登陆 ​​测试：

状态为Active，成功！

参考大佬博客！凸(｀0´)凸 基友高

​​返回顶部​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。