【CentOS】安装 Spark 组件（完全分布式）

【CentOS】安装 Spark 组件（完全分布式）

文章目录

​​1、解压 Spark 安装包​​​​2、配置 spark 系统环境​​​​3、配置 集群节点​​​​4、配置 spark-env.sh​​​​5、分发 spark​​​​6、spark 集群启动​​

准备环境：Hadoop 完全分布式集群环境Scala 安装包：​​安装包：​​的安装参见本人博文：【CentOS】scala安装Spark 基础模式参见本人博文：【CentOS】Spark 运行环境（Local、Standalone）

1、解压 Spark 安装包

上传本地的 spark 安装包到虚机上：

解压安装后重命名：

[root@server download]# tar -zxvf spark-2.4.2-bin-hadoop2.6.tgz -C /usr/local/src/[root@server download]# cd /usr/local/src/[root@server download]# ll

​​返回顶部​​

2、配置 spark 系统环境

打开 ​​/etc/profile​​ 添加如下内容配置spark环境：

# set spark environmentexport SPARK_HOME=/usr/local/src/sparkexport PATH=$PATH:$SPARK_HOME/bin

配置完成后保存退出 ，​​source​​ 命令使其生效！

​​返回顶部​​

3、配置 集群节点

进入解压缩后路径的 ​​conf​​ 目录，修改 ​​slaves.template​​ 文件名为 ​​slaves​​，在其中删除 ​​localhost​​，并添加虚机的主机名（一行一个）：

# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this work for additional information regarding copyright ownership.# The ASF licenses this file to You under the Apache License, Version 2.0# (the "License"); you may not use this file except in compliance with# the License. You may obtain a copy of the License at## Unless required by applicable law or agreed to in writing, software# distributed under the License is distributed on an "AS IS" BASIS,# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.# See the License for the specific language governing permissions and# limitations under the License.## A Spark Worker will be started on each of the machines listed below.server # 此处可以省略server主节点的配置

​​返回顶部​​

4、配置 spark-env.sh

复制 ​​spark-env.sh.template​​ 文件名为 ​​spark-env.sh​​，添加 ​​JAVA_HOME​​ 环境变量和集群对应的 ​​master​​ 主节点，以及用到的 ​​hadoop​​ 对应配置：

# 环境配置export JAVA_HOME=/usr/local/src/javaexport SCALA_HOME=/usr/local/src/scalaexport HADOOP_HOME=/usr/local/src/hadoopexport HADOOP_CONF_DIR=/usr/local/src/hadoop/etc/hadoop# 主节点配置export SPARK_MASTER_HOST=serverexport SPARK_MASTER_IP=192.168.64.183export SPARK_MASTER_PORT=7077export SPARK_WORKER_MEMORY=1Gexport SPARK_EXECUTOR_CORES=2

​​返回顶部​​

5、分发 spark

将主节点的 spark 分发给各从节点虚机：

root@server sbin]# scp -r /usr/local/src/spark root@agent1:/usr/local/src/root@server sbin]# scp -r /usr/local/src/spark root@agent2:/usr/local/src/

分发完成后，各虚拟机配置环境，并使其生效！

6、spark 集群启动

首先启动 ​​hadoop集群​​，然后在主节点使用启动 ​​sbin/start-all.sh​​ 脚本进行启动，从节点便会跟着启动：

浏览器输入：​​，查看 Master 资源监控 Web UI 界面：

​​返回顶部​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。