大数据搭建

chunxi1

先电

发布于：2019年1月11日

次浏览

云主机创建

在平台 管理员 - 系统 - 云主机类型 创建云主机类型：

在 项目 - 计算 - 云主机 创建云主机：

为两台云主机分别绑定浮动IP (本文以 master:192.168.200.102, slave:192.168.200.103 为示例)

配置主机名

master节点

hostnamectl set-hostname master

slave节点

hostnamectl set-hostname slave

配置 hosts

双节点

vi /etc/hosts

注意：1.其中保持 ip 与在云主机绑定的 int 内网 ip 一致
2.主机名映射采用FQDN格式。

互相 ping 测试 hosts 文件联通性

master节点

ping slave.hadoop

slave节点

ping master.hadoop

修改 yum 源安装软件

采用 ftp 的方式获取 yum 仓库,在 controller节点 将 XianDian-BigData-v2.2.iso 挂载复制到 /opt/ambari 下

双节点

rm -rf /etc/yum.repos.d/*
vi /etc/yum.repos.d/ambari.repo

yum clean all
yum list

master节点

yum install httpd -y

从 controller节点 将 /opt/ambari 文件夹中 HDP-2.6.1.0 和 HDP-UTILS-1.1.0.21 两个文件夹拷贝到 master节点 /var/www/html 目录下。

controller节点

scp -r /opt/ambari/HDP-2.6.1.0/ 192.168.200.102:/var/www/html
scp -r /opt/ambari/HDP-UTILS-1.1.0.21/ 192.168.200.102:/var/www/html

开启httpd

master节点

systemctl start httpd
systemctl enable httpd
systemctl status httpd

安装ntp

master节点

yum install ntp -y
vi /etc/ntp.conf

注释以下四行：

server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst

添加以下两行：

server 127.127.1.0
fudge 127.127.1.0 stratum 10

开启ntpd

systemctl start ntpd
systemctl enable ntpd

slave节点

yum install ntpdate -y
systemctl enable ntpdate
ntpdate master.hadoop

禁用 Transparent Huge Pages

双节点

[root@master ~]# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never
[root@master ~]# echo never > /sys/kernel/mm/transparent_hugepage/enabled
[root@master ~]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@master ~]# cat /sys/kernel/mm/transparent_hugepage/enabled
always madvise [never]

安装 Java JDK

将 controller节点 的 jdk 安装包复制到 master 和 slave 的 /opt 下

controller节点

scp -r /opt/ambari/jdk-8u77-linux-x64.tar.gz 192.168.200.102://opt/
scp -r /opt/ambari/jdk-8u77-linux-x64.tar.gz 192.168.200.103://opt/

双节点

解压 jdk：

mkdir /usr/jdk64/
tar -zxvf /opt/jdk-8u77-linux-x64.tar.gz -C /usr/jdk64/

编辑环境变量：

vi /etc/profile

首行添加两行：

export JAVA_HOME=/usr/jdk64/jdk1.8.0_77/
export PATH=$JAVA_HOME/bin:$PATH

验证：

source /etc/profile
java -version

配置ambari-server

master节点

yum install ambari-server -y

安装 MariaDB 数据库

yum install mariadb mariadb-server mysql-connector-java -y
systemctl enable mariadb
systemctl start mariadb

配置 MariaDB

mysql_secure_installation

安全配置向导

Enter current password for root (enter for none):

Set root password? [Y/n] y                        # 是否设置root用户密码，输入y并回车或直接回车
New password:                                     # 设置root用户的密码
Re-enter new password:                            # 再次输入一遍
Password updated successfully!
Reloading privilege tables..
 ... Success!

Remove anonymous users? [Y/n] y                   # 是否删除匿名用户,生产环境建议删除
 ... Success!

Disallow root login remotely? [Y/n] n             # 是否禁止root远程登录
 ... skipping.

Remove test database and access to it? [Y/n] y    # 是否删除test数据库
 - Dropping test database...
 ... Success!
 - Removing privileges on test database...
 ... Success!

Reload privilege tables now? [Y/n] y              # 是否重新加载权限表
 ... Success!

Thanks for using MariaDB!

创建 ambari 数据库

mysql -uroot -pbigdata

在 mariadb 中执行以下操作

create database ambari;
grant all privileges on ambari.* to 'ambari'@'localhost' identified by 'bigdata';
grant all privileges on ambari.* to 'ambari'@'%' identified by 'bigdata';
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
quit;

安装配置ambari-server

master节点

vi /etc/profile

添加一行：

export buildNumber=2.6.0.0

安装 ambari-server

ambari-server setup

安装向导：

Customize user account for ambari-server daemon [y/n] (n)? n                    # 自定义ambari服务器后台程序的用户帐户

[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK
==============================================================================
Enter choice (1): 3                                                             # 输入选项

Path to JAVA_HOME: /usr/jdk64/jdk1.8.0_77/                                      # 输入JAVA安装路径

Enter advanced database configuration [y/n] (n)? y                              # 输入高级数据库配置

Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 3                                                             # 选择数据库

Hostname (localhost):                                                           # 主机名，回车默认
Port (3306):                                                                    # 数据库端口，回车默认
Database name (ambari):                                                         # 数据库名，回车默认
Username (ambari):                                                              # 用户名，回车默认
Enter Database Password (bigdata):                                              # 数据库密码，回车默认

Proceed with configuring remote database connection properties [y/n] (y)? y     # 继续配置远程数据库连接属性

Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.

配置

ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

启动 ambari-server 服务

ambari-server start

配置 ambari-agent

双节点

yum install ambari-agent -y
vi /etc/ambari-agent/conf/ambari-agent.ini

修改如下样式：

[server]
hostname=master.hadoop

重启、监视：

ambari-agent restart
tail -f /var/log/ambari-agent/ambari-agent.log

进入平台

进入先电大数据平台(http://master:8080)

用户名、密码：admin admin

启动安装向导

名称： HDP 接着下一步

选择版本

安装选项

确认主机直接下一步

选择服务选择 HDFS YARN+MapReduce2 Ambari Metrics 下一步

分配 Master

分配 Slaves 和 Clients

自定义服务这里填入密码 000000 到最后下一步

最后到概括直接部署，等待安装。完毕后两个主机全绿色就 ok 了

给个最后的截图：

更新于：2021年3月14日

bigdata

先电