测试环境搭建不完全指南

发表于 2022-03-07 分类于测试环境搭建本文字数： 15k 阅读时长 ≈ 14 分钟

最近需要搭建一套测试环境，借此机会简单记录一下搭建过程和踩坑经历

注意1：本文的命令使用的大多数是 root 用户登录执行，不是 root 的话所有命令前面要加 sudo

注意2：dolphin为我的用户名，执行命令时需要替换成你自己的用户名

注意3：为防止一些问题出现，可先关闭防火墙

1	$ systemctl status firewalld

Docker安装

由于部分应用使用docker安装，所以先装docker

在安装 Docker 之前，官方建议Linux 内核3.10 以上

# 查看当前的内核版本
$ uname -r

# 使用 root 权限更新 yum 包（生产环境中此步操作需慎重，需要看情况）
$ sudo yum -y update

# 卸载旧版本（如果之前安装过的话）
$ sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

# 安装需要的软件包， yum-util 提供yum-config-manager功能，另两个是devicemapper驱动依赖
$ sudo yum install -y yum-utils device-mapper-persistent-data lvm2

# 设置yum源（阿里仓库）
$ sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 安装最新版本的 Docker Engine-Community 和 containerd，或者转到下一步安装特定版本
$ sudo yum install docker-ce docker-ce-cli containerd.io
# 如果提示是否接受 GPG 密钥，请选是

# 查看可用版本有哪些
$ sudo yum list docker-ce --showduplicates | sort -r

# 选择一个版本并安装
$ sudo yum install docker-ce-<version> docker-ce-cli-<version> containerd.io

# 启动docker并设置开机自启
$ sudo systemctl start docker
$ sudo systemctl enable docker

# 安装完毕docker之后，默认是创建了名为：docker的用户组。为了常用账户能够使用docker，需要将当前用户添加到这个组
$ sudo gpasswd -a <常用账户> docker

# 重启docker服务
$ sudo service docker restart

Docker-mysql安装

# MYSQL_ROOT_PASSWORD是数据库密码
$ docker run --name mysql --restart=always -p 3306:3306 /
-v /home/dolphin/docker-mysql/conf.d:/etc/mysql/conf.d /
-v /home/dolphin/docker-mysql/var/lib/mysql:/var/lib/mysql /
-e MYSQL_ROOT_PASSWORD=passwd /
-e TZ=Asia/Shanghai /
-d mysql

Docker-redis安装

1
2

# 后方引号中内容是redis的密码
$ docker run -p 6379:6379 --name redis --restart=always -v /home/dolphin/docker-redis/redis.conf:/etc/redis/redis.conf -v/home/dolphin/docker-redis/data:/data -d redis redis-server /etc/redis/redis.conf --appendonly yes --requirepass "passwd"

ES安装

首先下载es压缩包，然后解压

1	$ tar -zxvf elasticsearch-7.4.0-linux-x86_64.tar.gz

修改配置，配置文件是elasticsearch-7.4.0/config/elasticsearch.yml

# 修改内容如下，127.0.0.1也可以换成服务器的ip地址
# ------Node ---------
node.name: node-1
# ----- Network ------
network.host: 0.0.0.0
# ----- Discovery ----
discovery.seed_hosts: ["127.0.0.1"]
cluster.initial_master_nodes: node-1

配置完成后，我们去启动

# 使用后台启动命令
$ /elasticsearch-7.16.3/bin/elasticsearch -d

# 前台启动命令
$ /elasticsearch-7.16.3/bin/elasticsearch

启动后，发现报错了，内容如下：

1
2
3

ERROR: [2] bootstrap checks failed
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
[2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

第一个报错是说，ElasticSearch进程的最大文件描述大小需要65535，而当前是4096，解决办法是编辑 /etc/security/limits.conf，追加以下内容：
1
2
* soft nofile 65536
* hard nofile 65536
修改后需要重新登录用户，才会生效
第二个报错是说，最大虚拟内存太小（vm.max_map_count配置），至少需要262144，当前为65530，解决办法是编辑 /etc/sysctl.conf，追加以下内容：
1
vm.max_map_count=655360
保存后，执行下方命令生效：
1
$ sysctl -p

重新后台启动es，访问地址为你设置的ip加端口号，我的地址是 http://192.168.12.231:9200/

kibana安装

下载kibana并解压

1	$ tar -zxvf kibana-7.4.0-linux-x86_64.tar.gz

配置kibana，文件位于kibana-7.4.0-linux-x86_64/config/kibana.yml

# server.host是kibana的地址，elasticsearch.hosts是上一步配置的es地址
server.port: 5601
server.host: "192.168.12.231"
elasticsearch.hosts: ["http://192.168.12.231:9200"]

启动kibana

1	$ kibana-7.4.0-linux-x86_64/bin/kibana

查看进程

1	$ ps -ef \| grep elastic

结束进程

1	$ kill -9 2382（进程号）

RocketMQ安装

在线下载，并解压安装包

1
2
3

$ wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.9.3/rocketmq-all-4.9.3-bin-release.zip

$ unzip rocketmq-all-4.9.3-bin-release.zip

默认配置启动需要占用4g内存，因此测试环境修改runserver.sh、runbroker.sh、tools.sh

1	$ cd /root/rocketmq-all-4.9.3-bin-release/bin/

修改runserver.sh文件（根据jdk版本修改）

# '1' means releases befor Java 9
JAVA_MAJOR_VERSION=$("$JAVA" -version 2>&1 | sed -r -n 's/.* version "([0-9]*).*$/\1/p')
if [ -z "$JAVA_MAJOR_VERSION" ] || [ "$JAVA_MAJOR_VERSION" -lt "9" ] ; then
  # 这里是jdk9版本以前的修改值
  JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
  JAVA_OPT="${JAVA_OPT} -XX:+UseConcMarkSweepGC -XX:+UseCMSCompactAtFullCollection -XX:CMSInitiatingOccupancyFraction=70 -XX:+CMSParallelRemarkEnabled -XX:SoftRefLRUPolicyMSPerMB=0 -XX:+CMSClassUnloadingEnabled -XX:SurvivorRatio=8 -XX:-UseParNewGC"
  JAVA_OPT="${JAVA_OPT} -verbose:gc -Xloggc:${GC_LOG_DIR}/rmq_srv_gc_%p_%t.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps"
  JAVA_OPT="${JAVA_OPT} -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=30m"
else
  # 这里是jdk9版本以后的修改值
  JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
  JAVA_OPT="${JAVA_OPT} -XX:+UseG1GC -XX:G1HeapRegionSize=16m -XX:G1ReservePercent=25 -XX:InitiatingHeapOccupancyPercent=30 -XX:SoftRefLRUPolicyMSPerMB=0"
  JAVA_OPT="${JAVA_OPT} -Xlog:gc*:file=${GC_LOG_DIR}/rmq_srv_gc_%p_%t.log:time,tags:filecount=5,filesize=30M"
fi

# jdk9版本以前修改后为
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

# jdk9版本以后修改后为
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

修改runbroker.sh文件

# 修改前
JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g"

# 修改后
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m"

修改tools.sh文件

# 修改前
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn256m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=128m"

# 修改后
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

RocketMQ配置远程连接访配置

修改RocketMQ目录下conf文件夹中的broker.conf配置文件，添加如下信息

# 地址可自定义，下方是我配置
#-------------------------
namesrvAddr=192.168.12.231:9876
brokerIP1=192.168.12.231
enablePropertyFilter=true
autoCreateTopticEnable=true
#------------------------

配置环境变量

1	$ vim /etc/profile

文件末尾添加刚才的端口设置

1	export NAMESRV_ADDR=localhost:9876

重载环境变量生效

1	$ source /etc/profile

关闭防火墙

1 2	$ systemctl stop firewalld #关闭防火墙 $ systemctl disable firewalld #开机时不启动防火墙

使用指定文件夹中的配置，后台启动name server

1	$ nohup sh ./bin/mqbroker -c ./conf/broker.conf autoCreateTopicEnable=true &

后台启动broker

1	$ nohup sh ./bin/mqnamesrv &

测试
生产者发送消息

1	$ sh ./bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

消费者消费消息

1	$ sh ./bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

关闭Name Server

1	$ sh bin/mqshutdown namesrv

关闭Broker

1	$ sh bin/mqshutdown broker

RocketMQ-DashBoard看板

1
2
3

# clone文件到本地，并解压
$ git clone https://github.com/apache/rocketmq-dashboard.git
$ unzip rocketmq-dashboard-master.zip

修改配置文件

1	$ vim rocketmq-dashboard-master/src/main/resources/application.yml

其中，修改namesrvAddrs属性值如下，这里的地址为上一步mq的地址

1	$ rocketmq.config.namesrvAddrs=192.168.12.231:9876

maven编译打包后运行

1 2	$ mvn clean package -Dmaven.test.skip=true $ java -jar target/rocketmq-dashboard-1.0.1-SNAPSHOT.jar &

xxl-job

下载xxl-job包，并解压。我下载的是xxl-job-2.1.2.tar.gz
1
$ tar -zxvf xxl-job-2.1.2.tar.gz
进入xxl-job-2.1.2文件夹，其中要用的的是xxl-job-admin文件夹

根据官方Doc文档，执行SQL语句，创建SQL数据库。SQL路径为https://github.com/xuxueli/xxl-job/blob/master/doc/db/tables_xxl_job.sql，同时附上SQL语句

#
# XXL-JOB v2.3.1-SNAPSHOT
# Copyright (c) 2015-present, xuxueli.

CREATE database if NOT EXISTS `xxl_job` default character set utf8mb4 collate utf8mb4_unicode_ci;
use `xxl_job`;

SET NAMES utf8mb4;

CREATE TABLE `xxl_job_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `job_group` int(11) NOT NULL COMMENT '执行器主键ID',
  `job_desc` varchar(255) NOT NULL,
  `add_time` datetime DEFAULT NULL,
  `update_time` datetime DEFAULT NULL,
  `author` varchar(64) DEFAULT NULL COMMENT '作者',
  `alarm_email` varchar(255) DEFAULT NULL COMMENT '报警邮件',
  `schedule_type` varchar(50) NOT NULL DEFAULT 'NONE' COMMENT '调度类型',
  `schedule_conf` varchar(128) DEFAULT NULL COMMENT '调度配置，值含义取决于调度类型',
  `misfire_strategy` varchar(50) NOT NULL DEFAULT 'DO_NOTHING' COMMENT '调度过期策略',
  `executor_route_strategy` varchar(50) DEFAULT NULL COMMENT '执行器路由策略',
  `executor_handler` varchar(255) DEFAULT NULL COMMENT '执行器任务handler',
  `executor_param` varchar(512) DEFAULT NULL COMMENT '执行器任务参数',
  `executor_block_strategy` varchar(50) DEFAULT NULL COMMENT '阻塞处理策略',
  `executor_timeout` int(11) NOT NULL DEFAULT '0' COMMENT '任务执行超时时间，单位秒',
  `executor_fail_retry_count` int(11) NOT NULL DEFAULT '0' COMMENT '失败重试次数',
  `glue_type` varchar(50) NOT NULL COMMENT 'GLUE类型',
  `glue_source` mediumtext COMMENT 'GLUE源代码',
  `glue_remark` varchar(128) DEFAULT NULL COMMENT 'GLUE备注',
  `glue_updatetime` datetime DEFAULT NULL COMMENT 'GLUE更新时间',
  `child_jobid` varchar(255) DEFAULT NULL COMMENT '子任务ID，多个逗号分隔',
  `trigger_status` tinyint(4) NOT NULL DEFAULT '0' COMMENT '调度状态：0-停止，1-运行',
  `trigger_last_time` bigint(13) NOT NULL DEFAULT '0' COMMENT '上次调度时间',
  `trigger_next_time` bigint(13) NOT NULL DEFAULT '0' COMMENT '下次调度时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_log` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `job_group` int(11) NOT NULL COMMENT '执行器主键ID',
  `job_id` int(11) NOT NULL COMMENT '任务，主键ID',
  `executor_address` varchar(255) DEFAULT NULL COMMENT '执行器地址，本次执行的地址',
  `executor_handler` varchar(255) DEFAULT NULL COMMENT '执行器任务handler',
  `executor_param` varchar(512) DEFAULT NULL COMMENT '执行器任务参数',
  `executor_sharding_param` varchar(20) DEFAULT NULL COMMENT '执行器任务分片参数，格式如 1/2',
  `executor_fail_retry_count` int(11) NOT NULL DEFAULT '0' COMMENT '失败重试次数',
  `trigger_time` datetime DEFAULT NULL COMMENT '调度-时间',
  `trigger_code` int(11) NOT NULL COMMENT '调度-结果',
  `trigger_msg` text COMMENT '调度-日志',
  `handle_time` datetime DEFAULT NULL COMMENT '执行-时间',
  `handle_code` int(11) NOT NULL COMMENT '执行-状态',
  `handle_msg` text COMMENT '执行-日志',
  `alarm_status` tinyint(4) NOT NULL DEFAULT '0' COMMENT '告警状态：0-默认、1-无需告警、2-告警成功、3-告警失败',
  PRIMARY KEY (`id`),
  KEY `I_trigger_time` (`trigger_time`),
  KEY `I_handle_code` (`handle_code`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_log_report` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `trigger_day` datetime DEFAULT NULL COMMENT '调度-时间',
  `running_count` int(11) NOT NULL DEFAULT '0' COMMENT '运行中-日志数量',
  `suc_count` int(11) NOT NULL DEFAULT '0' COMMENT '执行成功-日志数量',
  `fail_count` int(11) NOT NULL DEFAULT '0' COMMENT '执行失败-日志数量',
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `i_trigger_day` (`trigger_day`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_logglue` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `job_id` int(11) NOT NULL COMMENT '任务，主键ID',
  `glue_type` varchar(50) DEFAULT NULL COMMENT 'GLUE类型',
  `glue_source` mediumtext COMMENT 'GLUE源代码',
  `glue_remark` varchar(128) NOT NULL COMMENT 'GLUE备注',
  `add_time` datetime DEFAULT NULL,
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_registry` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `registry_group` varchar(50) NOT NULL,
  `registry_key` varchar(255) NOT NULL,
  `registry_value` varchar(255) NOT NULL,
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `i_g_k_v` (`registry_group`,`registry_key`,`registry_value`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_group` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `app_name` varchar(64) NOT NULL COMMENT '执行器AppName',
  `title` varchar(12) NOT NULL COMMENT '执行器名称',
  `address_type` tinyint(4) NOT NULL DEFAULT '0' COMMENT '执行器地址类型：0=自动注册、1=手动录入',
  `address_list` text COMMENT '执行器地址列表，多地址逗号分隔',
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_user` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `username` varchar(50) NOT NULL COMMENT '账号',
  `password` varchar(50) NOT NULL COMMENT '密码',
  `role` tinyint(4) NOT NULL COMMENT '角色：0-普通用户、1-管理员',
  `permission` varchar(255) DEFAULT NULL COMMENT '权限：执行器ID列表，多个逗号分割',
  PRIMARY KEY (`id`),
  UNIQUE KEY `i_username` (`username`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `xxl_job_lock` (
  `lock_name` varchar(50) NOT NULL COMMENT '锁名称',
  PRIMARY KEY (`lock_name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

INSERT INTO `xxl_job_group`(`id`, `app_name`, `title`, `address_type`, `address_list`, `update_time`) VALUES (1, 'xxl-job-executor-sample', '示例执行器', 0, NULL, '2018-11-03 22:21:31' );
INSERT INTO `xxl_job_info`(`id`, `job_group`, `job_desc`, `add_time`, `update_time`, `author`, `alarm_email`, `schedule_type`, `schedule_conf`, `misfire_strategy`, `executor_route_strategy`, `executor_handler`, `executor_param`, `executor_block_strategy`, `executor_timeout`, `executor_fail_retry_count`, `glue_type`, `glue_source`, `glue_remark`, `glue_updatetime`, `child_jobid`) VALUES (1, 1, '测试任务1', '2018-11-03 22:21:31', '2018-11-03 22:21:31', 'XXL', '', 'CRON', '0 0 0 * * ? *', 'DO_NOTHING', 'FIRST', 'demoJobHandler', '', 'SERIAL_EXECUTION', 0, 0, 'BEAN', '', 'GLUE代码初始化', '2018-11-03 22:21:31', '');
INSERT INTO `xxl_job_user`(`id`, `username`, `password`, `role`, `permission`) VALUES (1, 'admin', 'e10adc3949ba59abbe56e057f20f883e', 1, NULL);
INSERT INTO `xxl_job_lock` ( `lock_name`) VALUES ( 'schedule_lock');

commit;

修改配置

主配置文件位于/xxl-job/xxl-job-admin/src/main/resources/xxl-job-admin.properties

### 调度中心JDBC链接：链接地址请保持和第三步所创建的调度数据库的地址一致
xxl.job.db.driverClass=com.mysql.jdbc.Driver
xxl.job.db.url=jdbc:mysql://localhost:3306/xxl-job?useUnicode=true&characterEncoding=UTF-8
xxl.job.db.user=root
xxl.job.db.password=123456
 
### 报警邮箱
xxl.job.mail.host=smtp.163.com
xxl.job.mail.port=25
xxl.job.mail.ssl=false
xxl.job.mail.username=ovono802302@163.com
xxl.job.mail.password=asdfzxcv
xxl.job.mail.sendFrom=ovono802302@163.com
xxl.job.mail.sendNick=《任务调度平台XXL-JOB》
 
### 登录账号
xxl.job.login.username=admin
xxl.job.login.password=123456
 
### 调度中心通讯TOKEN，非空时启用
xxl.job.accessToken=
 
### 调度中心国际化设置，默认为中文版本，值设置为“en”时切换为英文版本
xxl.job.i18n=

日志文件配置在/xxl-job/xxl-job-admin/src/main/resources/logback.xml中

1 2	<contextName>logback</contextName> <property name="log.path" value="./logs/xxl-job-admin.log"/>

用maven打包xxl-job-admin，nohup启动运行

Jenkins安装

下载安装包，我用的是2.303版本，然后安装

1	$ sudo rpm -ivh jenkins-2.303.3-1.1.noarch.rpm

启动Jenkins

1	$ sudo service jenkins start

访问 http://localhost:8080，解锁 Jenkins，根据提示进行操作。选择推荐安装插件，等待自动安装。之后创建用户、密码

安装插件
1、Deploy to container——支持自动化代码部署到tomcat容器
2、GIT plugin——可能已经安，可在已安装列表中查询出来
3、Maven Integration plugin——jenkins利用Maven编译，打包所需插件
4、Publish Over SSH——通过ssh连接
5、ssh 插件
6、locale 更改语言——先改为zh_US，重启后改为zh_CN
7、Git Parameter
8、Rebuild
9、Build Name
10、build user var

安装完所有插件后，重启Jenkins。直接在浏览器重启即可
http://localhost:8080/restart

配置Publish over SSH

在服务器执行ssh-keygen -t rsa，会在目录/root/.ssh生成id_rsa私钥、id_rsa.pub公钥
在jenkins的凭证中添加私钥文件id_rsa中的内容
在gitlab的SSH Keys中配置公钥id_rsa.pub的内容

踩坑历程

mvn找不到命令，明明已经配置环境变量。使用mvn -v也是正常的

解决方法：可在jenkins项目配置中，执行shell命令前面，加如下命令（不加就读取不到后装的maven环境变量）
1
2
#!/bin/sh -l
source /etc/profile
打jar包时出错，jar包打不了

解决方法：因为maven版本太高，降级到推荐3.5.4后正常
maven构建时报错，缺失依赖

解决方法：更换maven的settings.xml解决
系统自带java为11版本，卸载后要装和开发环境一样的1.8版本
开发给了一份application-test.yml，部署后发现无法启动

解决方法1：application-test.yml与application-dev.yml配置文件相差内容较大，copy dev配置文件并后修改部分内容

解决方法2：application-test.yml中对应的数据库没有表，新建表并插入数据后正常
构建开始后，不执行sh control.sh restart命令。

解决方法：在执行前加
1
source /etc/profile
后端部署，控制台报错Build step '执行 shell' marked build as failure
解决方法：需要在中间加source ~/.bash_profile，但执行后还会报错。再删除这句话再执行一遍就ok了
1
2
3
#!/bin/bash
source ~/.bash_profile
source /etc/profile
前端部署报错，pnpm未找到命令。明明已经在环境中单独安装，部署时控制台报告找不到命令

解决方法：暂无