里吉外卖开发日记-上

读写分离

问题分析

code
code

Mysql主从复制

介绍

MysSQL主从复制是一个异步的复制过程，底层是基于Mysql数据库自带的二进制日志功能。就是一台或多台AysQL数据库(slave，即从库）从另一台MysQL数据库(master，即主库）进行日志的复制然后再解析日志并应用到自身，最终实现从库的数据和主库的数据保持一致。MySQL主从复制是MysQL数据库自带功能，无需借助第三方工具。

MysQL复制过程分成三步:

master将改变记录到二进制日志（ binary log)
slave将master的binary log拷贝到它的中继日志（relay log）
slave重做中继日志中的事件，将改变应用到自己的数据库中
配置-前置条件
因为只有一个服务器能用，所以采用docker容器方式部署多个Mysql进行主从复制，服务器安装docker方式不多赘述，在安装完以后使用docker pull mysql拉取Mysql镜像

因为docker容器之间完全隔离，所以可以根据不同的docker容器映射宿主机的不同端口去完成多个mysql的主从复制，我这里使用的是拉取两个mysql镜像分别作为master和slave数据库进行主从复制的配置。
master主容器

1	docker run -p 3339:3306 --name master -v /root/master/conf:/etc/mysql/conf.d - /root/master/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7

slave从容器

1	docker run -p 3340:3306 --name slave -v /root/master/conf:/etc/mysql/conf.d - /root/master/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7

配置-主库Master

第一步:修改Mysql数据库的配置文件/etc/my.cnf

1
2
3

[mysqld]
log-bin=mysql-bin #[必须]启用二进制日志
server-id=100 #[必须]服务器唯一ID

第二步:重启Mysql服务
systemctl restart mysqld

第三步:登录Mysql数据库，执行下面SQL

GRANT REPLICATION SLAVE ON . to ‘xiaoming’@’%’ identified by ‘Root@123456’;

注:上面SQL的作用是创建一个用户xiaoming，密码为Root@123456，并且给xiaoming用户授予REPLICATION SLAVE权限。常用于建立复制时所需要用到的用户权限，也就是slave必须被master授权具有该权限的用户，才能通过该用户复制。

第四步:登录Mysql数据库，执行下面SQL，记录下结果中File和Position的值

show master status;
code
注:上面SQL的作用是查看Master的状态，执行完此SQL后不要再执行任何操作

配置-从库Slave

第一步:修改Mysq1数据库的配置文件/etc/my.cnf

1 2	[mysqld] server-id=101 #[必须]服务器唯一ID

第二步:重启Mysql服务
systemctl restart mysqld

第三步:登录Mysq1数据库，执行下面SQL
master_host可以使用docker inspect master去查询

change master to
master_host='这里使用的是容器的host',master_user='xiaoming',master_password='Root@123456',master_log_file='mysql-bin.000003',master_log_pos=441;

start slave;

第四步:登录Mysql数据库，执行下面SQL，查看从数据库的状态show slave status;
code

读写分离案例

背景

面对日益增加的系统访问量，数据库的吞吐量面临着巨大瓶颈。对于同一时刻有大量并发读操作和较少写操作类型的应用系统来说，将数据库拆分为主库和从库，主库负责处理事务性的增删改操作，从库负责处理查询操作，能够有效的避免由数据更新导致的行锁，使得整个系统的查询性能得到极大的改善
code

Sharding-JDBC介绍

Sharding-JDBC定位为轻量级Java框架，在Java的JDBC层提供的额外服务。它使用客户端直连数据库,以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。

使用Sharding-JDBC可以在程序中轻松的实现数据库读写分离。

适用于任何基于JDBC的ORM框架，如: JPA, Hibernate,Mybatis, Spring JDBC Template或直接使用JDBC。
支持任何第三方的数据库连接池，如:DBCP，C3PO,BoneCP, Druid, HikariCP等。

支持任意实现JDBC规范的数据库。目前支持MySQL，Oracle,SQLServer，PostgreSQL以及任何遵循SQL92标准的数据库。

<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
    <version>4.0.0-RC1</version>
</dependency>

入门案例

使用Sharding-JDBC实现读写分离步骤:

1、导入maven坐标

2、在配置文件中配置读写分离规则

spring:
  shardingsphere:
    datasource:
      names:
        master,slave
      # 主数据源
      master:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://服务器外网ip:3306/riggie?characterEncoding=utf-8
        username: root
        password: 123456
      # 从数据源
      slave:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://服务器外网ip:3306/riggie?characterEncoding=utf-8
        username: root
        password: 123456
    masterslave:
      # 读写分离配置
      load-balance-algorithm-type: round_robin #轮询
      # 最终的数据源名称
      name: dataSource
      # 主库数据源名称
      master-data-source-name: master
      # 从库数据源名称列表，多个逗号分隔
      slave-data-source-names: slave
    props:
      sql:
        show: true #开启SQL显示，默认false

3、在配置文件中配置允许bean定义覆盖配置项

1
2
3

spring:
    main:
        allow-bean-definition-overriding: true

项目实现读写分离

环境准备(主从复制)

直接使用我们前面在虚拟机中搭建的主从复制的数据库环境即可。

在主库中创建瑞吉外卖项目的业务数据库riggie并导入相关表结构和数据。

代码构造

在项目中加入Sharding-JDBC实现读写分离步骤:

1、导入maven坐标

2、在配置文件中配置读写分离规则

3、在配置文件中配置允许bean定义覆盖配置项

Nginx

Nginx概述

Nginx是一款轻量级的web服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器。其特点是占有内存少，并发能力强，事实上nginx的并发能力在同类型的网页服务器中表现较好，中国大陆使用nginx的网站有:百度、京东、新浪、网易、腾讯、淘宝等。

Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler .ru站点（俄文: Paw6nep)开发的，第一个公开版本0.1.e发布于2004年10月4日。

官网: https://nginx.org/

Nginx下载与安装

可以到Nginx官方网站下载Nginx的安装包，地址为: https://nginx.org/en/download.html

安装过程:
1、安装依赖包yum -y install gcc pcre-devel zlib-devel openssl openssl-devel

2、下载Nginx安装包wget https://nginx.org/download/nginx-1.16.1.tar.gz(需要先yum install wget)

3、解压tar -zxvf nginx-1.16.1.tar.gz

4、cd nginx-1.16.1

5、./ configure —prefix=/usr/local/nginx

6、make && make install

ginx目录结构

安装完Nginx后，我们先来熟悉一下Nginx的目录结构，如下图:
code
重点目录/文件:

conf/nginx.conf nginx配置文件
html
存放静态文件(html、css、Js等)
logs
日志目录，存放日志文件
sbin/nginx
二进制文件，用于启动、停止Nginx服务
Nginx命令
查看版本
在sbin目录下输入./nginx -v

检查配置文件正确性

在启动Nginx服务之前，可以先检查一下conf/nginx.conf文件配置的是否有错误，命令如下:

./nginx -t
code

启动和停止

在sbin目录下。

启动Nginx服务使用如下命令:./nginx

停止Nginx服务使用如下命令:./nginx -s stop

启动完成后可以查看Nginx进程:ps -ef | grep nginx

修改运行的进程数目：
vim usr/local/nginx/conf/nginx.conf

1	worker_processes 2;

重新加载配置文件

可以通过修改profile文件配置环境变量，在/目录下可以直接使用nginx命令

vim etc/profile

1	PATH=/usr/local/nginx/sbin:$JAVA_HOME/bin:$PATH

使配置文件生效：source /etc/profile

重启Nginx：nginx -s reload

停止Nginx：nginx -s stop

启动Nginx：nginx

Nginx配置文件结构

整体结构介绍

Nginx配置文件(conf/nginx.conf)整体分为三部分:

全局块
和Nginx运行相关的全局配置
events块
和网络连接相关的配置
http块
代理、缓存、日志记录、虚拟主机配置
- http全局块
- Server块
  - Server全局块
  - location块
    注意:http块中可以配置多个Server块，每个Server块中可以配置多个location块。

Nginx具体应用

部署静态资源

Nginx可以作为静态web服务器来部署静态资源。静态资源指在服务端真实存在并且能够直接展示的一些文件，比如常见的html页面、css文件、js文件、图片、视频等资源。

相对于Tomcat，Nginx处理静态资源的能力更加高效，所以在生产环境下，一般都会将静态资源部署到Nginx中。

将静态资源部署到Nginx非常简单，只需要将文件复制到Nginx安装目录下的html目录中即可。

server {
  listen 80;                #监听端口
  server_name localhost;    #服务器名称
  location/{                #匹配客户端请求url
    root html;              #指定静态资源根目录
    index index.html;       #指定默认首页
}

反向代理

正向代理

是一个位于客户端和原始服务器(origin server)之间的服务器，为了从原始服务器取得内容，客户端向代理发送一个请求并指定目标(原始服务器)，然后代理向原始服务器转交请求并将获得的内容返回给客户端。

正向代理的典型用途是为在防火墙内的局域网客户端提供访问Internet的途径。

正向代理一般是在客户端设置代理服务器，通过代理服务器转发请求，最终访问到目标服务器。
反向代理

反向代理服务器位于用户与目标服务器之间，但是对于用户而言，反向代理服务器就相当于目标服务器，即用户直接访问反向代理服务器就可以获得目标服务器的资源，反向代理服务器负责将请求转发给目标服务器。

用户不需要知道目标服务器的地址，也无须在用户端作任何设定。
配置反向代理
1
2
3
4
5
6
7
8
server {
listen 82;
server_name localhost;

location / {
proxy_pass http://后端服务器ip:8080; #反向代理配置
}
}
负载均衡
早期的网站流量和业务功能都比较简单，单台服务器就可以满足基本需求，但是随着互联网的发展，业务流量越来越大并且业务逻辑也越来越复杂，单台服务器的性能及单点故障问题就凸显出来了，因此需要多台服务器组成应用集群，进行性能的水平扩展以及避免单点故障出现。
应用集群:将同一应用部署到多台机器上，组成应用集群，接收负载均衡器分发的请求，进行业务处理并返回响应数据

负载均衡器:将用户请求根据对应的负载均衡算法分发到应用集群中的一台服务器进行处理
code

配置负载均衡:

修改ngnix.conf

upstream targetserver{    #upstream指令可以定义一组服务器
  server 二号服务器ip:8080;
  server 三号服务器ip:8080;
  ...
}

server {
  listen  8080;
  server_name     localhost; #一号服务器
  location / {
          proxy_pass http://targetserver;
  }
}

负载均衡策略
code

docker容器实现Nginx前端部署

还是因为只有一台服务器的缘故，继续使用轻松好用的docker容器，Nginx的镜像一样使用pull命令拉取，拉取以后因为启动时缺少Nginx的配置文件，所以需要先copy出来一份镜像Nginx的default.conf

server{
  listen 80;
  server_name 服务器ip;

  location /{
    root /usr/share/nginx/html;
    index index.html;
  }

  location ^~ /api/{
          rewrite ^/api/(.*)$ /$1 break;
          proxy_pass http://后端服务器ip:3341;
  }

  error_page 500 502 503 504 /50x.html;
  location = /50x.html{
      root html;
  }
}

这里加入配置以后运行镜像同时映射配置文件
ps.大部分docker容器最好使用-v将容器内文件路径与宿主机文件路径映射，避免容器运行以后进入容器内修改配置文件的繁琐

启动Nginx镜像：

1
2
3

docker run -p 80:80 -v /home/etc/nginx/conf.d/default.conf:/etc/nginx/conf.d/default.conf -v /home/nginx/dist:/usr/share/nginx/html --name myNginx -d nginx
#-v 后面的路径映射是因为先cp了一份nginx配置文件，其实直接映射一份.conf就行
#还有注意容器内nginx的html静态文件夹是/usr下，注意手快

前后端分离开发

问题分析

开发人员同时负责前端和后端代码开发，分工不明确
开发效率低
前后端代码混合在一个工程中，不便于管理
对开发人员要求高，人员招聘困难

前后端分离开发

介绍

前后端分离开发，就是在项目开发过程中，对于前端代码的开发由专门的前端开发人员负责，后端代码则由后端开发人员负责，这样可以做到分工明确、各司其职，提高开发效率，前后端代码并行开发，可以加快项目开发进度。目前，前后端分离开发方式已经被越来越多的公司所采用，成为当前项目开发的主流开发方式。

前后端分离开发后，从工程结构上也会发生变化，即前后端代码不再混合在同一个maven工程中，而是分为前端工程和后端工程。
code

开发流程

前后端分离开发后，面临一个问题，就是前端开发人员和后端开发人员如何进行配合来共同开发一个项目?可以按照如下流程进行:
code
code
接口(API接口) 就是一个http的请求地址，主要就是去定义:请求路径、请求方式、请求参数、响应数据等内容

前端技术栈

开发工具

Visual Studio Code
hbuilder
技术框架
nodejs
VUE
ElementUI
mock
webpack

Yapi

介绍

YApi是高效、易用、功能强大的api管理平台，旨在为开发、产品、测试人员提供更优雅的接口管理服务。可以帮助开发者轻松创建、发布、维护 API，YApi还为用户提供了优秀的交互体验，开发人员只需利用平台提供的接口数据写入工具以及简单的点击操作就可以实现接口的管理。

YApi让接口开发更简单高效，让接口的管理更具可读性、可维护性，让团队协作更合理。

源码地址: https://github.com/YMFE/yapi

要使用YApi，需要自己进行部署。

使用

使用YApi可以执行下面操作

添加项目
添加分类
添加接口
编辑接口
查看接口
Swagger
介绍
使用Swagger你只需要按照它的规范去定义接口及接口相关的信息，再通过Swagger衍生出来的一系列项目和工具，就可以做到生成各种格式的接口文档，以及在线接口调试页面等等。

官网:https://swagger.io/

knife4j是为Java MVC框架集成Swagger生成Api文档的增强解决方案。

使用方式

操作步骤:

1、导入knife4j的maven坐标

<dependency>
    <groupId>com.github.xiaoymin</groupId>
    <artifactId>knife4j-spring-boot-starter</artifactId>
    <version>3.0.2</version>
</dependency>

2、导入knife4j相关配置类

WebMvcConfig

@Slf4j
@Configuration
@EnableSwagger2
@EnableKnife4j
public class WebMvcConfig extends WebMvcConfigurationSupport {
  @Bean
  public Docket createRestApi() {
      //文档类型
      return new Docket(DocumentationType.SWAGGER_2)
              .apiInfo(apiInfo())
              .select()
              .apis(RequestHandlerSelectors.basePackage("com.ka.reggie.controller"))
              .paths(PathSelectors.any())
              .build();
  }
  private ApiInfo apiInfo() {
      return new ApiInfoBuilder()
              .title("瑞吉外卖")
              .version("1.0")
              .description("瑞吉外卖接口文档")
              .build();
  }
}

3、设置静态资源，否则接口文档页面无法访问(addResourceHandlers方法)

1
2

registry.addResourceHandler("doc.html").addResourceLocations("classpath:/META-INF/resources/");
registry.addResourceHandler("/webjars/**").addResourceLocations("classpath:/META-INF/resources/webjars/");

4、在LoginCheckFilter中设置不需要处理的请求路径

String[] urls = new String[]{
        "/employee/login",
        "/employee/logout",
        "/backend/**",
        "/front/**",
        "/common/**",
        "/user/sendMsg",
        "/user/login",

        "/doc.html",
        "/webjars/**",
        "/swagger-resources",
        "/v2/api-docs"
};

常用注解

项目部署

部署架构

code

部署环境说明

服务器:

192.168.138.100（服务器A)

Nginx:部署前端项目、配置反向代理

Mysql:主从复制结构中的主库

Redis:缓存中间件

192.168.138.101（服务器B)

jdk:运行Java项目

git:版本控制工具

maven:项目构建工具

jar: Spring Boot项目打成jar包基于内置Tomcat运行

Mysql:主从复制结构中的从库

部署前端项目

前端部署已经在上面的Nginx部署中讲到了：docker容器nginx部署前端项目

部署后端项目

后端部署很花了我一点时间，因为不太确定docker内部容器之间的连接是否可以通过ip直连，后来经过俺的多次测试以后成功，得到以下结论：

1.首先排除服务器ip对外开放端口连接，因为后端项目也需要从本地部署到linux服务器中，所以不能用原本的外网ip开放端口连接数据库or缓存，但是因为前端是由Nginx代理部署的，所以Nginx中的后端代理ip依然可以是服务器外网ip的对外开放端口，无需容器内连接。
2.测试了容器名连接，这种需要在容器运行时使用link命令将容器之间连接起来，或者更改容器的host表之类的操作进行连接
3.最有效的还是通过docker inspect 容器名去查询容器的ipadress，因为docker容器之间完全隔离，所以在每个容器启动时都会分配一个新的ip地址

得到ip地址以后替换对应的mysql的配置以及redis的配置即可

application.yml配置完成以后将后端项目进行打包：

最简单的方式是直接maven的package方式打包
当然还可以使用build Artifact 实现JAR包方式，但经常出现漏掉一些第三方jar包的情况

ps.打完jar包以后在本地先运行一次，因为pom.xml中的依赖版本问题有可能会导致打包时出现jar包没有进去的问题，导致jar包运行失败，如果出现了无法运行，尝试改变一下依赖中的第三方jar包版本

打包成功以后上传到linux服务器中，使用docker将jar包制作成自定义镜像
新建一个Dockerfile文件，制作镜像专用

FROM openjdk:8

ADD takeout_api.jar app.jar

EXPOSE 3341

ENTRYPOINT ["java","-jar","/app.jar"]

将jar放到同一层路径下

1 2	docker build -t app . # -f可以指定dockerfile的路径 app是为镜像取名最后.是所在目录，因为是同级

docker images查看镜像，查看镜像制作成功以后创建容器运行

1 2	docker run -d -p 3341:8080 --name takeout app #-d是容器在后台启动 -t是启动容器

docker ps查看正在运行的容器

里吉外卖开发日记-上

读写分离

问题分析

Mysql主从复制

介绍

配置-前置条件

配置-主库Master

配置-从库Slave

读写分离案例

背景

Sharding-JDBC介绍

入门案例

项目实现读写分离

环境准备(主从复制)

代码构造

Nginx

Nginx概述

Nginx下载与安装

ginx目录结构

Nginx命令

查看版本

检查配置文件正确性

启动和停止

重新加载配置文件

Nginx配置文件结构

Nginx具体应用

部署静态资源

反向代理

负载均衡

配置负载均衡:

docker容器实现Nginx前端部署

前后端分离开发

问题分析

前后端分离开发

介绍

开发流程

前端技术栈

Yapi

介绍

使用

Swagger

介绍

使用方式

常用注解

项目部署

部署架构

部署环境说明

部署前端项目

部署后端项目