这其实就是对过程不崩坏，结果不超卖的考虑。很遗憾目前职业生涯还未真正遇到过这样的实战，不是没有这样的业务场景，而是还没有达到这么大的用户量，业务就已经不在了。

最近学习了慕课上关于PHP秒杀系统设计的课程，在此做个笔记。

一个轮廓

一些原理

1. cdn原理: 减少读的压力,如订单详情页下发到不同地方的cdn节点,访问加速,回源减少；
2. Nginx限流: 请求到达服务端(即接入层)如何做过载保护；
3. 异步队列概念: 通过异步方式创建订单；
4. Nginx负载均衡: 流量到达接入层,接入层分摊到每个server层；

需要考虑

1. 写的强一致性: 抢购时不能发生超卖现象；
2. 读的弱一致性: 显示有库存,但下单不成功即减不了库存(如:12306,总库存和实际抢票的库存可以不一致)；
3. 极致性能的实现: 可用上万台机器分摊流量达到负载均衡,但成本高; 应该提高单个服务的极致性能；
4. 高可用的保证；

极致性能

1. 极致性能的读服务实现: 需要实时读的库存数；
2. 极致性能的写服务实现: 扣库存,同时创建订单；
3. 极致性能的排队进度查询实现: 频繁查询排队进展；
4. 链路流量优化如何做: 流量第一次到达lvs层(Linux Virtual Server)->接入层->server层->客户端,如何减少每层流量,实现漏斗型流量过滤；

兜底方案

1. 高可用的标准: 999和9999对应的标准；
2. 请求链路中每层高可用的实现原理: 每层出故障后该如何做；
3. 限流,一键降级和自动降级实现: 过载保护；

具体实现

压测工具

原理: 通过多线程的模式,并发的访问某个接口,将对应的结果汇总统计展示出来。

1. 先在Mac上安装压测工具，以前用的ab，现在试试siege，主要安装方便。
   brew install siege

2. 检查是否安装成功
   siege -V

3. 检测接口最大qps(Queries-per-second)
   siege -c 20 -r 10 http://www.ybphp.com

4. 查看接口是否有优化空间,以达到单服务的性能极致;

5. 若接口性能无需优化,需要对接口进行限流,确保服务不会因为流量暴增挂掉;

Nginx限流配置

1. 按连接数限速,即并发数(ngx_http_limit_conn_module)—限制客户端连接;

2. 按请求速率限速,按照ip限制单位时间内的请求书(ngx_http_limit_req_module);

3. imit_req_zone $binary_remote_addr zone=one:10m rate=1r/s; //说明：区域名称为one（自定义），占用空间大小为10m，平均处理的请求频率不能超过每秒一次。

4. limit_req zone=one burst=1 nodelay; //应用规则; burst定义保留的缓存空间,nodelay如果burst设置的非常大时实现瞬间处理减少排队的等待时间

5. 查看Nginx是否启动
   ps aux | grep nginx

6. 查看Nginx错误日志
   tail -f /var/log/nginx/error.log

限流算法介绍

1. 令牌桶算法

• 匀速生产令牌: 每500ms生产一个令牌并将令牌放入令牌桶,1s产生两个令牌;
• 令牌桶: 请求过来从令牌桶中扣除令牌,桶中无令牌则返回503;
• 好处: 限制请求的速度; 应对突发流量;

2. 漏桶算法

• 漏桶: 请求排队, 桶存在大小, 队列均匀流出,桶满则溢出,返回503;
• 与令牌桶区别: 不能处理突发流量;

3. 计数器

• 单位时间计数器计数即可,一般在 应用程序中写的较多;

CDN介绍(Content Delivery Network)

qps固定的情况下,提示单服务性能(流量拦截);

1. 作用:

• 缩短访问路径,减少源站压力,提高内容响应速度,为源站提供安全保护;

2. 原理:

• 传统c/s架构: 客户端直接请求server,导致访问量极大;
• cdn架构: 根据客户端所在位置返回一个最近的cdn IP给客户端; 无缓存回源(源server);
• 同一个域名访问的是不同的cdn服务器,涉及dns解析,通过域名解析ip和端口;

3. 普通域名解析(即未经过cdn加速的域名解析)客户端(浏览器,app):

• 获取域名的ip和端口:gethostbyname(“www.test.com");

• 过程：
  gethostbyname{
  生成查询DNS服务器的消息(域名,class,记录类型)
  通过UDP协议向(最近的)DNS服务器发送消息
  (DNS服务器查看本地缓存有没有该域名,没有向根域名请求该域名对应的ip和端口)
  接受DNS服务器返回的消息并读取出ip地址返回
  }

• 拿到ip地址直接访问对应服务器;

DNS解析原理

1. 任何一台DNS服务器都保留根域信息;
2. 上级DNS服务器保管着所有下级DNS服务器的信息;
3. 客户端访问最近的DNS服务器,DNS服务器无缓存则请求root,root告诉DNS该域名需要访问某个子服务器,请求该子服务器后也会返回DNS应该访问的下级服务器;

4. DNS服务器数据存储格式

   域名	class	类型	数据
   ybphp.com	IN	A	10.xx.xx(直接解析出IP)
   mail.ybphp.com	IN	MX	10.xx.xx(直接解析出ip,并指出ip类型)
   cdn.ybphp.com	IN	CNAME	cdn.cdntip.com(另一个服务器的ip)

• CNAME记录: 类似查询转发,该记录不能直接使用IP,只能是另一个主机的别名.CDN是利用该记录来指定CDN服务器,如果有A记录与CNAME记录同时存在,则只使用A记录;

• CDN原理: 通过CNAME方式把某个已加速过的域名解析到另一个CDN服务商提供的dns解析的服务器;

大型网站架构

主要结构(每层间有心跳检测,可及时将问题机器摘除,通过集群的方式确保服务高可用);

客户端

1. 请求某个地址时,通过dns/cdn加速到达,可能会回源至网站最外层router;
2. router(路由器/交换机): 使用Ospf负载均衡将流量负载至多个lvs机器上;
3. lvs层(lvs1,lvs2..): 四层负载均衡,流量到达后,不解析包内容,修改tcp头后转发给接入层;
4. 接入层(nginx1,nginx2..): 七层负载均衡,解析包内容,根据域名进行跳转至对应server层,同一个域名可以做到负载均衡的效果如ip做哈希来达到分流的效果;
5. server层(nginx+fpm,nginx+fpm..);

ginx负载均衡算法介绍

1. Round-robin(轮询);

2. Weight-round-robin(带权轮询);
   

3. Ip-hash(Ip哈希);

消息队列

1. 消息队列实为链表,头插尾出,高并发下容易发生堵塞,为避免消息丢失,可通过写入实时消息队列进行延时处理;
   • 实时队列: 如海底捞排队;
   • 延时队列: 基于触发的时间进行排队,如订单;
2. 作用:
   • 提高请求响应速度,如创建订单后的流程,发push,短信提醒等
   • 瞬间高并发下,可起到削锋,如双十一0点并发创建订单
   • 延时队列,时间维度任务触发,如发货提醒

秒杀系统的难点分析与架构原则

使用场景及预估并发量

a.商城活动抢购,优惠券,定时抢购 有效写100+ 并发抢1w+;
b.小米商城手机抢购 有效写1w+ 并发抢100w+;
c.12306抢票 有效写1w+ 并发抢100w+;
d.天猫双十一凌晨促销秒杀 有效写10w+ 并发抢1000w+;

特点

1.抢购人数远多于库存,读写并发巨大
2.库存少,有效写少
3.写需要强一致性,商品不能卖超
4.读强一致性要求不高(与库存存储方案有关)

难点

1.稳定性难
高并发下,某个小依赖可能直接造成雪崩
流量预期难精确,过高也造成雪崩
分布式集群,机器多,出故障的概率高

2.准确性难
库存,抢购成功数,创建订单数之间的一致性

3.高性能难
有限成本下需要做到极致的性能

架构原则

1.稳定性
减少第三方依赖,同事自身服务部署也需要做到隔离
(接口进行)压测,(针对接口最大容量进行)限流,(用户被限流后展示503页面无法抢购)降级确保核心服务可用
需要健康度检查机制,整个链路避免单点

2.高性能
缩短单请求访问路径,减少IO
减少接口数,降低吞吐数据量,请求次数减少

3.目标
满足高并发且高可用的秒杀系统

秒杀系统的核心实现

秒杀服务核心实现

1. 满足基本需求,做到单服务极致性能
   a.扣库存
   b.查库存(实时查询)和排队进度(创建订单量大时,扣库存操作跟不上)
   c.查订单详情,创建订单,支付订单(该条属于订单中心; 以上两个为秒杀服务,挑战大)

2. 请求链路流量优化,从客户端到服务端每层优化: 实现流量漏斗

3. 稳定性建设

场景示例

某件商品1000库存,100w并发读,100w并发抢购。
扣库存方案：

1. 下单减库存×
   流程: 并发请求->创建订单->扣库存->支付 (创建订单与扣库存通过事务方式绑定)
   问题: 创建订单扣完库存后并不去支付,存在恶意下单但不会出现超卖

2. 支付减库存×
   流程: 并发请求->创建订单->支付->扣库存 (支付与扣库存通过事务方式绑定,保持强一致性)
   问题: 订单超卖,导致订单支付不了

3. 预扣库存
   流程: 并发请求->扣库存->创建订单->支付(扣库存与创建订单通过事务方式绑定)
   问题: 不支付库存卖不出
   解决: 订单创建后,设置订单时效,订单失效后库存恢复避免不支付库存卖不出的问题
   原因: 秒杀系统并发量大,创建订单及支付都涉及IO

4. 该部分问题
   方案一（下单减库存）和方案三（预扣库存）模式其实差不多，就像 do..while… 和 while 的区别，都可以用支付时效控制回收库存，但是方案一相对方案三 I/O 开销更高；

   预扣库存的方案中也存在恶意下单的问题啊,恶意用户减完库存后但是不支付，这样其他人只能等这批订单超时了，如果此时我再批量下单减完库存是不是可以一直让目标玩家抢不到商品，对于这样的用户可以记录下来，让他在第二次秒杀的时候丧失资格。

极致性能的扣库存服务如何实现

1. 本质: 程序有没有对CPU进行有效的压榨
   a. 减少上下文切换(如go语言中的携程概念,基于线程实现,将线程分为多个时间段,线程不进行切换;通过单线程方式保证不做切换,但会造成阻塞I/O; 单线程不会充分使用多核cpu优势,可实行单机部署多实例方式提高cpu使用率);
   b. 减少阻塞式I/O: I/O主要包含rpv调用(远程通信:接口/redis查询/mysql查询等)/磁盘读写(文件读写)

2. 无IO怎么做
   a.拆解: 扣库存与写订单分开,秒杀系统仅提供扣库存服务;
   b.用内存: 调用远程redis,可实现单机单服务10w的qps;
   c.用本地内存;

3. 步骤
   a.初始化库存到本地库存
   b.本地减库存,成功则进行统一减库存,失败则返回
   c.统一减库存成功则写入MQ(可用redis),异步创建订单
   d.告知用户抢购成功

4. 好处
   a.统一减库存,可以防止因为机器的增减导致超买超卖现象
   b.本地减库存: php可以通过apcu扩展实现, go使用单线程不存在强锁过程 //PHP5.5以后，opcache代替apc做为PHP加速的位置，也就是代替其系统缓存的位置。并将用户缓存功能独立出来，开启新的组件，叫apcu;

5. 扣库存实现
   a.因为php的fpm是一个多进程模型
   多进程间修改某块共享内存时存在抢锁,频率高的话影响性能
   cpu单核的话,多进程进行切换,开销巨大

b.基类base.php

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

<?php
class Base{
    static $redisObj;
    /*通过单例方式初始化一个redis连接*/
    static function conRedis($config = array()){
        if(self::$redisObj) return self::$redisObj;
        self::$redisObj = new \Redis();
        self::$redisObj->connect('127.0.0.1', 6379);
        return self::$redisObj;
    }
    /*接口输出格式化*/
    static function output($data = array(), $errNo = 0, $errMsg = 'ok'){
        $res['errno'] = $errNo;
        $res['errmsg'] = $errMsg;
        $res['data'] = $data;
        echo json_encode($res);
        exit();
    }
}

c. api.php

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118

<?php
include('base.php');
class Api extends Base
{
    //共享信息，存储在redis中,以hash表的形式存储，%s变量代表的是商品id
    static $userId;
    static $productId;
    static $REDIS_REMOTE_HT_KEY         = "product_%s";     //共享信息key
    static $REDIS_REMOTE_TOTAL_COUNT    = "total_count";    //商品总库存
    static $REDIS_REMOTE_USE_COUNT      = "used_count";     //已售库存
    static $REDIS_REMOTE_QUEUE          = "c_order_queue";  //创建订单队列
    static $APCU_LOCAL_STOCK    = "apcu_stock_%s";       //总共剩余库存
    static $APCU_LOCAL_USE      = "apcu_stock_use_%s";   //本地已售多少
    static $APCU_LOCAL_COUNT    = "apcu_total_count_%s"; //本地分库存分摊总数
    public function __construct($productId, $userId)
    {
        self::$REDIS_REMOTE_HT_KEY  = sprintf(self::$REDIS_REMOTE_HT_KEY, $productId);
        self::$APCU_LOCAL_STOCK     = sprintf(self::$APCU_LOCAL_STOCK, $productId);
        self::$APCU_LOCAL_USE       = sprintf(self::$APCU_LOCAL_USE, $productId);
        self::$APCU_LOCAL_COUNT     = sprintf(self::$APCU_LOCAL_COUNT, $productId);
        self::$APCU_LOCAL_COUNT     = sprintf(self::$APCU_LOCAL_COUNT, $productId);
        self::$userId               = $userId;
        self::$productId            = $productId;
    }
    static  function clear(){
    apcu_delete(self::$APCU_LOCAL_STOCK);
    apcu_delete(self::$APCU_LOCAL_USE);
    apcu_delete(self::$APCU_LOCAL_COUNT);

    }
    /*查剩余库存*/
    static function getStock()
    {
    $stockNum = apcu_fetch(self::$APCU_LOCAL_STOCK);
        if ($stockNum === false) {
            $stockNum = self::initStock();
        }
        self::output(['stock_num' => $stockNum]);
    }
    /*抢购-减库存*/
    static function buy()
    {
        $localStockNum = apcu_fetch(self::$APCU_LOCAL_COUNT);
        if ($localStockNum === false) {
            $localStockNum = self::init();
        }
        $localUse = apcu_inc(self::$APCU_LOCAL_USE);//本已卖 + 1
        if ($localUse > $localStockNum) {//抢购失败 大部分流量在此被拦截
        echo 1;
            self::output([], -1, '该商品已售完');
        }
        //同步已售库存 + 1；
        if (!self::incUseCount()) {//改失败，返回商品已售完
            self::output([], -1, '该商品已售完');
        }
        //写入创建订单队列
        self::conRedis()->lPush(self::$REDIS_REMOTE_QUEUE, json_encode(['user_id' => self::$userId, 'product_id' => self::$productId]));
        //返回抢购成功
        self::output([], 0, '抢购成功，请从订单中心查看订单');
    }
    /*创建订单*/
    /*查询订单*/
    /*总剩余库存同步本地，定时执行就可以*/
    static function sync()
    {
        $data = self::conRedis()->hMGet(self::$REDIS_REMOTE_HT_KEY, [self::$REDIS_REMOTE_TOTAL_COUNT, self::$REDIS_REMOTE_USE_COUNT]);
        $num = $data['total_count'] - $data["used_count"];
        apcu_add(self::$APCU_LOCAL_STOCK, $num);
        self::output([], 0, '同步库存成功');
    }
    /*私有方法*/
    //库存同步
    private static function incUseCount()
    {
        //需要查远端的总库存和已经售卖的计数
        //同步远端库存时，需要经过lua脚本，保证不会出现超卖现象
        //因为redis是单进程模型,可有效的避免两个用户同时进行查库存和扣库存
        $script = <<<eof
            local key = KEYS[1]
            local field1 = KEYS[2]
            local field2 = KEYS[3]
            local field1_val = redis.call('hget', key, field1)//总库存
            local field2_val = redis.call('hget', key, field2)//已经售卖的计数
            if(field1_val>field2_val) then
                return redis.call('HINCRBY', key, field2,1)
            end
            return 0
eof;
        //eval()执行lua脚本的方法
        return self::conRedis()->eval($script,[self::$REDIS_REMOTE_HT_KEY,  self::$REDIS_REMOTE_TOTAL_COUNT, self::$REDIS_REMOTE_USE_COUNT] , 3);
    }
    /*初始化本地数据*/
    private static function init()
    {
        apcu_add(self::$APCU_LOCAL_COUNT, 150);
        apcu_add(self::$APCU_LOCAL_USE, 0);
    }
    static  function initStock(){
        $data = self::conRedis()->hMGet(self::$REDIS_REMOTE_HT_KEY, [self::$REDIS_REMOTE_TOTAL_COUNT, self::$REDIS_REMOTE_USE_COUNT]);
        $num = $data['total_count']- $data["used_count"];
        apcu_add(self::$APCU_LOCAL_STOCK, $num);
        return $num;
    }
}
try{
$act = $_GET['act'];
$product_id = $_GET['product_id'];
$user_id = $_GET['user_id'];
$obj = new Api($product_id, $user_id);
if (method_exists($obj, $act)) {
    $obj::$act();
    die;
}
echo 'method_error!';
} catch (\Exception $e) {
    echo 'exception_error!';
    var_dump($e);
}

6. 创建&&支付订单
   a. 与扣库存服务隔离
   b. 用户收到抢购成功,页面跳转到订单中心去支付订单
   

7. 读商品信息页
   a. 与库存服务隔离
   b. 商品库一主多从提高读能力
   c. 页面静态化+缓存+db实现即可

8. 排队进度查看
   创建订单海量,怎么解决高性能查排队进展的问题;
   a. 结构
   数组A: 例大小1000
   Hash表B: 通过key查找value,通过hash函数计算得到索引位置
   b. 思路
   数组A存储排队中,待创建订单的用户;数组B用作索引,存储uid对应在数组A中的索引位置
   每次从数组A中依次消费数据,并记录最近消费的索引值X
   用户来查排队进展时,从hash表B中取出该uid对应存储的索引值Y
   索引值Y - 索引值X = 排队进度值

9. 高性能读库存(强一致性要求低)
   a. 读取本地库存,无则主动拉取一次,有则返回
   b. 异步脚本定时同步库存至本地
   c. 对接口进行压测

10. 总结
    a. 读场景
    读商品详情
    读库存
    读排队进度
    b. 写场景
    扣库存
    写订单
    c.高性能服务
    单性能多协程及异步I/O方式实现的

11. 链路如何实现漏斗形流量