测试环境

ubuntu 16.04
python 3.6.6
redis 3.0.6

简单描述

抢购、秒杀是一个很常见的应用场景，主要需要解决的问题有两个：

1 高并发
2 如何解决库存的正确减少（"超卖"问题）

redis 命令说明

exists

返回key是否存在

# 原型
EXISTS key [key ...]
# 示例
EXISTS key1

incrby

将key对应的数字加decrement。如果key不存在，操作之前，key就会被置为0

# 原型
INCRBY key increment
# 示例
INCRBY mykey 5

setnx

将key设置值为value，如果key不存在，这种情况下等同SET命令。当key存在时，什么也不做。SETNX是”SET if Not eXists”的简写。

# 原型
SETNX key value
# 示例
SETNX mykey "Hello"

流程图

流程要点说明：

这里要使用setnx初始化数据，这样可以避免key值遇到并发时被多次set
incrby后才判断是否超限，注意如果amount最大为100, 这里incrby后可能会大于100, 但不影响判断

python代码实现

app.py

import logging
from logging import handlers

import redis
from flask import Flask

# 为了方便查看添加日志
rf_handler = handlers.TimedRotatingFileHandler(
    'redis.log', when='midnight', interval=1, backupCount=7)
rf_handler.setFormatter(
    logging.Formatter(
        "%(asctime)s %(filename)s line:%(lineno)d [%(levelname)s] %(message)s")
)
logging.getLogger().setLevel(logging.INFO)
logging.getLogger().addHandler(rf_handler)

app = Flask(__name__)

# connect redis
pool = redis.ConnectionPool(host='localhost', port=6379, decode_responses=True)
r = redis.Redis(connection_pool=pool)


def limit_handler():
    """
    return True: 允许; False: 拒绝
    """
    amount_limit = 100  # 限制数量
    keyname = 'limit'  # redis key name
    incr_amount = 1  # 每次增加数量

    # 判断key是否存在
    if not r.exists(keyname):
        # 为了方便测试，这里设置默认初始值为95
        # setnx可以防止并发时多次设置key
        r.setnx(keyname, 95)

    # 数据插入后再判断是否大于限制数
    if r.incrby(keyname, incr_amount) <= amount_limit:
        return True

    return False


@app.route("/limit")
def v2():
    if limit_handler():
        logging.info("successful")
    else:
        logging.info("failed")
    return 'limit'


if __name__ == '__main__':
    app.run(debug=True)

简单测试

测试工具 ab

安装

sudo apt install apache2-utils

测试命令

ab -c 100 -n 200 http://127.0.0.1:5000/limit
# －c表示并发数, －n表示请求数

测试结果

通过日志可以看到最多只有5个successful

部署测试

方案: supervisor + gunicorn + gevent

安装依赖

apt-get install supervisor
pip install gevent
pip install gunicorn

2.生成配置

echo_supervisord_conf > supervisord.conf

3.修改配置, 在supervisord.conf最后添加

[program:redis-limit]
directory = /home/dong/projects/py ; 程序的启动目录
command = gunicorn -k gevent -w 4 -b 0.0.0.0:5000 app:app  ; 启动命令, 使用gevent, 开启4个进程
autostart = true     ; 在 supervisord 启动的时候也自动启动
startsecs = 5        ; 启动 5 秒后没有异常退出，就当作已经正常启动了
autorestart = true   ; 程序异常退出后自动重启
startretries = 3     ; 启动失败自动重试次数，默认是 3
redirect_stderr = true  ; 把 stderr 重定向到 stdout，默认 false
stdout_logfile_maxbytes = 20MB  ; stdout 日志文件大小，默认 50MB
stdout_logfile_backups = 20     ; stdout 日志文件备份数
stdout_logfile = /home/dong/projects/py/limit_stdout.log

4.启动supervisor服务

supervisord -c ./supervisord.conf

5.查看supervisor应用

# 如果没有启动可以手动start redis-limit
supervisorctl -c ./supervisord.conf

6.测试

ab -c 100 -n 200 http://127.0.0.1:5000/limit

参考

redis命令行: www.redis.cn/commands.ht…
www.imooc.com/learn/1067

python版：单机redis实现秒杀，防止超限