Redis Lua脚本中学教程（上）

失踪人口回来啦！

有读者问我为什么这么久都没有出Redis Lua中学教程，表示村头厕所已经好久没有纸了。其实我早就要写这篇中学教程了，奈何最近太忙了，就一拖再拖，直到今天我终于又开始动笔了。忘记Lua相关概念的同学可以先回顾一下小学教程。

中学教程主要分为两部分：Redis Lua的相关命令详解和Lua的语法介绍。

前面我们简单介绍了EVAL和EVALSHA命令。但是只有那点只是是没办法从中学毕业的，因此我们需要进行更深入的学习。

EVAL

最早可用版本：2.6.0

用法：EVAL script numkeys key [key ...] arg [arg ...]

关于用法我们已经演示过了，其中第一个参数是要执行的Lua脚本，第二个参数是传入脚本的参数个数。后面则是参数的key数组和value数组。

在Lua中执行Redis命令的方法我们也介绍过，就是使用redis.call()和redis.pcall()两个函数。它们之间唯一的不同就是当Redis命令执行错误时，redis.call()会抛出这个错误，使EVAL命令抛出错误，而redis.pcall()会捕获这个错误，并返回Lua的错误表。

通常我们约定执行命令的key都需要由参数传入，命令必须在执行之前进行分析，以确定它作用于哪个key。这样做的目的是为了在一定程度上保证EVAL执行的Lua脚本的正确性。

Lua和Redis之间数据类型的转换

在Redis执行EVAL命令时，如果脚本中有call()或者pcall()命令，就会涉及到Redis和Lua之间数据类型转换的问题。转换规则要求，一个Redis的返回值转换成Lua数据类型后，再转换成Redis数据类型，其结果必须和初始值相同。所以每种类型是一一对应的。转换规则如下：

Redis与Lua互相转换

Redis	Lua
integer	number
bulk	string
multi bulk	table
status	table with a single `ok` field
error	table with a single `err` field
Nil bulk &Nil multi bulk	false boolean type

除此之外，Lua到Redis的转换还有一些其他的规则：

Lua boolean true -> Redis integer reply with value of 1
Lua只有一种数字类型，不会区分整数和浮点数。而数字类型只能转换成Redis的integer类型，如果要返回浮点数，那么在Lua中就需要返回一个字符串。
Lua数组在转换成Redis类型时，遇到nil就停止转换

来个栗子验证一下：

EVAL "return {1,2,3.3333,'foo',nil,'bar'}" 0
1) (integer) 1
2) (integer) 2
3) (integer) 3
4) "foo"

可以看到bar没有返回，并且3.333返回了3。

脚本的原子性

Redis运行所有的Lua命令都使用相同的Lua解释器。当一个脚本正在执行时，其他的脚本或Redis命令都不能执行。这很像Redis的事务multi/exec。这意味着我们要尽量避免脚本的执行时间过长。

脚本整体复制

当脚本进行传播或者写入AOF文件时，Redis通常会将脚本本身进行传播或写入AOF，而不是使用它产生的若干命令。原因很简单，传播整个脚本要比传播一大堆生成的命令的速度要快。

从Redis3.2开始，可以只复制影响脚本执行结果的语句，而不用复制整个脚本。这个复制整个脚本的方法有以下属性：

如果输入相同，脚本必须输出相同的结果。即执行结果不能依赖于隐式的变量，或依赖于I/O输入
Lua不会导出访问系统时间或其他外部状态的命令
如果先执行了“随机命令”（如RANDOMKEY，SRANDMEMBER，TIME），并改变了数据集，接着执行脚本时会被阻塞。
在Redis4中，Lua脚本调用返回随机顺序的元素的命令时，会在返回之前进行排序，也就是说，调用redis.call("smembers",KEYS[1])，每次返回的顺序都相同。从Redis5开始就不需要排序了，因为Redis5复制的是产生影响的命令。
Lua修改了伪随机函数math.random和math.randomseed，使每次执行脚本时seed都相同，而如果不执行math.randomseed，只执行math.random时，每次的结果也都相同。

复制命令队列

在这种模式下，Redis在执行脚本时会收集所有影响数据集的命令，当脚本执行完毕时，命令队列会被放在事务中，发送给AOF文件。

Lua可以通过执行redis.replicate_commands()函数来检查复制模式，如果返回true表示当前是复制命令模式，如果返回false，则是复制整个脚本模式。

可选择的复制命令

脚本复制模式选择好以后，就可以对复制到副本和AOF的方式进行更多的控制。这是一种高级特性，因为滥用会切断主从备份，和AOF持久化。如果我们只需要在master上执行某些命令时，这一特性就变得很有用。例如我们需要计算一些中间值时，只需要在master上计算就好，那么这些命令就不必进行复制。

从Redis3.2开始，有一个新的命令叫做redis.set_repl()，它可以用来控制复制方式，有如下选项（默认是REPL_ALL）：

redis.set_repl(redis.REPL_ALL) -- Replicate to AOF and replicas.
redis.set_repl(redis.REPL_AOF) -- Replicate only to AOF.
redis.set_repl(redis.REPL_REPLICA) -- Replicate only to replicas (Redis >= 5)
redis.set_repl(redis.REPL_SLAVE) -- Used for backward compatibility, the same as REPL_REPLICA.
redis.set_repl(redis.REPL_NONE) -- Don't replicate at all.

全局变量

为了避免数据泄露，Redis脚本不允许创建全局变量。如果必须有一个公共变量，可以使用Redis的key来代替。在EVAL命令中创建一个全局变量会引起一个异常。

> eval 'a=10' 0
(error) ERR Error running script (call to f_933044db579a2f8fd45d8065f04a8d0249383e57): user_script:1: Script attempted to create global variable 'a

关于SELECT的使用

在Lua脚本中使用SELECT就像在正常客户端中使用一样。值得一提的是，在Redis2.8.12之前，Lua脚本中执行SELECT是会影响到客户端的，而从2.8.12开始，Lua脚本中的SELECT只会在脚本执行过程中生效。这点在Redis版本升级时需要注意，因为升级前后，命令的语义会改变。

可用的库

Lua脚本中有许多库，但并不是都能在Redis中使用，其中可以使用的有：

base lib.
table lib.
string lib.
math lib.
struct lib.
cjson lib.
cmsgpack lib.
bitop lib.
redis.sha1hex function.
redis.breakpoint and redis.debug function in the context of the Redis Lua debugger.

struct, CJSON and cmsgpack是外部库，其他的都是Lua的标准库。

在脚本中打印Redis日志

使用redis.log(loglevel,message)函数可以在Lua脚本中打印Redis日志。

loglevel包括：

redis.LOG_DEBUG
redis.LOG_VERBOSE
redis.LOG_NOTICE
redis.LOG_WARNING

它们与Redis的日志等级是对应的。

沙箱和最大执行时间

脚本不应该访问外部系统，包括文件系统和其他系统。脚本应该只能操作Redis数据和传入进来的参数。

脚本默认的最大执行时间是5秒（正常脚本执行时间都是毫秒级，所以5秒已经足够长了）。可以通过修改lua-time-limit变量来控制最大执行时间。

当脚本执行时间超过最大执行时间时，并不会被自动终止，因为这违反了脚本的原子性原则。当一个脚本执行时间过长时，Redis会有如下操作：

Redis记录下这个脚本执行时间过长
其他客户端开始接收命令，但是所有的命令都会会返回繁忙，除了SCRIPT KILL 和 SHUTDOWN NOSAVE
如果一个脚本仅执行只读命令，则可以用SCRIPT KILL命令来停止它。
如果脚本执行了写入命令，那么只能用SHUTDOWN NOSAVE来终止服务器，当前的所有数据都不会保存到磁盘。

EVALSHA

最早可用版本：2.6.0

用法：EVALSHA sha1 numkeys key [key ...] arg [arg ...]

该命令用来执行缓存在服务器上的脚本，sha1为脚本的唯一标识。

使用EVAL命令必须每次都要把脚本从客户端传到服务器，由于Redis的内部缓存机制，它并不会每次都重新编译脚本，但是传输上仍然浪费带宽。

另一方面，如果使用特殊命令或者通过redis.conf来定义命令会有以下问题：

不同实例有不同的实现方式
发布将会很困难，特别是分布式环境，因为要保证所有实例都包含给定的命令
读应用程序代码时，由于它调用了服务端命令，会不清楚代码的语义

为了避免这些问题，同时避免浪费带宽，Redis实现了EVALSHA命令。

如果服务器中没有缓存指定的脚本，会返回给客户端脚本不存在的错误信息。

SCRIPT DEBUG

最早可用版本：3.2.0

时间复杂度：O(1)

用法：SCRIPT DEBUG YES|SYNC|NO

该命令用于设置随后执行的EVAL命令的调试模式。Redis包含一个完整的Lua调试器，代号为LDB，可以使编写复杂脚本的任务更加简单，在调试模式下，Redis充当远程调试服务器，客户端可以逐步执行脚本，设置断点，检查变量等。想了解更多调试器内容的可以查看官方文档Redis Lua debugger。

LDB可以设置成异步或同步模式。异步模式下，服务器会fork出一个调试会话，不会阻塞主会话，，调试会话结束后，所有数据都会回滚。同步模式则会阻塞会话，并保留调试过程中数据的改变。

SCRIPT EXISTS

最早可用版本：2.6.0

时间复杂度：O(N)，N是脚本数量

返回脚本是否存在于缓存中（存在返回1，不存在返回0）。这个命令适合在管道前执行，以保证管道中的所有脚本都已经加载到服务器端了，如果没有，需要用SCRIPT LOAD命令进行加载。

SCRIPT FLUSH

最早可用版本：2.6.0

时间复杂度：O(N)，N是缓存中的脚本数

刷新缓存中的脚本，这一命令常在云服务上被使用。

SCRIPT KILL

最早可用版本：2.6.0

时间复杂度：O(1)

停止当前正在执行的Lua脚本，通常用来停止执行时间过长的脚本。停止后，被阻塞的客户端会抛出一个错误。

SCRIPT LOAD

最早可用版本：2.6.0

时间复杂度：O(N)，N是脚本的字节数

该命令用于将脚本加载到服务器端的缓存中，但不会执行。加载后，服务器会一直缓存，因为良好的应用程序不太可能有太多不同的脚本导致内存不足。每个脚本都像一个新命令的缓存，所以即使是大型应用程序，也就有几百个，它们占用的内存是微不足道的。

小结

本文介绍了Redis Lua相关的命令。其中EVAL和EVALSHA用来执行脚本。脚本执行具有原子性。脚本的复制和传播可以根据需要设置。脚本中不能定义全局变量。