Python笔记003-生成器和生成器表达式

433 阅读5分钟

Python笔记003-生成器和生成器表达式

以下是我学习《流畅的Python》后的个人笔记,现在拿出来和大家共享,希望能帮到各位Python学习者。

首次发表于: 微信公众号:科技老丁哥,ID: TechDing,敬请关注。

本篇主要知识点:

  1. 生成器使用yield做关键字,一次只返回一个值给调用者,然后暂停执行,其作用是:节省内存空间。

  2. 生成器可以用next()函数,也可以用for迭代的方式获取元素值,中间还可以用close()来随时终止生成器。

  3. 生成器表达式可以认为是一种特殊的生成器,其代码更简洁,更容易理解,且和别的函数结合会更加灵活。

1. 生成器

生成器是Python中一个特殊的程序,用于控制循环的迭代行为。相对于一般函数用return来一次性返回所有值,生成器使用yield关键字,一次只返回一个值。

这样的设计有很大的好处:在数据处理时,如果函数return出来的是一个非常大的数组,那么会非常占用内存,有时会报MemoryError的错误,而使用yield后一次仅仅返回一个元素值,可以优化内存占用的情况。

从这种角度来讲,生成器函数每一次调用都返回一个元素值,这种特性使得生成器长得像函数,但行为却像迭代器。

def squares(x): # 计算0-x的所有数的平方
#     return [i*i for i in range(x)] # 普通写法,一次返回一个list,包含所有元素
    for i in range(x):
        yield i*i # 生成器:一次只返回一个值
print(squares(5)) # <generator object squares at 0x00000157DBD16830>
# 获取生成器中的元素值
for value in squares(5): # 行为类似于迭代器,循环获取元素值
    print('value: ',value)

生成器并不像一般的函数,它返回一个值后,生成器函数会自动挂起,等到下一次调用时(使用其内部成员方法__next__来实现),再返回到这个函数中继续执行。

所以要想获取生成器的元素值,需要通过成员方法next()来进行,比如:

square_five=squares(5)
print(next(square_five)) # 0
print(next(square_five)) # 1
print(next(square_five)) # 4
print(next(square_five)) # 9
print(next(square_five)) # 16
print(next(square_five)) # 报错:StopIteration: 超过yield的所有元素

next()函数每次执行时,都会继续执行挂起的生成器函数,直到执行完毕。

生成器的这种特点被称为"延迟计算"或"惰性求值(Lazy evaluation)",可以有效的节省内存。惰性求值实际上是体现了协同程序的思想。

虽然生成器的这种行为类似于迭代器,但两者有较大差别,迭代器不具备这种执行-暂停-再执行-再暂停的特性,所以迭代器不具有延迟计算,没有协同程序的思想。

使用延迟计算后,可以极大的节省内存,比如对大文件进行读取操作时,可以用下列生成器方法:

## 读取大文件的生成器方法:
def load_big_file(file_path):
    BLOCK_SIZE = 1024
    with open(file_path, 'rb') as f:
        while True:
            block = f.read(BLOCK_SIZE)
            if block:
                yield block # 一次只加载一个block到内存中,避免MemoryError
            else:
                return

生成器除了用next()函数来处理之外,还可以用close()来随时退出生成器。如下代码:

## 使用close()可以随时退出生成器
square_five=squares(5)
print(next(square_five)) # 0
print(next(square_five)) # 1
print(next(square_five)) # 4
square_five.close() # 退出生成器
print(next(square_five)) # Error: StopIteration:
print(next(square_five)) # Error: StopIteration:

2. 生成器表达式

从形式上来看,生成器表达式和列表推导式很像,仅仅是将列表推导式中的[]替换为(),但是两者差别挺大,生成器表达式可以说组合了迭代功能和列表解析功能。

生成器表达式可以认为是一种特殊的生成器函数,类似于lambda表达式和普通函数。但是和生成器一样,生成器表达式也是返回生成器generator对象,一次只返回一个值。

# 上面的squares函数可以改写为:
# 列表推导式的写法是:
squares_list=[i*i for i in range(5)] # 一次性返回整个list
print('列表推导式:',squares_list) # 列表推导式: [0, 1, 4, 9, 16]
# 生成器表达式:
squares2=(i*i for i in range(5)) # 生成器表达式一次返回一个值
print('生成器表达式:',squares2) # 生成器表达式: <generator object ..
print(next(squares2)) # 0
print(next(squares2)) # 1
print(next(squares2)) # 4

生成器表达式是一种特殊的生成器,所以它也有生成器的特性,可以使用for循环来获取元素值,for循环内部自动调用了next()函数来执行。

# generator对象可以直接用for来获取所有元素值
squares2=(i*i for i in range(5)) # 生成器表达式就是一个generator对象
for i in squares2:
    print('i: ',i)

# 上面可以简写为:
[print('i: ',i) for i in (i*i for i in range(5))]

生成器表达式如果作为某个函数的参数,则可以省略掉(),直接使用即可,eg:

## 如果生成器表达式整个作为某个函数的参数,可以省略掉()
max_value=max(i*i for i in range(5))  # 计算生成器的所有元素中的最大值
print(max_value) # 16

首次发表于: 微信公众号:科技老丁哥,ID: TechDing,敬请关注。

本文所有代码都已经上传到我的github,欢迎下载

参考资料:

  1. 《流畅的Python》,Luciano Ramalho (作者) 安道 , 吴珂 (译者)。