版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/D_iRe_Wol_F/article/details/81235148
最近开始接触爬虫,在使用Scrapy的过程中,遇到了一些python基础知识,借此做一下记录和总结。
1. 生成器
生成器,需要和迭代器一起来理解。
先看下对比:
迭代器:mylist=[x*x for x in range(3)]
生成器:mygen=(x*x for x in range(3))
- 迭代器,就是类似于
for x in mylist:
这样的形式。
其中mylist
就是可迭代对象,这样的值在迭代过程中是全部存在于内存中,可想而知,如果是大量的数据这样就浪费了很多资源,因为在实际操作中,你可能只需要其中的几个数据,但是迭代是直接迭代完所有可迭代对象的所有数据。 - 生成器,也是可以进行迭代的。但是关键就在于,只可以读取它一次,也就是需要它的时候,它才被拿来使用,其他时间都没他什么事。这样就可以很好解决资源存在的浪费问题。
想举个例子,那就打印一下呗。
>>> mylist=[x*x for x in range(3)]
>>> print(mylist)
[0, 1, 4]
>>> mygen=(x*x for x in range(3))
>>> print(mygen)
<generator object <genexpr> at 0x0000018803CA5480>
这个结果可以看出,直接打印mylist
是可以成功的,而打印mygen
就只显示一个内存位置。
这结果很符合生成器这青蛙类型,掇一下,跳一下。你具体需要啥再叫我,不要老想着全部给你。
而要打印生成器,则需要使用next()
,当然这个很变态,还是用for...in...
来迭代好了。
next()打印
>>> next(mygen)
0
>>> next(mygen)
1
>>> next(mygen)
4
>>> next(mygen)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIteration
迭代打印
>>> mygen=(x*x for x in range(3))
>>> for x in mygen:
... print(x)
...
0
1
4
>>>
迭代的意思就是我偏要你这青蛙全部的信息,那就连续掇你,因为它是可以迭代的,所以每次迭代就相当于每次掇一掇:)
2. yield
我对yield
关键字的理解就是类似于return
。但是它是返回一个生成器,直接上例子。
mylist=range(3)
print(mylist)
range(0, 3)
def cG():
mylist=range(3)
for i in mylist:
print("开始第"+str(i)+"次调用函数")
mygen=cG()
print(mygen)
for i in mygen:
print(i)
通过结果可以看出一些猫腻。
打印形式如上面的形式,其中红框后,可以看见cG
生成方法中出现调用信息。也即是,开始迭代的时候,这mygen
才急忙跑去生成一个值。这个例子也可以对生成器有一定的理解。
而这所有的一切,都是因为一个yield
关键字的出现,使整个方法返回一个生成器对象,也就是红框中那个神奇的生成器对象。