创建项目
scrapy start project projectname
目录格式
tutorial/
scrapy.cfg
tutorial/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
...
定义Item.py
item.py 定义爬取数据的容器,数据类型,类似python中字典,在item中定义我们要获取的数据
import scrapy
class DmozItem(scrapy.Item):
title = scrapy.Field()
link = scrapy.Field()
desc = scrapy.Field() #field 域,场地的意思