安装模块
下载模块在cdm中 pip install pymysql
在pip文件中
db=pymysql.connect(user='root',password='',db='数据库名',charser='utf8')
cursor = db .cursor()
sql = 'insert into 表名(title,rank,rankValue) VALUES("{}","{}","{}")'.formart(title,rank,rankValue)
curson.execute(sql)
db.commit()
db.close()
returm item
mongo入库
db1=pymongo.MongoClient()['数据库名'][‘表名']
db1.insert(dict(item))
replace 用于替换 replace(’ ‘,’ ') 后面用来替换前面的
response返回网址内容
一.url为路径 yield返回给 下一个函数
def parse(self):
~~~~~`
url=i.xpath('路径').extract()[0]
yield scrapy.Request(url,self.show,meta={'变量名':变量名.........})
生成并返回给下一个函数
二.show函数 用来返回网址内容
def show(self,response):
tmp = reponse.xpath('路径').extract()[0]
变量名 = reponse.meta['变量名']
item['变量名']=变量名
yield item
