scrapy项目在Linux服务器上部署时，如果不想采用scrapyd(官方文档)的方式。启动命令如果使用scrapy crawl {spider}，执行一次就会停止，如果使用死循环的cmdline方式也是执行一次就停止。
最后在网上看到使用subprocess.Popen()方法，这个方法可以保证能够循环执行。
但是，如果需要在liunx服务器上跑的话，还是需要加上shell=True这个参数。不然，它会报找不到这个命令。
下面是我的scrapy项目的start.py文件的改动，不想使用scrapyd部署的可以看一下，如果有问题或者有好的办法，希望能与我沟通，共同学习。
import subprocess
import time
import os
CYCLE_TIME = 30
spiders = ['spider1', 'spider2', 'spider3', 'spider4']
cmd = 'scrapy crawl {}'
i = 0
while True:
for s in spiders:
subprocess.Popen(cmd.format(s), shell=True if os.name == 'posix' else False)
i += 1
print("第{}轮执行".format(i))
time.sleep(CYCLE_TIME)
# os.name 在windows上是nt, linux上是posix
# 启动命令可以采用nohup python -u start.py &