Flask+gunicorn部署深度学习报错gunicorn: error: argument -b: invalid int value ‘0.0.0.0:8000’
项目场景:
将客户端的请求经由Web服务器转发给Flask程序实例,调用Pytorch深度学习模型。
为了实现并发,采用 gunicorn 来部署Flask服务。
具体调用代码可参考以下两个博文。
第一篇博文介绍Flask实现Web服务调用Pytorch深度学习模型实现手写数字识别。
第二篇博文介绍采用gunicorn实现Web服务调用的多并发。
Flask实现Web服务调用Python程序
Flask+gunicorn实现web服务并发调用Python程序,解决多线程/多进程问题
问题描述:
模型和框架都部署好后,采用如下指令启动服务:
gunicorn -w 5 -b 0.0.0.0:8000 main:app
出现报错:
gunicorn: error: argument -b: invalid int value '0.0.0.0:8000'
原因分析:
博主尝试了逐行定位,发现问题主要存在于深度学习模型代码中的环境参数与gunicorn有冲突。因此在使用时务必注意:
gunicorn与args命令行参数共用会报错!!!
解决方案:
以Pytorch实现cifar-100分类深度学习模型为例,以下是模型 test.py 的代码:
import argparse
from matplotlib import pyplot as plt
import torch
import torchvision.transforms as transforms
from torch.utils.data import DataLoader
from conf import settings
from utils import get_network, get_test_dataloader
if __name__ == '__main__':
parser = argparse.ArgumentParser()
parser.add_argument('-net', type=str, required=True, help='net type')
parser.add_argument('-weights', type=str, required=True, help='the weights file you want to test')
parser.add_argument('-gpu', action='store_true', default=False, help='use gpu or not')
parser.add_argument('-b', type=int, default=16, help='batch size for dataloader')
args = parser.parse_args()
net = get_network(args)
cifar100_test_loader = get_test_dataloader(
settings.CIFAR100_TRAIN_MEAN,
settings.CIFAR100_TRAIN_STD,
#settings.CIFAR100_PATH,
num_workers=4,
batch_size=args.b,
)
net.load_state_dict(torch.load(args.weights))
print(net)
net.eval()
correct_1 = 0.0
correct_5 = 0.0
total = 0
with torch.no_grad():
for n_iter, (image, label) in enumerate(cifar100_test_loader):
print("iteration: {}\ttotal {} iterations".format(n_iter + 1, len(cifar100_test_loader)))
if args.gpu:
image = image.cuda()
label = label.cuda()
print('GPU INFO.....')
print(torch.cuda.memory_summary(), end='')
output = net(image)
_, pred = output.topk(5, 1, largest=True, sorted=True)
label = label.view(label.size(0), -1).expand_as(pred)
correct = pred.eq(label).float()
#compute top 5
correct_5 += correct[:, :5].sum()
#compute top1
correct_1 += correct[:, :1].sum()
if args.gpu:
print('GPU INFO.....')
print(torch.cuda.memory_summary(), end='')
print()
print("Top 1 err: ", 1 - correct_1 / len(cifar100_test_loader.dataset))
print("Top 5 err: ", 1 - correct_5 / len(cifar100_test_loader.dataset))
print("Parameter numbers: {}".format(sum(p.numel() for p in net.parameters())))
由于gunicorn与args命令行参数共用会报错,因此我们需要把19行作如下修改:
args = parser.parse_args() 改为 args = parser.parse_args(args=[])
这个坑确实很隐蔽,望避免~