1.机器视觉介绍
现在说的机器视觉(Machine Vision)一般指的是计算机视觉(Computer Vision)，简单来说就是研究如何使得机器看懂东西，利用摄像机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像，当前两者已不存在较大区别。
首先在很多文献中，计算机视觉与机器视觉是不加区分的，但其实这两个术语既有区别又有联系的。计算机视觉是采用图像处理、模式识别、人工智能技术相结合的手段，着重于一幅或多幅图像的计算机分析。机器视觉则偏重于计算机视觉技术工程化，能够自动获取和分析特定图像，以控制相应的行为。
1.1 机器视觉的应用
物体识别，人体识别，车辆检测，OCR （Optical Character Recognition，光学字符识别）
2.OpenCV介绍
OpenCV是一个基于Apache2.0许可（开源）发行的跨平台计算机视觉 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像识别和计算机视觉方面的很多通用算法。
OpenCV用C++语言编写，它具有C ++，Python，Java和MATLAB接口，并支持Windows，Linux，Android和Mac OS，OpenCV主要倾向于实时视觉应用，并在可用时利用MMX和SSE指令， 如今也提供对于C#、Ch、Ruby，GO的支持。 [2]
3.OpenCV环境安装
3.1安装步骤
首先 pip install virtualenv 安装该包 便于创建虚拟环境
在你指定的文件夹下创建虚拟环境 如virtualenv venv
在venv/Scripts中进入cmd环境 输入activate激活虚拟环境
在激活的虚拟环境中执行下列语句:
pip install opencv-python==3.4.11.45 -i https://pypi.douban.com/simple
pip install opencv-contrib-python==3.4.11.45 -i https://pypi.douban.com/simple
pip install jupyter -i https://pypi.douban.com/simple
pip install matplotlib -i https://pypi.douban.com/simple
至此就安装好了必备的环境
【安装低版本OpenCV是因为高版本中部分算法申请了专利】
或是进入OpenCV官网下载对应的.exe文件进行执行。
3.2安装测试
同样在虚拟环境文件夹内进入cmd环境
输入activate激活虚拟环境
输入ipython进入python环境
import cv2
cv2.__version__
# 获得打印结果 是安装时选择的版本号
# 此处我的电脑安装版本为 3.4.11
4.创建显示窗口
4.1方法介绍
- namedWindow()
- imshow()
- destroyAllwindows()
- resizeWindow()
- waitKey()
4.2简单案例
import cv2
# 创建窗口
# cv2.WINDOW_AUTOSIZE 大小自动 不允许开发者修改
# cv2.namedWindow('window',cv2.WINDOW_AUTOSIZE)
cv2.namedWindow('window',cv2.WINDOW_NORMAL)
# 更改窗口大小
cv2.resizeWindow('window',800,600)
# 展示窗口
cv2.imshow('window',0)
# 等待按键
# waitKey会返回按键的ascii的值
# 0表示接受任意按键 如果给其他的整数，则表示等待按键的时间。
key = cv2.waitKey(0)
if key & 0xFF == ord('q'):
cv2.destroyAllWindows()
# 若接收到按键q 则销毁所有窗口
简单的纯黑色窗口，敲击键盘按键‘q’后窗口会被关闭
5.窗口显示图像
5.1方法介绍
- imread(path) ——读取指定路径的文件
5.2简单案例
# 导包
import cv2
import matplotlib.pyplot as plt
import numpy as np
# 读取图片
img = cv2.imread('img/dog.jpg')
# 显示图片
plt.imshow(img)
OpenCV读取图片的通道不是默认的RGB，而是BGR，因此使用matplotlib.pyplot显示的图片与原图存在色差。
因此使用OpenCV进行图片的读取后，同时也需要使用OpenCV进行图片的展示，修改为如下代码：
# 导包
import cv2
import matplotlib.pyplot as plt
import numpy as np
# 读取图片
img = cv2.imread('img/dog.jpg')
# 显示图片
plt.imshow(img)
cv2.imshow('img',img)
key = cv2.waitKey(0)
if key & 0xFF == ord('q'):
cv2.destroyAllWindows()
图片显示为正常颜色:
将图片显示封装为函数 便于之后调用。
import cv2
def cv_show(name, img):
cv2.imshow(name,img)
key = cv2.waitKey(0)
if key & 0xFF == ord('q'):
cv2.destroyAllWindows()
6.窗口保存图片
6.1方法介绍
- imwrite(path, img) ——向指定path写入图片img
6.2简单案例
import cv2
cv2.namedWindow('img',cv2.WINDOW_NORMAL)
cv2.resizeWindow('img',320,240)
img = cv2.imread('img/dog.jpg')
while True:
cv2.imshow('img',img)
key = cv2.waitKey(0)
if key & 0xFF == ord('q'):
print('程序中止')
break
if key & 0xFF == ord('s'):
cv2.imwrite("./dog.png",img)
print('dog.png已保存')
else:
print(key)
cv2.destroyAllWindows()
敲击键盘’s’后 我们的文件系统中保存了dog.png图片
而敲击键盘‘q’后 程序窗口关闭。
7.视频采集(本地视频+调用摄像头设备)
7.1方法介绍
- VideoCapture(0) ——捕获摄像头，用数字来表示不同的设备，如0或1
- VideoCapture(video) ——捕获本地视频资源
7.2简单案例
#尝试打开mp4文件
import cv2
vc = cv2.VideoCapture('video/0.mp4')
if vc.isOpened():
# 每次读取一帧 视频则是由连续的帧组成
open,frame = vc.read()
else:
open = False
得open为True 证明打开视频文件成功，frame为读取的图片格式。
# -*- coding: <encoding name> -*- : # -*- coding: utf-8 -*-
import cv2
cv2.namedWindow('video',cv2.WINDOW_NORMAL)
cv2.resizeWindow('video',640, 480)
# 对cap的赋值语句只能够保存一行
# 读取摄像头设备
#cap = cv2.VideoCapture(0)
# 播放video/0.mp4文件
cap = cv2.VideoCapture('video/0.mp4')
# 循环读取
while True:
ret, frame = cap.read()
if not ret:
break
cv2.imshow('video',frame)
# 此处不能使用0作为等待参数 因为0会导致无限等待！
key = cv2.waitKey(1)
if key & 0xFF == ord('q'):
break;
if key & 0xFF == ord('s'):
cv2.imencode('.png', frame)[1].tofile('img/截图.png')
print('截图已保存')
# 记得释放资源
cap.release()
cv2.destroyAllWindows()
若敲击键盘’s‘将会对此刻视频播放的该帧或是摄像头捕捉的画面进行截图保存
文件保存地址为当前目录的img文件夹下 图片名称为截图.png
8.录制视频
8.1方法介绍
- VideoWriter:参数一为输出文件地址 参数二为多媒体文件格式 参数三为帧率 参数四为分辨率
- write 编码并写入缓存
- release 缓存内容写入磁盘，并释放磁盘
8.2简单案例
import cv2
# 调用摄像头设备
cap = cv2.VideoCapture(0)
# *mp4v是解包操作 = ['m','p','4','v']
# 选定文件格式mp4
fourcc = cv2.VideoWriter_fourcc(*'mp4v')
vw = cv2.VideoWriter('video/output.mp4',fourcc,20,(640,480))
# 事件循环
while cap.isOpened():
# 读取摄像头内容
ret, frame = cap.read()
# 如果未能读取成功 则证明视频录制未在进行工作
if not ret:
print('can not recive frame, Exiting...')
break
# 将读取的画面写入缓存区中
vw.write(frame)
# 将摄像头抓拍内容显示屏幕中
cv2.imshow('frame',frame)
# 按键q则停止录制
if cv2.waitKey(1) == ord('q'):
break
# 记得释放资源 否则内容无法有效保存至内存中
cap.release()
vw.release()
cv2.destroyAllWindows()
在video路径下保存了output.mp4文件 这也是刚刚录的视频。
9.鼠标行为
9.1方法介绍
-
setMouseCallback(winname,callback,userdata)
-
设置鼠标事件(窗口名称，回调函数，回调函数参数)
-
callback(event,x,y,flags,uesrdata)
-
Event具有固定的选择，是鼠标事件的类型。
-
X 和 Y是鼠标的坐标，单位是像素
-
flags用于组合按键
-
uesrdata与setMouseCallback中同名参数相对应
鼠标事件Event的类型:
| 常量 | 变量名 | 鼠标行为 |
|---|---|---|
| 1 | EVENT_MOUSEMOVE | 鼠标移动 |
| 2 | EVENT_LBUTTONDOWN | 按击鼠标左键 |
| 3 | EVENT_RBUTTONDOWN | 按击鼠标右键 |
| 4 | EVENT_MBUTTONDOWN | 按击鼠标中键 |
| 5 | EVENT_LBUTTONUP | 松开鼠标左键 |
| 6 | EVENT_RBUTTONUP | 松开鼠标右键 |
| 7 | EVENT_MBUTTONUP | 松开鼠标中键 |
| 8 | EVENT_LBUTTONDBLCLK | 双击鼠标左键 |
| 9 | EVENT_RBUTTONDBLCLK | 双击鼠标右键 |
| 10 | EVENT_MBUTTONDBLCLK | 双击鼠标中键 |
| 11 | EVENT_MOUSEHWHEEL | 左右滚动鼠标 |
组合按键flags的类型:
| 常量 | 变量名 | 按键事件 |
|---|---|---|
| 1 | EVENT_FLAG_LBUTTON | 按下左键 |
| 2 | EVENT_FLAG_RBUTTON | 按下右键 |
| 4 | EVENT_FLAG_MBUTTON | 按下中键 |
| 8 | EVENT_FLAG_CRTLKEY | 按下ctrl键 |
| 16 | EVENT_FLAG_SHIFTKEY | 按下shift键 |
| 32 | EVENT_FLAG_ALTKEY | 按下alt键 |
9.2简单案例
# 导包
import cv2
import numpy as np
# 生成全黑的图片 用作初始背景
img = np.zeros((360,640,3),np.uint8)
# 创建名为‘mouse’的窗口
cv2.namedWindow('mouse',cv2.WINDOW_NORMAL)
cv2.resizeWindow('mouse', 640, 360)
# 设置鼠标回调函数
cv2.setMouseCallback('mouse',mouse_callback,'2')
# 鼠标事件
def mouse_callback(event, x, y, flags, userdata):
# 如果鼠标发生事件4所代表的行为 则执行下列函数
if event == 4:
cv2.destroyAllWindows()
# 读取img文件路径下的dog.jpg
img = cv2.imread('img/dog.jpg')
# 重新创建名为dog的窗口
cv2.namedWindow('dog',cv2.WINDOW_NORMAL)
cv2.resizeWindow('dog', 640, 360)
# 事件循环 展示dog图片
while True:
cv2.imshow('dog',img)
key = cv2.waitKey(1)
#'q'则退出
if key & 0xFF == ord('q'):
break
cv2.destroyAllWindows()
# 显示窗口和背景
while True:
cv2.imshow('mouse',img)
key = cv2.waitKey(1)
#'q'则退出
if key & 0xFF == ord('q'):
break
cv2.destroyAllWindows()
1.运行程序
2.触发鼠标事件
3.触发按键事件 窗口关闭
10.可拖动控件TrackBar
10.1方法介绍
- createTrackbar(trackbarname,winname,value,count,onChange)
- 创建TrackBar控件 value为trackbar的默认值 count为bar的最大值,最小值为0
- getTrackbarPos(trackbarname,winname)获取TrackBar当前值
10.2简单案例
## trackbar
import cv2
import numpy as np
# 创建窗口
cv2.namedWindow('trackbar', cv2.WINDOW_NORMAL)
cv2.resizeWindow('mouse',640,480)
# 定义回调函数
def callback(value):
print(value)
# 创建trackbar
cv2.createTrackbar('R','trackbar',0,255,callback)
cv2.createTrackbar('G','trackbar',0,255,callback)
cv2.createTrackbar('B','trackbar',0,255,callback)
# 创建一个背景图片
img = np.zeros((480,640,3),np.uint8)
# 事件循环
while True:
# 获取当前trackbar的值
r = cv2.getTrackbarPos('R','trackbar')
g = cv2.getTrackbarPos('G','trackbar')
b = cv2.getTrackbarPos('B','trackbar')
# 改变背景图片颜色
# 全部行列(所有像素点)均修改为getTrackbarPos()的值
img[:] = [b, g, r]
# OpenCV的色彩空间为BGR
cv2.imshow('trackbar',img)
key = cv2.waitKey(1)
if key & 0xFF == ord('q'):
break
cv2.destroyAllWindows()
1.运行程序
2.拖动控件TrackBar 观察颜色实时变化
10.3补充:色彩空间
- 用于识别色彩的人眼以及常见的色彩空间均为RGB
- 但OpenCV默认使用的是BGR；BGR和RGB色彩空间的区别在于图片在色彩通道上的排列顺序不同。