图像作为一个像素矩阵,TensorFlow提供了多个函数用于图像处理。TensorFlow的图像处理部分和OpenCV不同,主要服务于深度学习。比如图像的旋转不变性等等。在功能上肯定不如OpenCV丰富。
1、图像编码处理
虽然图片就是一个三维矩阵,但是所有的图片存储时都会被压缩,也就是编码和解码的过程。所以我们从一张图像得到三维矩阵,首先需要解码。
import matplotlib.pyplot as plt
import tensorflow as tf
import numpy as np
# 对图片进行解码,并且修改其大小,将其打印出来(矩阵值)
image_raw_data = tf.gfile.FastGFile('datasets/cat.jpg','rb').read()
with tf.Session() as sess1:
img_data = tf.image.decode_jpeg(image_raw_data)
print(img_data.eval())
img_data.set_shape([1797, 2673, 3])
print(img_data.get_shape())
# 利用matplotlib,打印图片
with tf.Session() as sess2:
plt.imshow(img_data.eval())
print(img_data.get_shape())
plt.show()
2、图像大小调整
对图像的大小进行调整,TensorFlow提供了多种方法,现总结如下。
2.1 放大 缩小
# 对图片进行放大缩小处理,原图信息不变,但是尺寸发生变化
with tf.Session() as sess3:
# 首先将图像的像素值从0-255,变成浮点数 0-1
image_float = tf.image.convert_image_dtype(img_data, tf.float32)
resized = tf.image.resize_images(image_float, [300,300], method=0)
plt.imshow(resized.eval())
plt.show()
调整大小算法(method):
- method = 0:双线性插值;
- method = 1:最近邻插值;
- method = 2:双三次插值;
- method = 3:面积插值法;
2.2 裁剪 填充
对其进行裁剪或者填充.但是原图像的大小并没有变.
with tf.Session() as sess:
croped = tf.image.resize_image_with_crop_or_pad(img_data, 1000, 1000)
padded = tf.image.resize_image_with_crop_or_pad(img_data, 3000, 3000)
plt.imshow(croped.eval())
plt.show()
plt.imshow(padded.eval())
plt.show()
2.3 按比例调整大小
截取中间50%的图片
with tf.Session() as sess:
central_cropped = tf.image.central_crop(img_data, 0.5)
plt.imshow(central_cropped.eval())
plt.show()
3、图像翻转
对图像进行上下,左右的翻转。
with tf.Session() as sess:
# 上下翻转
#flipped1 = tf.image.flip_up_down(img_data)
# 左右翻转
#flipped2 = tf.image.flip_left_right(img_data)
#对角线翻转
transposed = tf.image.transpose_image(img_data)
plt.imshow(transposed.eval())
plt.show()
# 以一定概率上下翻转图片。
#flipped = tf.image.random_flip_up_down(img_data)
# 以一定概率左右翻转图片。
#flipped = tf.image.random_flip_left_right(img_data)
4、对图像进行色彩调整
with tf.Session() as sess:
# 在进行一系列图片调整前,先将图片转换为实数形式,有利于保持计算精度。
image_float = tf.image.convert_image_dtype(img_data, tf.float32)
# 将图片的亮度-0.5。
#adjusted = tf.image.adjust_brightness(image_float, -0.5)
# 将图片的亮度-0.5
#adjusted = tf.image.adjust_brightness(image_float, 0.5)
# 在[-max_delta, max_delta)的范围随机调整图片的亮度。
adjusted = tf.image.random_brightness(image_float, max_delta=0.5)
# 将图片的对比度-5
#adjusted = tf.image.adjust_contrast(image_float, -5)
# 将图片的对比度+5
#adjusted = tf.image.adjust_contrast(image_float, 5)
# 在[lower, upper]的范围随机调整图的对比度。
#adjusted = tf.image.random_contrast(image_float, lower, upper)
# 在最终输出前,将实数取值截取到0-1范围内。
adjusted = tf.clip_by_value(adjusted, 0.0, 1.0)
plt.imshow(adjusted.eval())
plt.show()
5、调整图像色相和饱和度
with tf.Session() as sess:
# 在进行一系列图片调整前,先将图片转换为实数形式,有利于保持计算精度。
image_float = tf.image.convert_image_dtype(img_data, tf.float32)
adjusted = tf.image.adjust_hue(image_float, 0.1)
#adjusted = tf.image.adjust_hue(image_float, 0.3)
#adjusted = tf.image.adjust_hue(image_float, 0.6)
#adjusted = tf.image.adjust_hue(image_float, 0.9)
# 在[-max_delta, max_delta]的范围随机调整图片的色相。max_delta的取值在[0, 0.5]之间。
#adjusted = tf.image.random_hue(image_float, max_delta)
# 将图片的饱和度-5。
#adjusted = tf.image.adjust_saturation(image_float, -5)
# 将图片的饱和度+5。
#adjusted = tf.image.adjust_saturation(image_float, 5)
# 在[lower, upper]的范围随机调整图的饱和度。
#adjusted = tf.image.random_saturation(image_float, lower, upper)
# 将代表一张图片的三维矩阵中的数字均值变为0,方差变为1。
#adjusted = tf.image.per_image_whitening(image_float)
# 在最终输出前,将实数取值截取到0-1范围内。
adjusted = tf.clip_by_value(adjusted, 0.0, 1.0)
plt.imshow(adjusted.eval())
plt.show()
6、对图片增加标注框
# 在图片中添加标注框,和裁剪
with tf.Session() as sess8:
# 生成标准框
# 设置标注框的位置
boxes = tf.constant([[[0.05, 0.05, 0.9, 0.7], [0.35, 0.47, 0.5, 0.56]]])
# 图片太大,标注框无法显示,所以将图片变小
image_small = tf.image.resize_images(image_float, [180, 267], method=0)
# 对数据进行扩充,将其变为4维矩阵
batchced_img = tf.expand_dims(image_small, 0)
# draw_bounding_boxes处理多张图片,所以是一个四维矩阵,需要对原图像进行扩充
image_with_box = tf.image.draw_bounding_boxes(batchced_img, boxes)
plt.imshow(image_with_box[0].eval())
plt.show()
# 对原图进行随机裁剪,但是至少覆盖标注框boxes,40%的内容
begin, size, bbox_for_draw = tf.image.sample_distorted_bounding_box(
tf.shape(image_float), bounding_boxes=boxes, min_object_covered=0.4
)
print(begin)
print(size)
distorted_image = tf.slice(image_float, begin, size)
plt.imshow(image_with_box[0].eval())
plt.show()